LMArena, devenu Arena : comment lire vraiment le classement des IA

Vous tapez « lmarena » dans votre navigateur, vous atterrissez sur arena.ai. Ce n’est pas une erreur : la plateforme a changé de nom le 28 janvier 2026 et l’ancien domaine redirige vers le nouveau. Le classement, lui, n’a pas bougé d’un pouce dans son principe.

Ce classement est devenu la référence citée partout dès qu’un modèle sort. Le problème est que la plupart des gens le lisent comme un tableau de notes scolaires, alors qu’il mesure une chose très précise et en ignore beaucoup d’autres. Voici ce que le score dit réellement, les quatre biais qui le déforment, et la façon de s’en servir pour choisir un modèle plutôt que pour gagner un débat sur X.

LMArena ou Arena : pourquoi le nom a changé en 2026

L’historique des noms explique la confusion. Le projet est né en 2023 sous le nom Chatbot Arena, porté par le laboratoire LMSYS de Berkeley. Il est devenu LMArena quand l’équipe s’est constituée en société indépendante, puis simplement Arena le 28 janvier 2026, avec le passage de lmarena.ai à arena.ai.

En pratique : la redirection fonctionne, vos anciens signets tombent au bon endroit, et rien ne vous oblige à réapprendre le nom. Les trois appellations désignent le même outil. Si vous croisez un article qui parle encore de « Chatbot Arena » ou de « LMSYS », il parle du même classement, éventuellement avec des chiffres périmés.

Une chose a changé en revanche, et elle compte : le nombre de classements. Il n’y a plus un tableau unique mais une série de classements séparés, texte, code, vision, image, vidéo, recherche web, usage en français et dans d’autres langues. Citer « le classement Arena » sans préciser lequel n’a plus beaucoup de sens.

Comment fonctionne le classement, en clair

Le mécanisme tient en quatre étapes. Vous écrivez une question. Deux modèles anonymes répondent côte à côte. Vous votez pour la meilleure réponse, sans savoir qui est qui. Les noms se révèlent après le vote.

Ces millions de duels alimentent ensuite un système de notation par paires. On parle couramment de score Elo, par analogie avec les échecs, et c’était exact au départ. Depuis fin 2023, la plateforme s’appuie en réalité sur le modèle de Bradley-Terry, une méthode statistique proche mais plus adaptée : au lieu de mettre à jour un score match après match, elle réestime toutes les notes à partir de l’ensemble des votes disponibles. Le résultat se lit de la même manière, il est simplement plus stable.

Ce que le score signifie concrètement : un écart de 100 points entre deux modèles correspond à environ 64 % de victoires pour le mieux classé sur un duel donné. Un écart de 30 points, c’est à peine 54 %, autant dire un quasi-match nul. C’est le premier réflexe à prendre : regarder l’écart, pas le rang.

À la mi-août 2026, la plateforme revendique plus de 6,8 millions de votes à l’aveugle sur plus de 360 modèles, et le haut du classement texte est mené par Claude Fable 5, autour de 1 525 points. Les modèles suivants se tiennent dans une fourchette d’une cinquantaine de points, ce qui veut dire que la première place change régulièrement de main. Ne bâtissez pas une décision sur un podium relevé il y a trois semaines.

Les quatre limites à connaître avant de citer un score

Le classement a fait l’objet d’une critique argumentée en avril 2025, dans un article intitulé The Leaderboard Illusion, signé par des chercheurs de Cohere Labs avec AI2, Princeton, Stanford, Waterloo et l’université de Washington. Il a ensuite été publié dans la track Datasets and Benchmarks de NeurIPS 2025. Ses constats, plus deux limites structurelles, donnent quatre points de vigilance.

1. Le test privé avantage les gros laboratoires. Un éditeur peut soumettre plusieurs variantes d’un même modèle en test privé, garder la meilleure et retirer les autres. L’article documente le cas de Meta, qui aurait évalué jusqu’à 27 variantes avant la sortie de Llama 4. Publier le meilleur tirage sur 27 n’est pas la même chose que publier son modèle. Arena a répondu publiquement que sa politique est identique pour tous, chaque laboratoire pouvant soumettre autant de variantes qu’il a les moyens d’en faire tourner, ce qui, en creux, ne contredit pas l’avantage des acteurs les mieux dotés.

2. Les données de vote sont très inégalement réparties. Selon la même étude, les modèles propriétaires captent plus de 60 % du volume de duels. Or ces données de préférence servent aussi à améliorer les modèles. Les auteurs estiment le gain potentiel jusqu’à +112 % de performance sur la distribution propre à l’arène, c’est-à-dire une progression sur ce que l’arène mesure, pas nécessairement ailleurs. Arena conteste une partie de ce calcul, notamment la proportion de modèles ouverts retenue.

3. Un vote à l’aveugle juge une réponse, pas un travail. C’est la limite la plus importante et personne ne la conteste. Le votant lit deux réponses à une question isolée, en quelques secondes. Il ne teste pas la tenue du modèle sur une session de deux heures, sa capacité à se souvenir d’une consigne posée trente messages plus tôt, sa fiabilité quand on le branche sur des outils, ni son comportement face à un fichier de 400 lignes. Un modèle peut être excellent en réponse unique et décevant en usage prolongé.

4. Les votants préfèrent ce qui se lit bien. Un vote humain rapide récompense les réponses bien mises en forme, structurées, un peu flatteuses. La plateforme applique des corrections pour neutraliser l’effet de longueur, mais aucun correctif n’annule complètement le fait qu’on juge un texte agréable plutôt qu’un texte exact. Sur des questions factuelles pointues, le meilleur classé n’est pas toujours celui qui a raison.

Le classement en français : ce qu’il vaut hors anglais

Arena propose un filtre par langue, et c’est probablement la fonctionnalité la plus sous-utilisée du site. Le classement global est massivement alimenté par des votes en anglais. Filtrer sur le français change l’ordre, parfois de plusieurs places, notamment pour les modèles européens et pour les modèles chinois entraînés avec moins de corpus francophone.

La contrepartie est mécanique : moins de votes, donc des intervalles de confiance beaucoup plus larges. Sur un classement francophone, un écart de 20 ou 30 points ne veut strictement rien dire. Regardez la barre d’incertitude affichée à côté du score avant de conclure quoi que ce soit ; si elle chevauche celle du modèle voisin, les deux sont à égalité.

L’usage raisonnable du filtre français est donc négatif plutôt que positif : il sert moins à désigner un vainqueur qu’à repérer les modèles qui décrochent nettement hors anglais. C’est une information utile si vous rédigez en français toute la journée.

Le classement image et vidéo, et le cas Nano Banana

Le classement image fonctionne exactement comme celui du texte, avec deux visuels générés à partir du même prompt et un vote à l’aveugle. Il a un avantage réel sur le texte : juger deux images côte à côte demande moins d’expertise que juger deux raisonnements, et le biais de mise en forme disparaît.

C’est ce classement qui a rendu Nano Banana célèbre. Le modèle est apparu sous un nom de code, sans annonce, sans marque, sans documentation, et a grimpé en tête sur la seule base des votes avant que Google ne confirme sa paternité. C’est le meilleur argument en faveur de la méthode : sur un test à l’aveugle, la notoriété de l’éditeur ne compte pour rien.

Le même mécanisme s’applique à la vidéo, avec une réserve : le nombre de votes y est bien plus faible, les générations coûtent cher et prennent du temps, et les classements bougent lentement. Traitez-les comme une indication, pas comme un verdict.

Utiliser Arena pour choisir un modèle selon son usage

Voici la méthode que j’applique, dans cet ordre.

Étape	Ce qu’on fait	Ce qu’on évite
1. Choisir le bon classement	Texte, code, vision, image ou vidéo selon l’usage réel	Citer « le » classement global
2. Lire l’écart, pas le rang	Retenir un groupe de tête de 4 ou 5 modèles	S’arrêter au numéro 1
3. Vérifier l’intervalle de confiance	Écarter les écarts qui se chevauchent	Comparer deux modèles à 15 points
4. Filtrer sur le français si c’est votre langue de travail	Repérer les décrochages nets	Désigner un vainqueur sur peu de votes
5. Tester soi-même sur 3 tâches réelles	Vos vrais prompts, vos vrais fichiers	Décider sans avoir rien essayé

L’étape 5 n’est pas une formule de politesse. Le classement est un outil de présélection : il vous fait passer de quarante modèles à cinq. Il ne peut pas faire le dernier tri, parce que le dernier tri dépend de votre usage. Si vous écrivez du code toute la journée, le duel qui vous intéresse est celui que nous avons mené entre deux modèles frontaliers sur des tâches réelles, pas un score agrégé sur des questions génériques.

Deux cas où Arena est franchement mauvais conseiller. D’abord le coût : le classement ignore complètement le prix, et un modèle 20 points en dessous du leader peut coûter dix fois moins cher : plusieurs modèles ouverts se placent aujourd’hui dans ce cas de figure. Ensuite la confidentialité : si vos données ne peuvent pas sortir de vos machines, aucun score ne vous sera utile, et la vraie question devient ce que vous pouvez faire tourner en local.

Le classement se consulte sur arena.ai. Les modèles sont gratuits à tester dans l’arène, sans compte pour la plupart, ce qui en fait aussi une façon commode d’essayer un modèle payant avant de s’abonner.

Questions fréquentes

LMArena et Arena, c’est la même chose ?

Oui. La plateforme s’est appelée successivement Chatbot Arena, LMArena puis Arena depuis le 28 janvier 2026. L’adresse lmarena.ai redirige vers arena.ai, et les données historiques sont conservées.

Le score Arena est-il vraiment un score Elo ?

Pas exactement. La notation d’origine était de type Elo, mais la plateforme utilise depuis fin 2023 le modèle de Bradley-Terry, qui réestime l’ensemble des notes à partir de tous les votes plutôt que de les mettre à jour duel après duel. Le terme « Elo » reste employé par habitude et se lit de la même façon.

Peut-on truquer le classement ?

Pas facilement au niveau des votes individuels : ils sont anonymes, filtrés et agrégés sur des millions d’observations. La critique documentée porte ailleurs, sur la possibilité pour un éditeur de tester plusieurs variantes en privé et de ne publier que la meilleure. C’est un biais de sélection, pas une fraude.

Un modèle en tête du classement est-il le meilleur pour moi ?

Pas nécessairement. Le classement mesure une préférence humaine sur une réponse unique, en anglais dans la grande majorité des cas, sans tenir compte du prix, de la vitesse, de la fenêtre de contexte ni de la tenue sur une longue session. Servez-vous-en pour réduire la liste, puis testez sur vos propres tâches, c’est la démarche que nous suivons dans nos comparatifs d’assistants.

Pourquoi les positions changent-elles autant d’une semaine à l’autre ?

Parce que les modèles de tête se tiennent dans une cinquantaine de points, soit une marge où quelques milliers de votes suffisent à inverser deux places. Une nouvelle sortie comme celle d’un modèle majeur redistribue mécaniquement les duels et fait bouger tout le haut du tableau pendant plusieurs jours, le temps que les votes s’accumulent.

Les classements se valent rarement. Nous avons appliqué la même exigence de méthode aux newsletters IA francophones.