La Chatbot Arena, arbitre officieux de la course à l'intelligence artificielle
![IA intelligence artificielle](https://a1.imgng.societe.com/content/uploads/latribune/300/ia-intelligence-artificielle.jpg)
Quand il s'agit de désigner le leader de la course à l'intelligence artificielle générative entre OpenAI, Google, Anthropic ou encore Mistral, les yeux se tournent vers la Chatbot Arena. Ce classement, alimenté en permanence par des contributions humaines prend de plus en plus de place, principalement en raison de l'insuffisance des méthodes d'évaluation traditionnelles.
Publié le 17-04-2024 par François Manens
Quel est le meilleur modèle d'intelligence artificielle ? Pour répondre à ce casse-tête, la Large Model Systems Organization (LMSYS), composée d'étudiants et de chercheurs américains, a lancé en mai 2023 un système d'évaluation innovant, la Chatbot Arena. Plutôt que d'essayer à tout prix de mesurer précisément la performance des intelligences artificielles, l'Arena les fait s'affronter dans des duels arbitrés par des humains.
Concrètement, le système propose à des contributeurs bénévoles (pas d'inscription nécessaire, il suffit d'aller sur leur page !) d'avoir une discussion en simultané avec deux modèles d'IA dont ils ne connaissent pas l'identité. Après avoir eu une conversation d'une longueur suffisante à leurs yeux, ils votent : pour un vainqueur, pour une égalité, ou pour indiquer que les deux sont mauvais. Les modèles révèlent alors leur identité au testeur, puis les résultats alimentent un système de classement par Elo comme aux échecs ou dans certains jeux vidéo compétitifs, qui pondère le score en fonction du classement de l'adversaire.
Crise de l'évaluation des modèles d'IA
Rapidement, la Chatbot Arena s'est imposée comme le classement de performance le plus commenté et le plus suivi de l'écosystème, notamment grâce à sa mise en avant sur Hugging Face. Au point qu'une des voix les plus écoutées de l'IA, Andrej Karpathy (cofondateur d'OpenAI et ancien directeur de l'IA de Tesla), le désignait comme le seul système d'évaluation de confiance. Et pour cause : la Chatbot
Lire la suiteLes dernières actualités
Publié le 26/07/2024 à 10:43:40
Les 5 infos business à retenir ce vendredi matin (SNCF, JO, biogaz, Duralex, climat des affaires)Publié le 26/07/2024 à 10:43:40
« Attaque massive » à la SNCF : 800.000 voyageurs impactés par le sabotagePublié le 26/07/2024 à 10:43:40
Duralex : le tribunal de commerce d'Orléans s'apprête à sceller le sort de la verreriePublié le 26/07/2024 à 10:43:39
TotalEnergies : Patrick Pouyanné précise son projet de cotation à New-YorkPublié le 26/07/2024 à 10:43:35
Télévision : quel avenir pour C8 et TPMP après la gifle de l’Arcom ?Publié le 26/07/2024 à 10:43:30
Automobile : Stellantis dévisse en Bourse, Renault victime de la « contagion »Publié le 26/07/2024 à 10:43:26
Production de biogaz : la trajectoire n’est pas bonne, alerte l'EtatPublié le 26/07/2024 à 10:43:25
En pleine incertitude, le rebond en trompe-l'oeil du moral des patrons françaisPublié le 26/07/2024 à 10:43:25
Climat : les JO de Paris 2024 sont-ils vraiment les jeux « les plus écologiques de l'Histoire » ?Publié le 26/07/2024 à 10:43:18
Comment la transition énergétique met en concurrence les filières du boisPublié le 25/07/2024 à 11:03:01
JO 2024 : le parfait « terrain de jeu » pour la vidéosurveillance de masse adossée à l'IAPublié le 25/07/2024 à 10:43:40
Marqué par des résultats en baisse et les JO, Air France-KLM révise ses objectifsPublié le 25/07/2024 à 10:43:39
Les chefs d’entreprise très pessimistes sur l’activité économique des prochains moisPublié le 25/07/2024 à 10:43:39
Les 5 infos business à retenir ce jeudi matin (Stellantis, artisanat, inégalités, JO, financements)Publié le 25/07/2024 à 10:43:34
Les résultats de Stellantis dégringolent au premier semestre pénalisés par le recul des ventesPublié le 25/07/2024 à 10:43:34
Renault : une marge record mais des inquiétudes sur les véhicules électriquesPublié le 25/07/2024 à 10:43:29
« La France n'a pas de problème pour se financer actuellement », Xavier Ragot (OFCE)Publié le 25/07/2024 à 10:43:29
Les énergies renouvelables coûteront six fois plus cher que prévu à l'Etat en 2024Publié le 25/07/2024 à 10:43:29
Déficit : des économistes préconisent un régime drastique de 112 milliards d'eurosPublié le 25/07/2024 à 10:43:24
Redressement, liquidation, redémarrage... L'avenir en pointillé des Girondins de Bordeaux