ChatGPT, c'est lui qui le dit quand on lui pose la question*, est « un modèle de langage développé par OpenAI » qui n'a donc « pas la capacité de passer des examens ou de les réussir »

Est-il modeste ? Des chercheurs de l'entreprise AnsibleHealth ont testé les performances du logiciel sur un examen que doivent passer les étudiants en médecine aux Etats-Unis, et qui les interrogent sur divers domaines (connaissances scientifiques, raisonnement clinique, bioéthique...). Il a échoué de peu.

Dénommé USMLE (United States Medical Licensing Examination), cet examen est divisé en trois parties: la première passée après environ deux ans d'études, la deuxième au bout de quatre ans, et la troisième étant requise pour devenir médecin. ChatGPT a été testé sur 350 des 376 questions publiées sur le site de l'USMLE et qui faisaient partie de l'examen de juin 2022. Les questions s'appuyant sur des images ont dû être retirées.

Elles étaient présentées sous trois formats: des questions ouvertes (« que serait le diagnostic pour ce patient compte tenu des informations présentées ? »), des questions à choix multiples sans justification (« Quelle est la prochaine étape de suivi la plus appropriée parmi les suivantes? »), et des choix multiples avec justification (« Quelle est la raison la plus probable pour les symptômes nocturnes du patient ? Expliquez votre raisonnement »).

Deux examinateurs ont noté le travail, et un troisième a tranché les écarts entre eux. Le logiciel a obtenu un score situé e