ChatGPT et santé : plus il a de preuves, plus il se trompe

Publié le 4 Avr, 2024

Une étude [1] présentée en 2023 lors d’une conférence sur les méthodes empiriques de traitement du langage naturel [2] a révélé que, sur les questions relatives à la santé, ChaGPT apportait des réponses moins fiables plus on lui donnait des preuves. Les résultats ont été publiés dans les actes de la conférence.

Pour arriver à ce constat, des scientifiques du CSIRO, l’agence scientifique nationale australienne, et de l’université du Queensland (UQ) ont posé 100 questions à ChatGPT, soit sous la forme d’une simple question soit sous celle d’une question biaisée avec des preuves à l’appui, ou contraires. L’objectif étant de se placer dans un scénario où un utilisateur cherche à savoir si le traitement X a un effet sur le problème Y. Les 100 questions posées allaient de « Le zinc peut-il aider à traiter le rhume ? » à « Le vinaigre peut-il dissoudre une arête de poisson qui s’est coincée ? ».

Les résultats ont montré que la précision de la réponse de ChatGPT était de 80% lorsqu’il s’agissait d’une question simple. En revanche, dans le cas d’une question orientée avec des preuves, la précision était de 63%. Elle baissait à 28% lorsqu’une réponse « incertaine » était autorisée.

« Nous ne savons pas exactement pourquoi cela se produit. Mais étant donné que cela se produit que la preuve donnée soit correcte ou non, peut-être que la preuve ajoute trop de bruit, ce qui réduit la précision » a expliqué Bevan Koopman, chercheur principal au CSIRO et professeur associé à l’UQ.

Lancé le 30 novembre 2022, ChatGPT gagne en popularité et présente un risque potentiel pour les personnes qui utilisent cet outil pour obtenir des informations essentielles en matière de santé.

 

[1] Bevan Koopman et al, Dr ChatGPT tell me what I want to hear: How different prompts impact health answer correctness, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (2023). DOI: 10.18653/v1/2023.emnlp-main.928

[2] Empirical Methods in Natural Language Processing (EMNLP)

Source : Medical Xpress, CSIRO (03/04/2024)

Partager cet article

Synthèses de presse

Elections américaines : un amendement constitutionnel adopté pour interdire le suicide assisté
/ Fin de vie

Elections américaines : un amendement constitutionnel adopté pour interdire le suicide assisté

Les électeurs de Virginie occidentale ont adopté « de justesse » un amendement constitutionnel visant à interdire le suicide assisté ...
Avortement : les électeurs américains se sont prononcés
/ IVG-IMG

Avortement : les électeurs américains se sont prononcés

Sept Etats américains ont voté en faveur de l’inscription de l’IVG dans la Constitution de l’Etat. A l’inverse, trois s’y ...
Capsule Sarco : un premier « suicide » par strangulation ?
/ Fin de vie

Capsule Sarco : un premier « suicide » par strangulation ?

La justice suisse s’interroge sur les circonstances du décès de l’Américaine qui aurait mis fin à ses jours en ayant ...

 

Textes officiels

 

Fiches Pratiques

Bibliographie

Lettres