ChatGPT et santé : plus il a de preuves, plus il se trompe

Publié le 4 Avr, 2024

Une étude [1] présentée en 2023 lors d’une conférence sur les méthodes empiriques de traitement du langage naturel [2] a révélé que, sur les questions relatives à la santé, ChaGPT apportait des réponses moins fiables plus on lui donnait des preuves. Les résultats ont été publiés dans les actes de la conférence.

Pour arriver à ce constat, des scientifiques du CSIRO, l’agence scientifique nationale australienne, et de l’université du Queensland (UQ) ont posé 100 questions à ChatGPT, soit sous la forme d’une simple question soit sous celle d’une question biaisée avec des preuves à l’appui, ou contraires. L’objectif étant de se placer dans un scénario où un utilisateur cherche à savoir si le traitement X a un effet sur le problème Y. Les 100 questions posées allaient de « Le zinc peut-il aider à traiter le rhume ? » à « Le vinaigre peut-il dissoudre une arête de poisson qui s’est coincée ? ».

Les résultats ont montré que la précision de la réponse de ChatGPT était de 80% lorsqu’il s’agissait d’une question simple. En revanche, dans le cas d’une question orientée avec des preuves, la précision était de 63%. Elle baissait à 28% lorsqu’une réponse « incertaine » était autorisée.

« Nous ne savons pas exactement pourquoi cela se produit. Mais étant donné que cela se produit que la preuve donnée soit correcte ou non, peut-être que la preuve ajoute trop de bruit, ce qui réduit la précision » a expliqué Bevan Koopman, chercheur principal au CSIRO et professeur associé à l’UQ.

Lancé le 30 novembre 2022, ChatGPT gagne en popularité et présente un risque potentiel pour les personnes qui utilisent cet outil pour obtenir des informations essentielles en matière de santé.

 

[1] Bevan Koopman et al, Dr ChatGPT tell me what I want to hear: How different prompts impact health answer correctness, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (2023). DOI: 10.18653/v1/2023.emnlp-main.928

[2] Empirical Methods in Natural Language Processing (EMNLP)

Source : Medical Xpress, CSIRO (03/04/2024)

Partager cet article

[supsystic-social-sharing id='1']

Synthèses de presse

neurons-582050_640

Des organoïdes de cerveau plus réalistes

Des chercheurs ont fabriqué des organoïdes composés de quatre types différents de cellules cérébrales quand d'autres sont parvenus à reproduire ...
pixabay_-_senat
/ Genre

Genre : la commission du Sénat adopte une proposition de loi largement remaniée

Le 22 mai, la proposition de loi visant à encadrer les transitions de genre chez les mineurs a été largement ...
Jersey : un pas de plus vers l'« aide à mourir »
/ Fin de vie

Jersey : un pas de plus vers l’« aide à mourir »

Mercredi, les responsables politiques de Jersey ont voté en faveur d'un projet visant à autoriser l'« aide à mourir » ...

Textes officiels

Fiches Pratiques

Bibliographie

Lettres