IA et santé féminine : les risques quand on s’adresse à ChatGPT
De plus en plus de femmes se tournent vers les LLM (Language Learning Models) pour poser des questions de santé, comprendre des symptômes ou savoir quand consulter un médecin. Problème : ces outils sont loin d’être fiables et ne peuvent se substituer à un avis médical. Zoom sur ce nouveau phénomène.
La première étude sur la santé des femmes et l’IA pointe des dysfonctionnements majeurs
Pour la première fois, une équipe de chercheurs de l’Université de Cornell s’est intéressée à la fiabilité des IA en santé féminine. En étudiant treize modèles majeurs et leurs réponses, la cohorte de cliniciens a tiré des conclusions préoccupantes. Environ 60% des informations fournies par les IA sont erronées et certaines urgences médicales ne sont pas détectées, mettant ainsi en danger les utilisateurs.
Cinq spécialités ont été passées au crible de cette étude : la gynécologie et l’obstétrique, les urgences médicales, les premiers soins, l’oncologie et la neurologie. Plusieurs types d’erreurs ont été identifiées :
- Les erreurs de posologie de traitement
- L’omission d’une information importante
- Des recommandations obsolètes
- Des conseils incorrects
- Des informations factuelles incorrectes
- Un diagnostic erroné
- Une urgence non détectée
- Des recommandations inappropriées.
Newsletter
Inscrivez vous à la newsletter
Sous-évaluation des risques et erreurs : de vrais dangers pour les utilisatrices d’IA
Les systèmes IA présentent un vrai risque pour la santé des femmes, notamment lorsqu’elles sont utilisées dans un but de filtrage ou pour analyser des symptômes. Plusieurs études ont montré une tendance à minimiser ou mal contextualiser les symptômes féminins. C’est le cas en cardiologie, où les recommandations des IA sont différentes selon le sexe de l’utilisateur, même quand les symptômes sont identiques.
En général, les chercheurs observent une tendance à sous-évaluer la gravité des situations médicales quand l’utilisateur est une femme : la réponse apportée peut donc être inadaptée. Il faut aussi noter qu’une IA ne peut pas faire la différence entre le vrai et le faux. Elle s’efforce d’apporter une réponse pertinente, c’est-à-dire une réponse qui conviendra et plaira à l’utilisateur pour qu’il poursuive son expérience de navigation. Elle peut inventer des chiffres ou des “preuves” qu’elle ne sera pas capable d’identifier comme faux, ou utiliser des données obsolètes. Pourtant, les utilisateurs sont nombreux à ne pas sourcer et vérifier les informations sur d’autres supports : sites web, livres, contact avec un professionnel de santé.
Devis et adhésion en ligne
Votre devis personnalisé santé et prévoyance en moins de 3 minutes
L’utilisation de l’IA comme “premier filtre” : un phénomène nouveau
De plus en plus de femmes utilisent les LLM dans un cas de figure bien précis appelé “premier filtre”. Il ne s’agit pas tant de poser un diagnostic ou de savoir quel traitement prendre, mais plutôt de comprendre si on peut recourir à l’automédication, dans quel délai consulter, etc. Il s’agit souvent de zones grises, mais qui peuvent masquer une urgence ou une affection de santé plus grave qu’il n’y paraît. En outre, suivant le prompt renseigné, la réponse apportée n’aura pas la même qualité. Contrairement à un médecin, une IA ne peut pas examiner, ne pose pas de questions complémentaires. Elle doit apporter une réponse à tout prix.
L’utilisation de l’IA pour décoder des symptômes et identifier la meilleure conduite à adopter est souvent motivée par une envie de ne pas perdre son temps ou de ne pas engorger les services médicaux d’urgence : faut-il aller à l’hôpital dans l’heure ou bien puis-je attendre que mon médecin ait un créneau pour me recevoir ? Comment savoir si un grain de beauté présente une pathologie si je dois attendre six mois pour obtenir un rendez-vous chez le dermatologue ? C’est la grippe ou la Covid ? L’évolution de notre système de santé est aussi à l’origine de ces nouveaux usages des technologies.
L’IA risque finalement de reproduire les mêmes biais que les humains
Le principe des LLM est de pouvoir générer un apprentissage en autonomie, sans intervention humaine. Mais dans les faits, ces modèles sont entraînés par des humains qui vérifient leur comportement et la qualité de leur réponse. Or, la médecine est un domaine qui évolue sans cesse et est très sensible aux biais cognitifs. L’expérience montre que les LLM peuvent avoir tendance à intégrer et grossir ces biais, reproduisant les mêmes erreurs et angles morts que les humains, des proportions parfois plus importantes. L’étude “A Women’s Health Benchmark for Large Language Models” insiste donc sur l’importance de fournir des données médicales fiables aux IA et de les entraîner de façon à dépasser ses biais et réduire les erreurs, tout en invitant le grand public à la prudence quant à leur utilisation sur des questions médicales.
© iStock
Partager
