Intelligence artificielle, médecine, biais et éthique

L'intelligence artificielle (IA) touche de plus en plus toutes les facettes de notre société, y compris les transports, la bourse, les rencontres romantiques, et les soins de santé (où je concentre mon travail). À mesure que l'IA fait son chemin dans les appareils médicaux, les algorithmes de réadmission à l'hôpital, les applications iPhone qui scannent les grains de beauté pour déterminer si vous devez consulter un dermatologue, etc., le public est de plus en plus exposé à tout ce qui peut mal tourner. Parmi les aspects les plus inquiétants de la mise en œuvre de l'IA, on trouve son potentiel de biais.

Concentrons-nous sur le biais racial, car c'est l'un des plus discutés, mais le biais peut affecter de nombreux autres groupes dans une population. Les problèmes de partialité les plus faciles à comprendre concernent les données de formation. Imaginez qu'une application destinée à être utilisée sur un téléphone utilise une photo de votre peau pour vous aider à déterminer si vous souffrez d'une affection cutanée qui mérite d'être suivie par un dermatologue. Mais si les données d'apprentissage ne sont pas suffisamment représentées par des personnes de couleur de peau plus foncée, l'application risque d'être peu performante pour ces populations. Le dépistage de ce type de biais racial est relativement simple. Le corriger est plus difficile et implique une combinaison de conception participative (qui s'engage avec les communautés sous-représentées pour encourager leur participation) et d'exiger/inciter le fabricant de l'IA à rendre ses ensembles de données d'entraînement représentatifs des communautés sur lesquelles ces modèles seront déployés.

Cependant, même avec un ensemble de données totalement représentatif de la population sur laquelle il sera utilisé, des biais peuvent se glisser. Le "biais de l'étiquette" en est un bon exemple. Une étude bien connue publiée en 2019 a démontré ce biais à travers un algorithme largement utilisé qui cherchait à améliorer la prise en charge des patients ayant des besoins de santé complexes en leur offrant un suivi accru et d'autres ressources. Les auteurs ont montré que la décision de faire en sorte que l'algorithme (qui exclut en fait la race comme variable) utilise les coûts des soins de santé comme indicateur des besoins en soins de santé, une décision qui n'était pas à première vue déraisonnable, a conduit à un algorithme qui donnait la priorité aux patients blancs sur les patients noirs au même niveau de besoins en santé. Pourquoi ? Parce que dans les données d'apprentissage, en moyenne, les patients noirs généraient des coûts inférieurs à ceux des patients blancs au même niveau de santé, car moins d'argent était dépensé pour les patients noirs. En donnant la priorité aux patients dont le coût est plus élevé, on ne donnait pas la priorité aux patients dont les besoins en matière de santé sont plus importants, et cet écart a eu un effet discordant sur le plan racial. Cet écart de coût peut lui-même refléter des modèles préexistants de recherche et de fourniture de soins, qui peuvent eux-mêmes soulever des questions normatives.

Les développeurs doivent rechercher les biais de l'IA et prendre toutes les mesures possibles pour les réduire. Mais que doivent-ils faire si certains biais persistent ou si nous nous heurtons à des compromis plus difficiles entre la réduction des biais et d'autres valeurs (un exemple intéressant est celui d'un "correctif" qui réduirait un peu les résultats discordants sur le plan racial, mais qui rendrait l'algorithme nettement moins précis dans l'ensemble) ? Je pense qu'il est important pour nous de toujours poser la question "Par rapport à quoi ?". Comme le disent parfois les philosophes, le parfait ne devrait pas être l'ennemi du bien, et en mesurant ces technologies, nous devrions nous concentrer sur la façon dont les soins de santé basés sur l'IA se comparent aux soins de santé non basés sur l'IA. En ce qui concerne les préjugés, nous devons reconnaître que les médecins et les infirmier.ère.s, comme les êtres humains, ont aussi souvent des préjugés conscients ou inconscients, y compris, malheureusement, des préjugés raciaux importants dans la façon dont ils traitent les patients. Lors de l'évaluation d'une proposition visant à introduire une nouvelle fonction de l'IA dans les soins de santé, nous devons comparer des pommes avec des pommes. Même si l'utilisation de l'IA pour aider produit des résultats disparates entre les groupes, produit-elle des résultats moins biaisés que le médecin agissant sans elle ? Ces comparaisons sont souvent difficiles à réaliser et délicates, mais ce n'est que si nous posons la bonne question que nous avons un espoir de progresser.