Les IAg ont des biais de genre. En matière de santé, c'est tout simplement un danger vital.

De plus en plus de professionnels de santé utilisent des modèles de langue. Cependant, ces modèles présentent et amplifient des biais stéréotypés qui peuvent mettre en danger des vies. Cette étude vise à évaluer les biais de genre dans des cas cliniques générés automatiquement en français concernant dix pathologies. Nous utilisons sept modèles de langue affinés et un outil de détection automatique du genre pour mesurer les associations entre pathologie et genre. Nous montrons que les modèles sur-génèrent des cas décrivant des patients masculins, allant à l'encontre des prévalences réelles. Par exemple, lorsque les invites ne spécifient pas de genre, les modèles génèrent huit fois plus de cas cliniques décrivant des patients (plutôt que des patientes) pour les crises cardiaques. Nous discutons des possibles dommages induits par les modèles de langue, en particulier pour les femmes et les personnes transgenres, de la définition d'un modèle de langue « idéal » et des moyens d'y parvenir.

Ce 23 août, l’humoriste Alicia C’est Tout repérait un biais raciste dans les résumés IA de Google. Next a reproduit et étendu son expérience sur les modèles de langage les plus couramment utilisés, et constate la production de stéréotypes en fonction de diverses nationalités ou groupes ethniques.