TOPO

Kim Naabarke Maurer

À l’occasion du 19^e Festival du Film et Forum International sur les Droits Humains, un panel d’expertes [1] en technologie et science de l’éducation s’est retrouvé pour discuter des biais de l’intelligence artificielle. Sont-ils bien réels ? Pourquoi ? Comment ? Retour sur un débat qui nous affecte profondément.

Les algorithmes : des outils fondamentalement biaisés 

Majoritairement créée par des hommes blancs hétérosexuels des classes supérieures américaines, l’intelligence artificielle est de plus en plus dénoncée pour ses biais discriminants. L’on pensera notamment aux services de santé sur smartphone qui ont pris des années à offrir des applications pour les cycles menstruels, bien que plus de la moitié de la population mondiale soit féminine. Quant aux biais algorithmiques, nombreux sont ceux qui se rappellent les récents scandales de Twitter, accusé par ses internautes d’utiliser des algorithmes racistes. La société avait en effet dû présenter des excuses à ses utilisateurs en septembre dernier, après que ceux-ci avaient remarqué que l’application choisissait systématiquement de recadrer ses miniatures autour des visages de personnes blanches, en coupant les visages noirs [2]. Mais Twitter n’est pas le seul géant à avoir fait face à ces critiques. En 2015, c’est Google qui avait dû revoir ses algorithmes puisque l’application Google Photos ne cessait d’étiqueter les personnes noires comme des « gorilles ». Toutefois, au lieu de remédier au problème en reprogramment ses algorithmes, la société avait tout simplement fait le choix de supprimer les termes « gorilles », « singes » et « chimpanzé » de ses étiquetages, les rendant indisponibles même lorsque les photos se trouvaient effectivement en être. Yahoo, ou encore Flickr avaient également été dénoncés pour les mêmes biais raciaux dans leurs algorithmes [3].

De manière répétitive, les logiciels de reconnaissance faciale se montrent ainsi moins précis sur les personnes de couleur, les mettant potentiellement plus à risque de failles sécuritaires, ou d’accusations erronées. En 2018, la technologie Rekognition d’Amazon avait par exemple mal identifié 28 membres du Congrès américain – majoritairement de couleur – et les avait associés à des photos de suspects dans les bases de données policières [4]. Ces erreurs soulèvent de nombreuses questions sur la manière dont les forces de l’ordre utilisent ces outils d’intelligence artificielle et sur les risques encourus pour les communautés de couleur ; qui sont plus fréquemment associées à tort à des suspects. Fin 2019, l’Institut National des Normes et de la Technologie (NIST – National Institute of Standards and Technology) publiait un nouveau rapport d’étude [5] dans lequel il démontrait que la plupart des systèmes de reconnaissance faciale américains effectuaient de manière systématique et à un taux élevé, des erreurs de match pour les visages asiatiques, afro-américains et amérindiens ; trouvant des correspondances là où il n’y en avait pas. Parallèlement, deux chercheuses du MIT – Joy Buolamwini et Timnit Gebru – mettaient également en évidence une sous-représentation des visages à la peau foncée dans les données utilisées pour entraîner les algorithmes. Joy Buolamwini constatait ainsi que lorsque les logiciels de reconnaissance faciale de Microsoft, IBM et Face++ se voyaient présentés un homme blanc, ils fonctionnaient correctement plus de 99% du temps, avec un taux d’erreur de 0.8%. Mais lorsque la photo affichait une femme à la peau foncée, le taux d’erreur grimpait à près de 35% [6].

Isabelle Collet – professeure à l’Université de Genève – explique ces biais par ce qu’elle appelle « l’i technologie », comprenons « la technologie du je ». Comme elle l’explique, les programmeurs d’intelligence artificielle créerait d’une certaine manière, leur technologie pour eux-mêmes, se percevant utilisateurs de leurs algorithmes, mais oubliant la non-universalité de leur groupe dominant (hommes blancs hétérosexuels). L’étude du NIST confirmait également ces propos puisqu’elle soulignait que ces biais américains d’intelligence artificielle envers les visages asiatiques ne se retrouvaient dans les algorithmes programmés en Asie ni pour les visages caucasiens, ni pour les visages asiatiques, où ces derniers auraient significativement été plus présents dans les bases de données d’entrainement des algorithmes.

Les mécanismes de ces biais discriminants

Ces erreurs se multiplient par la conjonction des biais humains des programmeurs et des biais des informations enregistrées dans les bases des données des algorithmes. En effet, les algorithmes sont le résultat du phénomène de Big Data. Avec la masse de données numériques considérables que nous possédons aujourd’hui, il est nécessaire de trouver le moyen de les stocker, les organiser, les analyser et les utiliser. L’algorithme fait ainsi office de grande « boîte noire » que l’on remplit massivement de données et à laquelle on fait confiance quant aux résultats obtenus. Problème : la qualité des données sortantes dépend de la qualité des données entrantes, et un algorithme à qui l’on donne en première instance des informations biaisées, va reproduire et multiplier ces mêmes biais en dernière instance. Isabelle Collet nous donne ainsi l’exemple d’une banque qui utiliserait des algorithmes comme outil d’aide à la décision afin de déterminer à quel dossier elle devrait accorder des financements. Afin d’aiguiller le banquier décisionnaire, l’algorithme va analyser les précédentes décisions de la banque en la matière, afin de donner une recommandation suivant la même ligne de conduite. Nouveau problème : l’outil va se baser sur des comportements humains imparfaits et biaisés. Ainsi bien souvent, le dispositif va analyser qu’à dossier équivalent, la banque fait statistiquement moins confiance aux dossiers apportés par des femmes que par des hommes, et à ceux soumis par des Noirs que par des Blancs. Il va alors se fier à ces données entrantes, et ainsi dupliquer ces biais dans ses données sortantes. Finalement, l’algorithme va non seulement conseiller au banquier de poursuivre ses biais, mais il va également réutiliser ces données produites, en tant que données entrantes lors des prochaines procédures. Ils se nourrissent donc de nos erreurs, nous les renvoient, et les perpétuent.

Mais quelles en sont les réelles conséquences ?

Les conséquences de ces biais d’intelligence artificielle peuvent aller des plus insignifiantes aux plus graves. L’une d’entre elles étant les risques judiciaires encourus par les populations négligées par les programmeurs. Le rapport NIST sonnait ainsi l’alarme sur le fait que les systèmes d’appariements faciaux avaient les pires taux de faux positifs pour les femmes afro-américaines : ces systèmes les assimilaient fréquemment aux photos de criminelles des bases de données du FBI, et exposaient ainsi cette population au risque le plus élevé d’être faussement accusée d’un crime. En termes de sécurité, les personnes de couleur sont aussi les plus sujettes à subir les conséquences de failles sécuritaires de l’intelligence artificielle. En 2017, une femme chinoise avait ainsi découvert que l’une de ses collègues de travail – également chinoise – était à même de déverrouiller son iPhone en présentant son visage au système de reconnaissance facial, alors même qu’Apple se vantait de la sécurité presque infaillible de son système. Le remplacement du smartphone de la cliente en question n’avait par ailleurs servi à rien. En effet, le système de reconnaissance faciale des autres iPhone qu’elle avait reçus continuait d’autoriser l’accès au téléphone à des visages non-détenteurs. Deux ans plus tard, NIST dénonçait toujours le même problème persistant : « les faux positifs peuvent présenter des problèmes de sécurité pour le propriétaire du système en autorisant l’accès à des imposteurs » [5].  Julia Kloiber – cofondatrice d’un think-tank féministe pour l’élaboration et la promotion d’innovations technologiques inclusives – explique que ces problèmes sont finalement plus systémiques que technologiques. Ainsi, de manière générale, les minorités seraient à tous les égards, les premières victimes de ces nouvelles technologies, et celles qui souffriraient le plus de leurs répercussions au niveau social, parfois sans même le savoir. Julia Kloiber et Isabelle Collet s’accordent également pour souligner les importants enjeux de pouvoir des nouvelles technologies, largement dominées par des intérêts commerciaux. Certains biais seraient de ce fait, volontaires. En 2019, la journaliste Judith Duportail dévoilait ainsi les dessous algorithmiques de l’application Tinder, qui depuis des années, cachait l’essence patriarcale de son intelligence artificielle. Sans que les utilisateurs ne le sachent, l’algorithme de l’application était en réalité programmé pour « proposer aux hommes des femmes plus jeunes, moins diplômées et moins riches – mais jamais l’inverse » [7]. Un système pensé à sens unique, « par les hommes et pour les hommes », « une machine à reproduire les dogmes patriarcaux, méticuleusement assemblée par les développeurs » [8]. Le scandale Facebook-Cambridge Analytica [8] lui aussi, avait mis en lumière l’utilisation de l’intelligence artificielle à des fins de manipulations politiques et économiques [9]. Teresa Scantamburlo, chercheuse au European Centre for Living Technology (ECLT), et co-fondatrice de l’Observatoire AI4EU sur la société et l’intelligence artificielle rappelait ainsi durant ce 19e FIFDH, les potentiels dangers de ces systèmes lorsqu’ils ne sont pas correctement encadrés et la nécessité de demeurer vigilants face à des outils de plus en plus précis.

Quelques pistes de solutions…

Mais alors que faire face à tous ces risques ? Car Julia Kloiber énonce entre autres que ces dangers sont surtout collectifs, plus qu’individuels. En effet, même en refusant de donner délibérément vos informations à des programmes (en refusant par exemple de vous inscrire sur certains réseaux sociaux), ces derniers seraient tout de même capables de déduire des informations sur vous, à travers votre famille et vos amis qui eux, partageraient leurs données. Le MIT Technology Review et NIST enjoignent ainsi les développeurs à conduire des recherches plus extensives pour réduire leurs biais, et les législateurs à mieux réguler les nouvelles technologies afin d’en protéger les utilisateurs. Mais bien que de nombreux projets (Open Technology Fund ; La Quadrature du Net; Gaia-X…) soient en cours d’élaboration, et que les États tentent de mettre à jour leurs normes éthiques (pour exemple le dernier règlement européen sur la protection des données personnelles ­– RGPD), les législations continuent d’avancer plus lentement que le développement du numérique.

Nos trois expertes – Isabelle Collet, Julia Kloiber et Teresa Scanteamburlo – donnent ainsi les recommandations suivantes :

• Inscrire le numérique comme un droit fondamental, tout autant que le droit à l’eau ou à l’électricité, en lui accordant ainsi les protections nécessaires.
• Mieux réfléchir à nos méthodes de conception : créer une société plus inclusive tant socialement, que dans les groupes de codeurs et de développeurs, car les solutions techniques ne suffisent pas. En effet, ces biais ne sont pas soudainement apparus avec l’avènement de l’intelligence artificielle ; ils ont pour la plupart toujours existé. Les biais raciaux de reconnaissance faciale existaient par exemple déjà au temps de la pellicule argentique qui avait été spécifiquement créée pour optimiser les visages blancs. Il est donc nécessaire que les équipes technologiques deviennent suffisamment diversifiées.
• Parvenir à faire en sorte qu’Internet ne tourne plus autour d’intérêts commerciaux, mais autour des intérêts sociétaux et individuels, tout en subvenant financièrement aux organisations de la société civile qui tentent de promouvoir un discours alternatif afin de contrer les grandes corporations. Julia Kloiber insiste notamment sur la nécessité que ces financements aillent aux équipes faisant preuve de diversité puisque de récentes études auraient démontré que sur $100, $92 seraient investis dans des entreprises européennes fondées par des hommes.
• Comprendre que tous les aspects de ce débat sont interconnectés et que ces problèmes systémiques s’appuient sur des constructions sociales préexistantes, qu’il faut ainsi abolir. Ce sont donc nos mentalités, modèles économiques, et notre culture toute entière qu’il s’agit de remettre en question.
• La transition numérique s’accélérant, il devient fondamental d’inviter le grand public dans le débat et surtout d’éduquer les individus lambdas aux capacités, aux enjeux, mais également aux dangers du numérique (fake news, cyber harcèlement, fuite des données, addiction numérique, etc.). À travers l’éducation et la connaissance, les utilisateurs obtiendront ainsi un levier d’action et pourront remettre en question l’intelligence artificielle lorsque cela se révèlera nécessaire.
• Ne pas tout faire reposer sur les individus et militer pour un cadre juridique plus protecteur de nos droits humains et numériques. Les populations doivent ainsi faire usage de leur démocratie et mettre aux pouvoirs des élus qui se soucieront réellement de ces problématiques.
• Former correctement les travailleurs de certains secteurs (banques, hôpitaux, etc.) qui utilisent des algorithmes. Il devient en effet nécessaire de s’assurer que ces personnes prennent conscience des capacités des outils qu’elles sollicitent, afin qu’elles puissent surveiller les algorithmes notamment supposés apporter des conseils ou donner des prédictions comportementales.
• Enfin, ne pas céder aux discours dystopiques qui diabolisent trop Internet. N’oublions pas qu’il demeure un outil qui nous a permis de grandes avancées socio-économiques : avènement du mouvement MeToo, capacité d’ouvrir une entreprise plus facilement, ou encore protection des liens interpersonnels en temps de pandémie !

Retrouvez l’intégralité du débat ici :
https://fifdh.org/rencontres-debats/grands-rendez-vous/les-algorithmes-sont-ils-sexistes

---

Auteure: Kim Naabarke Maurer
Diplômée d’un Master interdisciplinaire en droits de l’enfant et d’un Bachelor en relations internationales, Kim se passionne pour les questions éthiques, raciales, socio-économiques, philosophiques, de genre, et de multi-culturalité. La protection des droits humains – qu’elle appréhende sous un prisme interdisciplinaire et intersectionnel – demeure sa quête première. Ses maîtres mots sont éducation, empathie et intégrité ; qu’elle perçoit comme les portes d’entrée vers un monde meilleur. Kim a été membre de TOPO de 2021 à 2023 assumant successivement les rôles de rédactrice, puis cheffe des rubriques Technologies et Environnement, Edito, et Culture, avant de devenir rédactrice en chef du journal. Elle a entre autres été à l’initiative d’un dossier sur l’antiracisme « Fight against racism » et d’un nouveau guide rédactionnel pour les auteurs du journal, combattant le plagiat et renforçant les mécanismes de protection de propriété intellectuelle.