Philippe Besse : « Les décisions algorithmiques ne sont pas plus objectives que les décisions humaines »

LINC : Depuis plusieurs dizaines d’années déjà, des pratiques sont mises en œuvre pour assurer la non-discrimination des individus. On observe en particulier des approches méthodologiques différentes entre ce qui se fait en France et dans certains pays anglo-saxons. Qu’en est-il exactement ?

Les lois européennes aussi bien qu’américaines interdisent explicitement toute forme de discrimination vis-à-vis d’une personne (discrimination directe) ou d’un groupe (discrimination indirecte). Néanmoins, qualifier et prouver une discrimination restent des questions difficiles à traiter et qui dépendent des cadres juridiques, usages culturels et aussi des domaines concernés : accès à l’emploi, le crédit, l’assurance, la santé, etc. Dans l’exemple très sensible de l’accès à l’emploi, des approches radicalement différentes sont mises en œuvre : testing vs. effet disproportionné.

Le testing est en principe utilisé pour qualifier une discrimination individuelle intentionnelle : envoyer deux CV très similaires et qui ne diffèrent principalement que par la modalité (genre, origine ethnique) de la variable sensible testée. Cette approche individuelle a été systématisée en économie et sociologie [Riach et Rich, 2002] pour mener des grandes enquêtes sur la base de milliers de paires de CV synthétiques afin d’évaluer statistiquement, mais sans intention de poursuite juridique, de possibles discriminations de groupes. C’est la stratégie officielle déployée périodiquement par la DARES et validée par le Comité National de l’Information Statistique afin d’évaluer en France une discrimination à l’embauche de la part des grandes entreprises.

L’effet disproportionné (adverse ou disparate impact ou DI) est aux USA un indicateur statistique [Barocas et Selbst, 2016] conséquence du titre VII des droits civiques de 1964 pour l’accès à l’emploi et du titre VIII (1968) pour l’accès au logement. Le DI est défini par le rapport de deux fréquences : probabilité d’une décision favorable pour le groupe jugé défavorisé par la loi sur cette même probabilité pour le groupe favorisé. Pour l’accès à l’emploi il est devenu une règle d’usage décrite dans le Title 29 - Labor: Part 1607—Uniform Guidelines on Employee Selection Procedures. Schématiquement, si ce rapport DI est plus petit que 0,8 (règle dite des 4/5èmes) une discrimination, même non intentionnelle, est jugée statistiquement significative et l’entreprise est tenue de s’en justifier par des raisons économiques pour échapper à une condamnation.

Aucune des deux approches n’est exempte de critiques, biais, approximations plus ou moins contrôlées, dans l’évaluation de la discrimination.

La notion de discrimination algorithmique a émergé de façon notable ces dernières années, notamment relativement à des pratiques observées dans des secteurs sensibles comme ceux du crédit, de la santé ou du recrutement. Mais de quoi parle-t-on exactement ?

Depuis une dizaine d’années, des procédures algorithmiques d’apprentissage supervisé sont déployées pour automatiser l’aide à la décision. Le principe consiste, sur la base de données massives historicisées, à estimer un modèle statistique ou entraîner un algorithme qui reproduit au mieux les décisions déjà connues afin d’appliquer ce modèle ou algorithme à de nouvelles situations. Les décisions automatisées qui en découlent, constituent l’application quotidienne et très largement la plus répandue des systèmes d’intelligence artificielle (IA) dans nos quotidiens. Tous les domaines sont concernés : recommandations pour la vente en ligne, évaluation du risque de rupture de contrat, de fraude, de défaillance d’un système, de récidive ou encore aide au diagnostic médical.

Le problème émergeant de la discrimination algorithmique s’exprime simplement : si un algorithme est entraîné sur des données biaisées, il reproduit très fidèlement ces biais systémiques ou de société. Plus grave, il risque même de les renforcer. Très prolixe, le monde académique a proposé quelques dizaines d’indicateurs [Zliobaitė, 2017] afin d’évaluer des biais potentiels ; les risques de discrimination restent complexes à évaluer. Néanmoins, beaucoup de ces indicateurs s’avèrent très corrélés ou redondants [Friedler et al., 2019]. Empiriquement, trois niveaux de biais discriminatoires doivent être pris en compte en priorité :

• L’effet disproportionné, reflet du biais social ou de population par lequel un groupe est historiquement désavantagé (e.g. revenu des femmes). La mise en évidence de ce biais soulève des questions techniques et politiques évidentes : renforcer algorithmiquement ce biais serait ouvertement discriminatoire. Il importe donc de détecter et éliminer un tel risque. Serait-il politiquement opportun d’introduire automatiquement une part de discrimination positive afin d’atténuer la discrimination sociale ? C’est techniquement l’objet d’une vaste littérature académique nommée apprentissage équitable (fair learning).
• Les taux d’erreur de prévision et donc les risques d’erreur de décisions sont-ils les mêmes pour chaque groupe ? Ainsi, si un groupe est sous-représenté dans la base d’apprentissage, il est très probable que les décisions le concernant seront moins fiables. C’est typiquement le cas en reconnaissance faciale et ce risque est également présent dans les applications en santé [Besse et al., 2019].
• Même si les deux critères précédents sont trouvés équitables, et surtout si les taux d’erreur identiques sont relativement importants, il est possible d’observer des erreurs dissymétriques (plus de faux positifs, moins de faux négatifs) au détriment d’un groupe. Cet indicateur (comparaison des rapports de cote ou odds ratio) est ainsi au cœur de la controverse concernant l’évaluation COMPAS du risque de récidive aux USA.

Contrairement à des prises de position très naïves, des décisions algorithmiques ne sont pas plus objectives que des décisions humaines. Il est même facile de montrer sur des exemples (voir par exemple le tutoriel que des collègues et moi mettons en ligne et [De-Arteaga et al., 2019]) que les biais humains sont fidèlement reproduits voire amplifiés même si la variable sensible (genre, origine, âge, etc.) est absente de la base de données car cette information est présente, d’une façon ou d’une autre, dans les autres variables jouant le rôle de variables de substitution ou proxy. Autre conséquence importante de cette situation, le testing est complètement inopérant (tutoriel) pour détecter une discrimination face à un algorithme.

En conséquence, les biais et risques de discrimination doivent être soigneusement évalués très en amont lors de la constitution des bases de données et lors de la procédure d’apprentissage afin d’être corrigés au risque de ne plus être à même de pouvoir les compenser. On parle alors de fairness by design. C’est d’autant plus nécessaire que beaucoup des algorithmes d’apprentissage automatique (e.g. réseaux de neurones profond ou pas) parmi les plus performants sont opaques à toute interprétation élémentaire et à toute explication des décisions, contrairement à des modèles élémentaires de statistique ou d’arbre de décision.

Dans son rapport de 2018 AI for Humanity, Cédric Villani propose la création d’un Discrimination Impact Assessment (DIA), qui semble calqué sur le Data Protection Impact Assessment (Analyse d’Impact relative à la Protection des Données) présent dans le RGPD. A quoi devrait ressembler un tel outil selon vous ?

En effet, le rapport Villani appel de ses vœux la création d’un DIA mais sans donner aucune précision à ce sujet. Mon avis rejoint naturellement la démarche d’un groupe d’experts européens qui ont récemment publié le guide pour une IA digne de confiance (2019). Ce guide propose une liste longue, détaillée et exhaustive d’évaluation d’un système d’IA avec 7 sections et dont la 5ème section est consacrée à diversité, non-discrimination et équité. Cette évaluation, encore en version pilote, cible spécifiquement les systèmes d’IA par apprentissage et repose sur une séquence de toutes les questions importantes que le concepteur d’un outil de décision algorithmique devrait être amené à se poser. Il s’agit donc, en premier lieu, d’une approche qualitative de l’évaluation mais qui interroge sur les indicateurs quantitatifs éventuellement utilisés. Citons par exemple :

• Avez-vous prévu une définition appropriée de l’« équité » que vous appliquez dans la conception des systèmes d’IA ?
• Avez-vous prévu une analyse quantitative ou des indicateurs pour mesurer et tester la définition appliquée de l’équité ?

La démarche proposée par les experts européens suit la même stratégie que celle adoptée pour l’évaluation de la protection des données (data protection impact assessment) mais laisse toujours à l’usager le soin de choisir ou définir de possibles indicateurs quantitatifs. A ce stade, une réflexion est nécessaire. Nous proposons à ce sujet un tutoriel pour expliquer, illustrer, l’usage des trois indicateurs prioritaires évoqués au point précédent pour détecter un risque de discrimination. Une étape suivante pourrait être menée par les organismes officiels de normalisation. La réflexion y est en cours mais toujours avec une approche seulement qualitative.

Pour continuer la comparaison entre les pratiques de part et d’autre de l’Atlantique, nous pouvons nous intéresser au très rapide développement des plateformes ou logiciels permettant l’automatisation de tâches des services de ressources humaines dont le pré-recrutement prédictif. De nombreuses entreprises proposent ce type de service en y intégrant une aide algorithmique, un système d’IA pour, par exemple, la présélection de CV ou l’analyse automatique de vidéos. Aux USA, où la mesure de l’effet disproportionné est entrée dans les usages, les sociétés proposent d’intégrer un « apprentissage équitable » afin de modérer l’effet disproportionné [Raghavan et al., 2019]. Les raisons en sont moins éthiques qu’économiques dans le souci d’éviter des complications juridiques à une entreprise.

A vous entendre, il apparaît donc essentiel de privilégier une approche ex ante plutôt qu’ex post, c’est-à-dire basée sur la responsabilisation des acteurs et en particulier des développeurs d’applications ?

Pour répondre à cette question j’essaie de me mettre à la place d’un expert en apprentissage automatique qui serait en charge de l’audit ex post d’un système d’IA entraîné sur des données. Sans documentation précise et exhaustive sur le processus qui a conduit à sa mise en exploitation, du recueil des données à sa vérification, voire sa certification, la tâche semble assez insurmontable. Le testing classique est, comme vu précédemment, hors jeu et tester le système sur des jeux de données plus réalistes, nécessiterait une immersion complète dans la complexité du domaine d’application concerné. Le risque évidemment est de ne tester que certains aspects du système, certaines situations ou types de données. La question principale reste donc la représentativité de ces tests par rapport à l’usage réel qui est fait du système. Cette question est de facto un préalable indispensable à la création d’un système d’IA : quelles données pour quel objectif ? Si elle n’a pas été posée explicitement et documentée ex ante, une analyse ex post ne peut conduire qu’à une remise en cause de la fiabilité du système, en termes de qualité de décision ou de biais, devant l’impossibilité d’en définir précisément le domaine d’usage.

Comment est-il envisageable de développer les capacités d’audit des régulateurs – tels que par exemple le Défenseur des Droits et la CNIL en France – sur ces sujets ?

Selon moi, des capacités et des compétences, à la fois techniques et juridiques, sont indispensables pour auditer a minima la documentation résultant d’une liste d’évaluation sur le modèle de celle du guide des experts européens. Il s’agit, en tout premier lieu, de s’assurer que la vérification ex ante de conception d’un système d’IA a été mise en place très en amont dans un souci de contrôle exigeant de la qualité à toutes les étapes : des données à la mise en exploitation et même l’intégration d’une surveillance du bon fonctionnement afin d’en contrôler tout risque de dérive et d’identifier les causes et responsabilités en cas d’erreurs. Ce processus qualité peut imposer de devoir ré-entraîner périodiquement l’algorithme afin d’y intégrer des situations ou cas de figures initialement omis de la base de données. A titre d’exemple, dans le domaine de la santé aux USA, cette boucle de rétroaction est explicitement décrite dans les procédures de la FDA (Food and Drug Administration) pour la certification des systèmes de santé connectés (AI/ML-SaMD ou Artificial Intelligence and Machine Learning Software as a Medical Device) [NDLR : sur le même sujet, en France, la Haute Autorité de Santé a lancé un projet de grille d’analyse pour l'évaluation de dispositifs médicaux avec intelligence artificielle].

La Commission Européenne a publié en février 2020 un livre blanc pour une approche de l'IA basée sur l'excellence et la confiance et dont certaines des recommandations sont issues du guide pour une IA digne de confiance que vous citiez précédemment. Quelles sont les priorités identifiées par la Commission ?

Conjointement à l’émergence d’un battage médiatique massif autour de l’intelligence artificielle, suivant celui sur les données massives (big data), de très nombreuses chartes éthiques, déclarations, ont été signées et diffusées par les principaux acteurs industriels (Partnership on AI, 2015), institutionnels (e.g. rapport Villani, 2018) ou académiques (Déclaration de Montréal IA responsable, 2018) du domaine. Ces chartes n’ont en rien empêché les usages délictueux de données personnelles. Seule la publication du RGPD (2018) et son intégration dans les lois nationales fournissent le cadre juridique et les moyens pour en juguler les débordements. Mais, même en assurant une protection vigilante des données personnelles, l’usage des systèmes d’IA entrainés sur ces données peut conduire à des impacts sociétaux dommageables au sens de la loi mais, comme nous l’avons vu, difficiles voire impossibles à caractériser. Actuellement, un data scientist européen opérant pour une banque, une assurance, un service de ressources humaines, de santé, etc. est contraint de prendre scrupuleusement en compte les règles de protection des données mais, hormis sa déontologie personnelle, aucune mesure de contrôle ne l’oblige à s’interroger sur les risques, notamment discriminatoires des systèmes qu’il développe. Aux USA et de façon paradoxale alors que même la confidentialité des données personnelles de santé n’est pas garantie, l’usage réglementaire d’un indicateur de discrimination comme l’effet disproportionné impose des développements algorithmiques soucieux d’une forme d’équité.

En Europe, ces risques doivent être au mieux circonscrits par un cadre réglementaire ou juridique. C’est l’objectif poursuivi par la Commission Européenne à travers la publication du livre blanc auquel vous faites référence. Celui-ci annonce en effet clairement la nécessité de nouveaux textes. Il cible l’importance prise par l’IA et plus particulièrement celles des algorithmes d’apprentissage et donc du rôle des données, de la qualité de leur représentativité, des risques inhérents à ces algorithmes : discrimination, opacité, défaillance. Trois risques qui sont de fait intimement liés !