[2/3] Croire ou douter : la question des biais de confiance dans la prise de décision
Rédigé par Charlotte Barot
-
16 octobre 2024Alors que les systèmes d’aide à la décision se répandent, leur usage dans des contextes décisionnels critiques soulève de sérieux problèmes éthiques et juridiques. Afin de prévenir les principaux risques identifiés dans le domaine de la prise de décision, la loi impose une intervention humaine ou un contrôle humain intégré dans la procédure de décision, aboutissant à des dispositifs « hybrides », combinant puissance de calcul et discernement humain. Dans cette série d’articles le LINC explore, d’après la littérature scientifique, deux obstacles à l’effectivité de tels dispositifs : d’une part, les biais de confiance des utilisateurs vis-à-vis du système et, d’autre part, l’opacité des suggestions du système.
Cet article est le deuxième d’une série de trois :
- Contrôle humain, décisions hybrides : quels enjeux ?
- Croire ou douter : Biais de confiance dans la prise de décision
- Prédire sans expliquer, ou quand l’opacité algorithmique brouille les cartes
En décembre 2023, la Cour de Justice de l’Union Européenne a statué que l’outil de credit scoring de la société allemande SCHUFA, qui produisait pour les banques une estimation de solvabilité d’un client sous la forme d’un score de confiance, constitue une décision entièrement automatisée. Pourtant, la décision d’octroi de crédit était effectivement prise par un employé de la banque chargé de vérifier et appliquer ou non la proposition de l’outil, ce qui impliquait une intervention humaine. Dans la mesure, cependant, où ce score n’était jamais contesté par les employés de la banque qui s’y fiaient systématiquement, transformant ainsi la suggestion en décision d’attribution de crédit, la Cour a estimé que cette intervention n’était pas significative.
Pour ne pas être qu’une simple formalité, le contrôle humain, tel que défini dans le Règlement européen sur l’IA, doit permettre de détecter des erreurs, de diverger ou d’interrompre le système, autrement dit de fournir une véritable alternative à la sortie du système d’IA. Or, ces compétences reposent sur des dispositions psychologiques que le règlement souligne, en indiquant que la personne chargée du contrôle doit avoir conscience des biais cognitifs possibles, comme une excessive confiance. Ce biais constitue un élément risquant d’altérer la qualité du contrôle exercé, et donc la fiabilité du dispositif dans son ensemble.
La littérature empirique ne converge pas vers une réaction uniforme des individus aux algorithmes mais identifie deux tendances : soit une heuristique d’acceptation (thèse de l’appréciation) identifiée par le Règlement européen sur l’IA, soit de rejet (thèse de l’aversion), en dépit des erreurs que ces stratégies génèrent.
Trop de confiance attire le danger : appréciation excessive
Certaines études pointent une tendance des participants à se conformer aux sorties du système (e.g. Jacobs et al. 2021, Green 2019, Yin 2019, Bussone et al. 2015, Kiani et al. 2020, Alberdi et al. 2004, Logg et al. 2019, Robinette et al. 2017). Ainsi, le contrôle humain ne serait plus effectif car le décisionnaire se fierait systématiquement à la sortie du système, dans la même logique que celle de l’arrêt de la Cour de Justice Européenne concernant SCHUFA. Dans ce cas, ce n’est pas l’efficacité de la décision qui est remise en question mais l’effectivité du contrôle humain sur la décision algorithmique, et sa capacité à rejeter les éventuelles erreurs du système ou anomalies.
Dans une étude menée en psychiatrie (Jacobs et al. 2021), des chercheurs demandent à une cohorte de cliniciens de prendre une série de décisions sur un patient fictif. Pour chaque patient, le clinicien doit décider d’un traitement, soit avec une recommandation d’un système d’apprentissage automatique et une brève justification de la réponse choisie, soit sans aucune recommandation (choix complètement indépendant).
L’étude montre que, d’une part, les performances des groupes ayant et n’ayant pas accès aux recommandations du système d’apprentissage automatique sont virtuellement les mêmes, et que les deux groupes prennent de moins bonnes décisions que le système seul. D’autre part, lorsque le système produit une décision erronée, (où l’erreur est définie comme une position divergeant avec celle d’un collège d’experts en psychiatrie), la performance baisse par rapport au groupe de contrôle (sans accès au système d’apprentissage automatique), c’est-à-dire que l’humain tend à se conformer à la décision de l’algorithme sur ce type de cas.
Enfin, les auteurs constatent un effet de la familiarité avec l’outil : les cliniciens plus familiers avec le système étaient moins susceptibles en moyenne d'utiliser une recommandation du système d’apprentissage automatique, quelle que soit son exactitude, par rapport aux cliniciens moins familiarisés avec les systèmes d’apprentissage automatique.
Le constat selon lequel le niveau d’expertise « métier » joue un rôle dans la prise de décision est corroboré par une étude de Gaube et al. 2021 dans laquelle deux groupes de médecins de niveau d’expertise médicale différent doivent produire un diagnostic et noter une recommandation affichée comme provenant soit d’un algorithme soit d’un humain, alors que toutes les recommandations proviennent d’un humain.
Les médecins du groupe le plus expert tendent à moins bien noter les recommandations lorsqu’elles sont indiquées comme provenant d’un système d’IA. En revanche, la qualité de leur diagnostic est influencée par la qualité du conseil reçu, indépendamment de sa provenance (IA ou humain).
Ce résultat suggère que les effets d’influence du conseil du système pourraient être un simple artefact du fait de n’avoir pas pu former sa décision avant la confrontation, et pas nécessairement due à une attitude de déférence envers l’algorithme. En effet, l’étude montre que les participants ont globalement eu tendance à suivre les conseils prodigués, qu’ils proviennent d’un humain ou d’une machine.
L’absence de déférence envers le système par des experts est aussi constatée dans d’autres études (Logg et al. 2020, Povyakalo et al. 2013). Dans cette dernière étude, l’appréciation était aussi modulée par le désaccord. Un conseil en contradiction avec l’opinion préalable du participant avait moins d’impact mais n’annulait pas complètement l’effet de la confiance envers le système. L'appréciation des algorithmes a diminué (mais n'a pas disparu) lorsque leurs conseils ont été opposés à leur propre jugement. C’est donc sur ces points de désaccord, en concluent les auteurs, que les gens sont les plus susceptibles d'améliorer leur précision. Ces cas critiques de confrontation sont donc intéressants pour la prise de décision.
Aversion et méfiance excessive
Certaines études suggèrent, elles, une méfiance excessive envers le système, empêchant les participants de prendre des décisions éclairées (e.g. Dietvorst et al. 2015, Longoni et al. 2019, Dzindolet et al. 2002, Lim et O’Connor 1995, Yeomans et al. 2019, Promberger et Baron 2006).
Dans plusieurs tâches de prévision où ils doivent choisir entre une prédiction algorithmique et une prédiction humaine concernant la vraisemblance du succès d’un titre musical (Dietvorst et al. 2015), lorsqu’ils ont vu le système fonctionner, et parfois se tromper, les participants tendent à rejeter ses prédictions au profit de conseils humains, et ce en dépit du taux d’erreur plus élevé des prédictions humaines (allant jusqu’à doubler par rapport à celles de l’algorithme).
En somme, les humains pardonnent moins facilement leurs erreurs aux algorithmes, et ont tendance à généraliser l’ensemble de leur performance sur la base de ces exemples délétères. Cette tendance persiste même après avoir observé que les performances du système dépassent en moyenne celles des humains. Une explication naturelle est qu’une méfiance envers les algorithmes existe avant même de les avoir observés, et qu’observer des erreurs renforce cet a priori.
Il y aurait donc à l’œuvre un biais d’ancrage : une fois leur opinion à propos d’un système d’IA arrêtée, il est très difficile pour les utilisateurs de changer d’avis, même en présence de preuves contradictoires. Ceci est soutenu par le fait que l’aversion aux algorithmes n’est pas observée dans des tâches purement déterministes comme des calculs logiques, ou des tâches de mémoire, sur lesquelles les humains sont notoirement plus défaillants que les algorithmes.
Amplification des biais et interactions délétères
Les humains ne sont pas dépourvus de biais et n’ont pas un jugement infaillible, ce qui induit des erreurs s’ajoutant, toutes choses égales par ailleurs à celles des systèmes, ou les amplifiant.
Le cas de COMPAS
Le système COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) est un outil de prédiction utilisé dans le système de justice pénale aux États-Unis. Développé par la société Equivant (ex Northpointe), ce système évalue le risque qu'un délinquant commette de nouvelles infractions ou ne se présente pas à une audience future. COMPAS utilise un ensemble de questions sur les antécédents criminels, le comportement, et les caractéristiques personnelles des délinquants (relations sociales, données démographiques : âge, sexe, origine ethnique, etc.) pour calculer des scores de risque, dont celui de récidive violente. Les juges utilisent souvent les scores COMPAS pour décider si un prévenu peut être libéré en attente de son procès. Une enquête menée par le média ProPublica en 2016, a révélé que COMPAS présentait des biais discriminatoires, surestimant le risque de récidive chez certains individus et induisant des peines plus lourdes, sans que ceci soit justifié par d’autres critères que l’origine ethnique.
Pour comprendre si ces biais sont uniquement hérités de l’algorithme, Green et al. 2019 reproduisent le cas du système COMPAS en conditions de laboratoire. La tâche expérimentale consistait à évaluer le risque de récidive d’un individu, dans la même logique que l’algorithme original. La description de l’individu était assortie d’un score de risque de récidive en pourcentage, et le participant devait indiquer un score de récidive. Les chercheurs constatent qu’en présence d’une suggestion de l’algorithme, les individus prennent une moins bonne décision que ce dernier, et sont incapables d’évaluer tant leur performance que celle de l’algorithme. Ils soulignent que les décisionnaires sont manifestement eux-mêmes biaisés en défaveur de certains profils, ce qui les conduit à amplifier le biais de l’algorithme. Les biais humains, combinés à une haute confiance en l’algorithme, peuvent donc conduire à accepter le résultat biaisé voire à amplifier sa tendance.
A ce sujet voir également les interviews d’Angèle Christin (« Les méthodes ethnographiques nuancent l’idée d’une justice prédictive et entièrement automatisée ») et de Philippe Besse (« Les décisions algorithmiques ne sont pas plus objectives que les décisions humaines ») sur le site du LINC.
Jugement adéquat : influences et conditions d’exercice
Les constats rappelés ci-dessus incitent à porter une attention particulière aux conditions permettant à l’utilisateur d’être dans les meilleures dispositions psychologiques possibles, afin d’exercer un jugement pertinent. Ceci concerne à la fois ses compétences propres, la tâche à résoudre, mais aussi un ensemble de facteurs exogènes liées à l’environnement de travail et au contexte de la prise de décision. On peut ainsi relever :
L’environnement de la prise de décision :
- Le coût de l’erreur ou le fait d’être engagé dans une situation risquée (e.g. Robinette et al. 2017). Les risques pris par la personne qui prend la décision compte tenu des conséquences qu’elle entraîne pour la personne concernée influencent son jugement, car suivre ou diverger de la proposition d’un système peut entrainer des conséquences différentes en cas d’erreur. En particulier, l’attribution de responsabilité au preneur de décision, qui est un coût pesant sur le décisionnaire. Si la responsabilité d’une décision est attribuée à l’algorithme, il pourra sembler coûteux pour l’humain qui intervient de diverger avec la décision de l’algorithme, ce qui l’incite à accepter les décisions de l’algorithme
- Le temps alloué à la prise de décision (e.g. Robinette et al. 2017). Une durée très courte de délibération entraine des prises de décisions se rapprochant des suggestions de l’algorithme, par un réflexe d’économie.
L’expertise métier :
- Le niveau d’expertise dans la tâche donnée (e.g. Jacobs et al. 2021, Logg et al. 2019, Povyakalo et al. 2013). Les experts tendent à moins se fier à l’algorithme qu’une personne plus novice, ce qui est un avantage pour la possibilité de diverger de la décision proposée par l’algorithme, mais peut également pousser l’expert dans une voie de confiance peut être excessive. A l’inverse les personnes plus novices risquent d’accepter la suggestion du système plus souvent.
- Le doute vis-à-vis de la décision à prendre. Les cas où la personne en charge de la décision n’est pas certaine ou a un niveau de doute assez élevé seront vraisemblablement ceux où l’influence de la suggestion sera la plus grande. Il peut s’agir de cas difficiles car les options sont trop nombreuses, ou parce que le cas rencontré est singulier.
La relation aux systèmes automatisés :
- La familiarité avec les algorithmes et les systèmes automatisés (e.g. Jacobs et al. 2021). Les personnes moins familières avec ces systèmes ont tendance, selon les cas, à avoir plus confiance, ou au contraire une méfiance excessive, mais la disposition est rarement neutre.
- La confiance a priori envers le système, i.e. les préjugés sur la fiabilité de l’algorithme, qui s’avèrent très difficiles à déconstruire, en particulier si ceux-ci sont fondés sur l’observation que le système a fait des erreurs (e.g. Robinette et al. 2017, Dietvorst et al. 2015, Prahl et al. 2017).
- La congruence, ou le fait d’être d’accord intuitivement avec la sortie de l’algorithme (e.g. Logg et al. 2019). Ce facteur, en apparence trivial, risque d’avoir un fort impact sur la capacité humaine à se remettre en question dans des cas de méfiance excessive envers l’algorithme.
Enfin, la configuration globale dans laquelle s’exerce l’interaction entre le décisionnaire et le système d’aide à la décision :
- La suggestion anticipée. Le système propose une recommandation avant même la prise de décision humaine. L’humain décide s’il choisit d’accepter la décision ou s’il choisit de diverger et d’en proposer une autre. Comme vu précédemment, cette configuration risque de favoriser les effets d’ancrage et ainsi de rendre plus difficile pour l’humain de diverger.
- La levée de doute. Le système ne déclenche aucune intervention, mais signale une situation sur laquelle il identifie un danger. Dans ce dernier cas seulement, il y a intervention humaine, quand un employé décide de valider ou non l’alerte. Souvent utilisée dans la télésurveillance, cette configuration permet d’économiser l’implication humaine car le personnel n’intervient que sur certains types de sorties : celles indiquant un danger ou la nécessité d’une intervention. Il nécessite que les situations potentiellement dangereuses soient bien toutes identifiées par le système.
- La suggestion alternative. Le système produit une information supplémentaire en support de la décision humaine déjà envisagée. Cette solution permet d’éviter l’excès de confiance en l’algorithme, mais peut en revanche, à affaiblir l’efficacité de son utilisation de, car l’opérateur humain a déjà pris sa décision et peut trouver « coûteux » d’en changer. En revanche, sur les cas où l’humain a un doute quant à sa décision, la configuration semble particulièrement pertinente.
- L’utilisation d’un algorithme de choix. Un algorithme de choix décide de renvoyer la prise de décision à l’humain ou au système seul (décision unique, non contestée). Cette solution proposée par Mozannar et al. 2023 permet d’éviter les biais de confiance humains, mais il repose sur un autre système automatisé, ce qui ne satisfait pas les exigences du RGPD et du Règlement sur l’IA, sauf à démultiplier les niveaux d’intervention humaine.
- L’indice dans un faisceau. Indépendamment, un humain et une IA prennent une décision sur un problème ; un tiers, donc un collège ou un autre expert, tranche sur les désaccords, idéalement à l’aveugle.
Les options de « confrontation », donc les options 3 et 5, dans lesquelles l’utilisateur a la possibilité de se faire une opinion autonome, semblent les plus à mêmes de permettre à la personne de ne pas « subir » les décisions du système, et donc d’exercer son pouvoir de jugement. En revanche, pour qu’elles soient efficaces, il faut que l’humain soit enclin à véritablement confronter sa décision avec la suggestion du système reçue ensuite, sans nécessairement tenter de confirmer sa propre hypothèse. Si ces deux configurations semblent ainsi pertinentes dans le cadre du contrôle humain, il est probable que les cas véritablement profitables seront ceux sur lesquels l’avis de l’agent n’est pas trop tranché, au risque sinon de rejeter la décision.
Conclusion
Même avec une neutralité parfaite, un jugement infaillible, et des conditions de travail idéales, il reste toutefois un obstacle fondamental : la possibilité même de déchiffrer et de donner un sens à la suggestion du système. C’est cette difficulté intrinsèque que nous proposons d’explorer dans l’article « Prédire sans expliquer, ou quand l’opacité algorithmique brouille les cartes ».
