[1/3] Contrôle humain, décisions hybrides : quels enjeux ?

Le contrôle humain se présente comme une mesure essentielle pour garantir des décisions fiables et justes, aboutissant à des procédures de décision hybrides, combinant intervention humaine et utilisation d’algorithmes. Cependant, ces procédures hybrides, qui visent à allier l’efficacité des systèmes d’aide à la décision et les qualités humaines  de discernement, ne peuvent fonctionner que si le décisionnaire humain peut évaluer en toute connaissance de cause la sortie qui lui est proposée, comme la CNIL l’évoquait déjà en 2017 dans son rapport éthique « Comment permettre à l’Homme de garder la main ? ». Dans cette revue de la littérature, le LINC explore les obstacles à la mise en œuvre de systèmes de décision hybride et les pistes identifiées pour leur amélioration.

Accumulation des données : de nécessaires analyses

Face à l'essor des données massives, les algorithmes d'aide à la décision (ou ADM, « automated decision making ») se sont imposés pour traiter des problèmes complexes. Ces outils d'intelligence artificielle (IA) produisent  des estimations rapides à partir  desquelles les doivent prendre des décisions mais sans disposer d’éléments objectifs pour apprécier ce que ces IA proposent. On pense ici à des décisions dans des secteurs comme la santé (Jacobs 2021, Gaube et al. 2021, Beede et al. 2020), la finance, la modération de contenu (Link et al. 2016, Gillespie 2020), ou la détection de la fraude.

Les algorithmes d’aide à la décision présentent des bénéfices pour automatiser sur des tâches simples mais laborieuses ; ce faisant ils soulagent une partie de la charge de travail des humains et réduisent en principe les coûts en ressources humaines. A l’échelle individuelle, un ensemble de décisions mineures de la vie courante sont couramment déléguées à des algorithmes, sans conséquences dommageables, comme la recommandation du trajet le plus court pour rejoindre le lieu de travail ou une suggestion de morceaux à écouter.

Sur des tâches plus complexes avec des choix difficiles, la confiance dans ces outils peut aller jusqu’à leur déléguer non seulement l’exécution de tâches aux mécanismes bien connus, mais également une partie du jugement, afin d’en faire un guide, voire un  « oracle ».

Automatiser pour mieux décider

Si déléguer des décisions relevant du quotidien semble  raisonnable, (car sans conséquences), demander à ChatGPT de prendre une décision importante, comme l’achat d’un bien immobilier, le semble moins. Un tel service est attendu pour fournir au mieux une recommandation ou un conseil, mais il semblerait déraisonnable, sur ce type de questions, de laisser à l’algorithme le dernier mot.

Ces systèmes, malgré leurs capacités impressionnantes, ne peuvent entièrement se substituer au jugement humain. Sur certains types de problèmes, ils s’avèrent inadaptés à des décisions qui requièrent de prendre en compte, en plus de la vraisemblance, un ensemble de facteurs relevant à la fois de l’éthique, du contexte social, et des considérations sur l’effet à long terme de la décision, comme en justice.

Souveraineté humaine et décisions partagées

L’utilisation des systèmes automatisés soulève des problèmes éthiques, dont une réponse possible est l’intégration d’un contrôle humain pour préserver l’autonomie décisionnelle et garantir la pertinence de la décision.

Ainsi la loi « informatique et libertés » exclut-elle dans son article 47, les décisions de justice fondées sur un traitement automatisé et définit un cadre strict pour l’automatisation des décisions entraînant des conséquences sur les personnes qu’elles concernent. Elle demande que, lorsqu’une décision a des effets notables sur la vie d’un individu, celle-ci ne peut être l’issue d’une procédure entièrement automatisée, et doit ainsi inclure une intervention humaine, sauf dans le cadre de décisions administratives individuelles. Le Règlement Général sur la Protection des Données formule dans son article 22 les mêmes précautions et raffine le cadre des exceptions possibles : lorsque la personne concernée a donné son consentement, que le traitement automatisé est nécessaire à l’exécution d’un contrat, ou si une loi le prévoit explicitement.

Efficacité des procédures

• L'intervention humaine, malheureusement, n'améliore pas toujours les résultats produits par un système automatisé et peut même les dégrader. Cela s'explique par le fait que les décisionnaires peuvent adopter des attitudes rigides, soit en acceptant aveuglément les suggestions (on parle de « biais d’acceptation »), soit en les rejetant par principe (on parle de biais d’aversion). Ces biais compromettent la performance et, dès lors, menacent la fiabilité des dispositifs hybrides. L’article « Croire ou douter : Biais de confiance dans la prise de décision » explore les questions relatives aux biais de confiance des décisionnaires humains, qui affectent la qualité des décisions et propose des pistes de remédiation identifiées par la communauté de recherche.
• Les problèmes de confiance ne sont cependant pas de simples erreurs de jugement  : ils révèlent une difficulté plus profonde à évaluer correctement les résultats fournis par l'IA, soulevant la question de l'interprétabilité des sorties. Il est donc crucial de doter les décideurs des outils et des connaissances nécessaires pour déterminer quand suivre les recommandations des algorithmes, afin d'optimiser l'efficacité du dispositif global, et de répartir la charge de la décision.
• L’article « Prédire sans expliquer, ou quand l’opacité algorithmique brouille les cartes » explore les enjeux d’intelligibilité des résultats des systèmes automatisés, qui peuvent être difficiles à interpréter ou à remettre en question et détaille des modalités pratiques pour faciliter l’interaction avec les sorties proposées et renforcer la fiabilité des procédures de prise de décision hybride.