Clément Henin et Daniel Le Métayer : « Fournir des explications du fonctionnement des algorithmes compréhensibles par des profanes »

Les systèmes algorithmiques prennent une place de plus en plus importante dans nos vies, ce qui représente un indéniable progrès. Toutefois, si nous leur déléguons de plus en plus de tâches, cela ne doit pas se faire au détriment de notre capacité à garder le contrôle et la compréhension de leur fonctionnement. Discussion avec Clément Henin et Daniel Le Métayer, sur ces enjeux de premier ordre.

LINC : En premier lieu, et même si cela peut sembler évident, pouvez-vous nous rappeler pourquoi il est indispensable de se préoccuper de l’opacité des systèmes algorithmiques ? 

Daniel Le Métayer : Il s’agit d’un problème majeur, notamment quand ces systèmes ont pour objet d’aider des humains à prendre des décisions qui peuvent avoir des conséquences importantes. Tout d’abord, si le décideur n’est pas en mesure de comprendre la logique à l’œuvre ou les raisons qui ont conduit à un résultat donné (prédiction, recommandation, etc.), il risque d’utiliser le système à mauvais escient. Des systèmes opaques, qui semblaient par ailleurs performants, ont été écartés de certaines applications sensibles pour cette raison précise. Le législateur l’a bien compris puisque l’obligation d’expliquer les résultats de certains types de systèmes algorithmiques a été introduite dans le droit. On peut penser notamment au RGPD en Europe, à la loi pour une République numérique en France ou encore à la Directive sur la prise de décision automatisée au Canada. On notera toutefois que ces obligations ne concernent pas tous les systèmes algorithmiques et que la définition des explications à fournir est souvent sujette à interprétation. Enfin, au-delà du droit positif, on sait que l’IA et les systèmes algorithmiques en général, posent de nombreuses questions d’ordre éthique (biais, perte d’autonomie, impacts sur la société, la démocratie, etc.). Or, comme l’a justement affirmé le rapport Villani en 2017, « une grande partie des considérations éthiques soulevées par l’IA tiennent à l’opacité de ces technologies ». Dans le même esprit, la CNIL a recommandé de « rendre les systèmes algorithmiques compréhensibles en renforçant les droits existants et en organisant la médiation avec les utilisateurs » dans son rapport de synthèse « Comment permettre à l’homme de garder la main ».

Transparence, loyauté, explicabilité, redevabilité, etc. De nombreux termes sont fréquemment utilisés lorsqu’on évoque la compréhension du fonctionnement des systèmes algorithmiques. Pouvez-vous nous rappeler de quoi il est question ? 

Clément Hénin : En effet, il existe dans ce domaine une profusion de termes qui ne sont pas toujours bien définis, ni utilisés dans le même sens par différents auteurs. Pour notre part, nous pensons qu’il est utile de distinguer au moins quatre concepts essentiels que nous appelons respectivement transparence, explication, justification et contestation. Tout d’abord l’objectif de la transparence est de rendre visible. On rend transparent quand on montre, on expose. On pense généralement au code du système, mais ce peut être également le texte de l’algorithme, les documents de conception, ou encore les données d’apprentissage. Une explication a un but différent : il s’agit de rendre compréhensible. On distingue généralement les explications locales, qui consistent à expliquer une décision ou un résultat particulier, des explications globales, qui portent sur la logique générale du système. La justification est encore d’une autre nature : il ne s’agit pas de rendre compréhensible mais de rendre acceptable, de convaincre qu’une décision est « bonne ». Enfin, la contestation peut être vue comme l’opposée de la justification : son but est de convaincre qu’une décision est mauvaise. 

Daniel Le Métayer : Les termes « explication » et « justification » sont parfois utilisés de manière indifférenciée dans la littérature. Pourtant, ils recouvrent des concepts tout à fait différents : une explication est endogène, dans le sens où elle constitue une information sur l’algorithme qui ne dépend que de celui-ci ; inversement, une justification est exogène, dans le sens où elle doit faire référence à un élément extérieur, qu’on peut appeler une norme, pour justifier le système (ou un de ses résultats). Prenons à titre d’illustration un système d’aide à la décision pour traiter des demandes de prêt bancaire. Un exemple d’explication pourrait être « votre demande de prêt est refusée car votre taux d’endettement dépasserait le tiers de vos revenus ». Cette information explique le refus mais ne le justifie pas. Une justification pourrait être : « votre demande de prêt est refusée car la loi interdit aux banques d’octroyer des prêts conduisant à un taux d’endettement dépassant le tiers des revenus ». Cette justification fait référence à une norme juridique mais d’autres formes de normes peuvent être envisagées (règle interne ou objectif de minimiser les défauts de remboursement par exemple). Quelle que soit sa forme, une justification doit pouvoir être contestée. La contestabilité est souvent mise en avant comme un objectif important dans la littérature mais peu de travaux ont jusqu’à présent porté spécifiquement sur ce point. Pour conclure sur la terminologie, il faut souligner que, même si elles ne répondent pas aux mêmes objectifs, la transparence, les explications et les justifications ne sont évidemment pas sans rapport : la transparence peut contribuer à la compréhension et les explications peuvent fournir des informations utiles pour formuler des justifications ou des contestations. 

On parle souvent de système aidant à l’explication ou à la justification, menant des analyses globales ou locales, et. On observe depuis quelques années une augmentation très importante du nombre de recherches menées sur ces sujets. Pouvez-vous préciser quels sont les enjeux de l’explicabilité des systèmes du point de vue scientifique ?

 
Clément Hénin : En effet, vue l’importance du problème, de plus en plus de chercheurs s’intéressent aux différents moyens de s’attaquer à l’opacité des systèmes algorithmiques. Une nouvelle communauté de recherche s’est d’ailleurs développée ces dernières années autour de ce qu’on appelle parfois XAI (pour « explainable AI »). De nombreuses méthodes ont été proposées, certaines fonctionnant « en boîte noire », c’est à dire sans connaissance du code du système, alors que d’autres, dites en « boîte blanche », interviennent sur ce code. Certaines ont pour but de rendre les systèmes interprétables (ou parle alors de système « intelligible ») alors que d’autres produisent des explications a posteriori de systèmes opaques. Chaque approche comporte des avantages et des inconvénients mais on peut identifier, de manière générale, plusieurs défis qui n’ont pas encore été relevés. Tout d’abord, celui de fournir des explications ou des justifications véritablement compréhensibles par des utilisateurs profanes (médecin, juriste ou personne affectée par les résultats des systèmes, par exemple). Ce domaine souffre encore beaucoup de ce que le chercheur Tim Miller et ses collègues ont appelé le syndrome des détenus qui veulent diriger l’asile (« beware of inmates running the asylum »), en l’occurrence des experts d’IA expliquant leurs propres productions. Les explications fournies par les méthodes existantes sont généralement unilatérales (non interactives) et fournies sous une forme fixe, décidée au préalable (par exemple des arbres de décision ou des listes de facteurs prépondérants) alors que les besoins des utilisateurs peuvent être variés et dépendants de leurs motivations et de leur degré de compétence. Par ailleurs, les justifications et les contestations n’ont pas fait l’objet de nombreux travaux de recherche jusqu’à ce jour. Pour conclure sur ce point, un aspect qui mérite également plus d’attention est aussi celui de l’évaluation expérimentale des résultats : on sait qu’il n’est pas simple de mesurer la qualité d’une explication ou d’une justification.

Plus spécifiquement pouvez-vous décrire les travaux que vous menez ?

Daniel Le Métayer : Nos travaux, qui se focalisent sur les méthodes « en boîte noire », portent sur deux aspects : les explications interactives et les justifications. Pour ce qui est des explications, nous partons du constat que les besoins diffèrent beaucoup d’une situation à une autre. Un employé de la banque qui cherche à comprendre les grandes lignes du système d’attribution de crédits n’a pas les mêmes besoins qu’un client qui souhaite contester une décision de refus ou un auditeur en charge de vérifier la conformité du système. Nous avons proposé un outil d’explications (appelé IBEX) qui repose sur une architecture à plusieurs couches permettant d’interagir avec chaque type d’utilisateur au niveau d’abstraction qui lui convient.  Ses demandes sont traduites automatiquement en exigences sur les explications à générer (simple ou complexe, générale ou spécifique, etc.), puis en paramètres du système de génération d’explications.  Celui-ci comporte deux phases principales : la sélection des données à fournir en entrée de l’algorithme et l’analyse des résultats produits par celui-ci. 

Clément Hénin : Le deuxième volet concerne les justifications. Comme nous l’avons déjà mentionné, celles-ci font référence à des normes extérieures pour convaincre qu’une décision est bonne. Le système de justification que nous avons conçu (appelé Algocate) inclut trois types de normes (des règles explicites, des objectifs et des données de référence) qu’il peut employer pour appuyer des justifications ou des contestations de décisions particulières. Les justifications (ou les contestations, selon la situation) donnent lieu à un dialogue entre Algocate et l’utilisateur. Dans la première étape, un utilisateur peut fournir ses raisons de penser que la décision est mauvaise. Ces raisons sont analysées par Algocate en regard des normes disponibles. La réponse d’Algocate peut conforter l’utilisateur dans ses raisons ou au contraire contrer ses arguments. À l’issue du dialogue, l’utilisateur a collecté des arguments suffisants pour contester la décision ou pour l’accepter s’il juge que les normes employées sont légitimes et qu’elles s’appliquent effectivement dans ce cas.