Parler d’« intelligence artificielle » (IA), c’est souvent se confronter à une myriade de concepts et de termes qui, employés par tel ou tel acteur, admet telle ou telle acception. Ici, nous prendrons pour point de départ la définition de l’OCDE, qui est également celle qui a été adoptée par le parlement européen au sein du Règlement sur l’Intelligence Artificielle (RIA). Celle-ci stipule :

« Un système d’intelligence artificielle est un système automatisé qui, pour un ensemble donné d’objectifs définis par l’homme, est en mesure d’établir des prévisions, de formuler des recommandations, ou de prendre des décisions influant sur des environnements réels ou virtuels. »

Nous voyons que ce qui constitue le trait caractéristique des systèmes d’intelligence artificielle au sens de cette définition, contrairement à n’importe quel système automatisé, est bien la capacité, à un certain degré, de déférer à ces systèmes une capacité d’agence ou bien de déclencher des actions humaines à partir de leurs résultats. Cette définition, très générale, englobe une grande variété de types de systèmes basés sur des algorithmes différents. Mentionnons par exemple sans être exhaustif : les systèmes dits experts, les arbres de décision, les régressions (linéaire, logistique, etc…), ou encore les réseaux de neurones.

Dès lors que la vocation proclamée de ces systèmes est de produire, ou d’être à l’origine, d’actions réelles ou virtuelles, c’est-à-dire, d’être conféré une capacité directe ou indirecte d’agir, il convient pour les acteurs qui leur laissent cette capacité d’agir, soit de prouver qu’ils maîtrisent leurs systèmes, soit qu’ils sont capables d’en justifier les résultats.

C’est dans ce contexte qu’émerge, d’abord dans les années 1990 avec l’expansion des systèmes experts, puis, renouvelé par l’avènement de l’apprentissage profond et des réseaux de neurones, la question de la production d’explications des résultats des systèmes d’IA.

Dans cet article, nous retracerons l’évolution des formulations du problème de la production d’explication des résultats des systèmes d’IA, en lien avec les changements de régime du champ de l’intelligence artificielle (systèmes symboliques/experts vs. apprentissage profond). Nous illustrerons par des exemples concrets la façon dont ce changement de régime renouvelle, en la complexifiant, la question de l’explicabilité. Cette question devient un enjeu réglementaire et politique majeur à mesure que les systèmes basés sur l’apprentissage profond sont déployés à une large échelle.

 

Produire des explications : un enjeu de diffusion et d’adoption des systèmes d’IA…

Dans les organisations

Avant le développement massif des systèmes d’IA grands publics accessibles à tous comme ChatGPT, les usages de tels systèmes étaient pour la plupart cantonnés aux organisations, fussent-elles des administrations publiques ou des entreprises, qui les utilisaient pour accomplir leurs missions principales ou bien comme support à celles-ci. Ainsi, la question de la délégation d’agentivité à des systèmes d’IA s’est posée en premier lieu au sein d’organisations, qui entendaient tirer parti ou profit de leur performance.

A titre d’exemple, IBM consacre chaque année un chapitre de son Global AI Adoption Index au rapport que les entreprises interrogées entretiennent avec la notion d’IA de confiance et d’explicabilité de l’IA.

De même, les premiers questionnements sur la production d’explications des résultats de systèmes basés sur l’apprentissage profond émergent principalement en 2016 suite à l’appel de la DARPA, dans son « Explainable AI Program » (cf. Figure 1). La DARPA est une agence du département de défense des Etats-Unis, chargée de « faire des investissements cruciaux dans les technologies révolutionnaires pour la sécurité nationale des Etats-Unis ». C’est l’un des plus gros financeurs de la recherche académique américaine.

Figure 1 - Illustration extraite du Explainable AI Program de la DARPA

Pour les citoyens

Les organisations n’utilisent pas les systèmes d’IA qu’à des fins internes. Il est désormais courant que des entreprises traitent à l’aide d’algorithmes d’IA des données de clients, ou bien que des administrations utilisent des traitements algorithmiques qui se basent sur des données de citoyens pour assurer leurs missions. Ainsi, la France à travers la Loi Informatique et Libertés (LIL), puis l’Union Européenne à travers le Règlement Général pour la Protection des Données (RGPD), ont développé un cadre règlementaire qui vise à encadrer les traitements de données personnelles, qui s’appliquent en particulier quand ce traitement est basé sur un algorithme d’IA.

Afin que ces traitements basés sur l’IA soient légaux, ceux-ci doivent se conformer à leurs exigences. En particulier, tout citoyen dont les données sont traitées par une organisation a des droits vis-à-vis de ce traitement. La LIL et le RGPD prévoient que dans certaines situations, un citoyen puisse demander à une organisation qui traite ses données personnelles à l’aide d’un algorithme d’IA des éléments de compréhension des résultats de ce traitement. Plus précisément, l’article 47.2 de la LIL prévoit qu’à propos des décisions administratives individuelles basées sur un traitement algorithmique :

Pour les clients

Enfin, le RIA vise à encadrer la commercialisation de produits basés sur des systèmes d’Intelligence Artificielle. Ce règlement s’applique en fonction des différents niveaux de risques associés au système d’IA considéré :

• Risque inacceptable : ces systèmes sont considérés comme trop dangereux et seront interdits, comme par exemple la notation sociale à l’usage des gouvernements, ou les jouets à assistance vocale qui incitent les enfants à adopter des comportements dangereux ;
• Risque élevé : ces systèmes sont considérés comme potentiellement dangereux pour la sécurité ou les droits fondamentaux des personnes, et devront se conformer à des obligations strictes. Il s’agit par exemple des systèmes d’IA incorporés dans des jouets, des avions, des dispositifs médicaux, utilisés pour le recrutement ou encore le contrôle des frontières ;
• Risque limité : il s’agit de systèmes tels que les chatbots, ou les outils de génération d’image, pour lesquels un minimum d’information sera requis, notamment un marquage clair que leurs générations sont issues d’un système d’IA et n’est pas une création humaine ;
• Risque minimal : il s’agit des systèmes qui ne tombent pas dans les catégories précédentes, tels que les jeux vidéo ou les filtres anti-spam. Leur mise en circulation dans l’UE n’est soumise à aucune exigence.

Pour les systèmes à risque élevé, le Règlement IA impose des mesures de production d’explications, comme stipulé à l’article 86.1 :

« Toute personne concernée par une décision prise par le responsable du déploiement sur la base des résultats d'un système d'IA à haut risque figurant à l'annexe III, à l'exception des systèmes énumérés au point 2 de ladite annexe, et qui produit des effets juridiques ou affecte cette personne de manière significative d'une façon qu'elle considère comme ayant une incidence négative sur sa santé, sa sécurité ou ses droits fondamentaux, a le droit d'obtenir du responsable du déploiement des explications claires et utiles sur le rôle du système d'IA dans la procédure décisionnelle et sur les principaux éléments de la décision prise. »

 

Que s’est-il passé en 2012 ? L’avènement de l’apprentissage profond

Au début des années 2010, la communauté de la vision par ordinateur (computer vision), qui vise par exemple à construire des algorithmes capables de différencier une image contenant un chat d’une image contenant un chien, s’emploie activement à réussir à classifier la base de données ImageNet. Il s’agit d’un ensemble de 1,2 million d’images, telle qu’à chaque image est associée un label : « huski », « tree frog », « peacock » etc. Cette base de données contient au total 1000 labels. « Classifier » ImageNet signifie construire un algorithme, qui prend en entrée une image de cette base de données, et qui est capable de déterminer avec le moins d’erreur possible le label de chaque image. Le pourcentage de fois où un algorithme donné se trompe, appelé taux d’erreur, est l’étalon par lequel cette communauté juge et classe les propositions d’algorithmes de classification. 

Figure 2 - Extrait du dataset ImageNet (J. Deng, 2009)

Comme rapporté dans (Cardon, 2018), un séisme s’opère en 2012 dans cette communauté lors de la conférence ECCV12’. En effet, Geoffrey Hinton, un des chercheurs majeurs en apprentissage profond (un type particulier d’IA dont les prémisses datent des années 1950, et alors plutôt marginalisé depuis les années 1970, nous y reviendrons) propose un algorithme de réseau de neurones profond pour classifier ImageNet. Les tenants du titre de la compétition ImageNet sont dubitatifs, et pourtant, Hinton améliore de 10 points le meilleur taux d’erreur avec sa proposition.

Ce qui constitue un séisme ici, c’est qu’Hinton n’est pas un chercheur en vision par ordinateur, il n’a pas vraiment de connaissance particulière de ce domaine. Son tour de force repose essentiellement sur de l’ingénieurie : Hinton a réussi à entraîner un réseau de neurones avec plus de 100 millions de paramètres, en distribuant ses calculs sur plusieurs cartes graphiques pourtant conçues pour autre chose. Grâce à cette immense puissance de calcul rendue disponible, et à la grande quantité de données contenue dans la base ImageNet, Hinton a réussi à faire passer à l’échelle la technologie de l’apprentissage profond, qui permet de donner les images à analyser telles quelles à l’algorithme, sans avoir besoin d’expertise particulière en analyse d’images pour en extraire des caractéristiques. Il a ainsi montré que les conditions étaient réunies en 2012 pour finalement donner une avance considérable aux techniques d’apprentissage profond, dans tous les domaines (vision, audio, texte, etc…), sur les techniques expertes. 

Ce triomphe est le produit d’une longue histoire de lutte entre différentes conceptions de ce que signifie « fabriquer une machine intelligente ». Pour la retracer et en rendre compte, les auteurs de (Cardon, 2018) proposent -comme c’est classique en sciences sociales- d’opérer une distinction entre deux idéaux types de conceptions de l’IA : symboliste et connexionniste. Il est important ici de préciser qu’il s’agit d’un choix méthodologique qui vise à isoler des grands types de conceptions de l’IA, afin de faciliter l’étude et la compréhension de leurs relations mutuelles, sans rentrer dans l’identification, impossible à mener en pratique, de toutes les traces de tel ou tel type dans chaque technique d’IA. Ainsi, les techniques d’IA ne sont pas toujours complètement symboliques ou complètement connexionnistes, mais la thèse des auteurs est bien que pour comprendre « l’IA », il est fondamental d’étudier la controverse associée à la confrontation d’un type avec l’autre.   

Ainsi, la conception symboliste ou experte de l’Intelligence Artificielle (qui est à entendre plus largement que les méthodes formelles ou les systèmes basés sur des règles, et inclus également par exemple les régressions ou machines à vecteurs de support) se fonde sur l’idée que pour concevoir une machine « intelligente », il faut incorporer dans son fonctionnement une théorie sur le monde que l’on essaye d’analyser. Ainsi, « l’intelligence » de la machine provient surtout de l’implémentation d’un raisonnement du développeur sur le domaine que l’on analyse. Comme rapporté dans (Cardon, 2018) lors d’un entretien qu’ils ont mené avec un chercheur en vision par ordinateur : 

« c’est des gens qui sont quand même dans cette idée qu’il faut comprendre, qu’il faut savoir expliquer pourquoi on met les branches comme ça et qu’on raisonne comme ça, et que l’on avance comme ça... »

A l’opposé, les partisans du connexionnisme, qui se base principalement sur les modèles de réseaux de neurones entraînés par apprentissage profond, considèrent que pour qu’un algorithme « apprenne », il faut lui laisser le plus de latitude possible pour s’améliorer à l’aide d’un grand nombre d’exemples. Ainsi, le connexionnisme fonctionne sur un idéal d’apprentissage sans théorie du monde qu’il cherche à analyser, à partir d’un grand nombre de données et d’une puissance de calcul certaine.

L’apprentissage profond gagne chaque jour une forme d’hégémonie, ainsi tous les succès majeurs récents de l’intelligence artificielle sont dus à ces techniques : jeu de go, voiture autonome, chatbot, générateurs d’images…

 

Leçon de classification symbolique : les girafes ont un cou plus long que les chats

Mettons-nous maintenant dans la peau d’un chercheur symbolique en vision par ordinateur souhaitant classifier ImageNet[1]. Pour rappel, classifier ImageNet signifie construire un algorithme, qui prend en entrée une image et est capable, le mieux possible, de renvoyer la probabilité que cette image appartienne à telle ou telle classe. Cette construction s’opère généralement en trois grandes phases : l’extraction de caractéristiques (ou features), la construction d’un algorithme de classification sur la base de ces caractéristiques, l’évaluation de la performance de l’algorithme.

Typiquement, si l’on cherche à distinguer des photos de chats de photos de girafes, on peut partir de notre connaissance de ces animaux, et donc du fait que nous savons que le cou d’un chat est généralement bien plus court que le cou d’une girafe relativement à son corps, pour distinguer les deux. Ainsi, on peut construire un algorithme qui extrait d’une image de chat ou de girafe la proportion relative de cou.

Figure 3 - Chat et Girafe

A partir de suffisamment d’exemples de photos dont on connaît le label – c’est la base de données d’entraînement –, on peut étudier la répartition de la caractéristique extraite parmi les chats et les girafes. On observe alors que, parmi ces images, 97% des girafes ont un cou qui occupe plus de 30% de leur corps, et que c’est le cas pour 5% des chats. Cela permet au chercheur d’aboutir à la construction de l’algorithme suivant : 

ChatOuGirafe(Image) :

Calculer la proportion relative de cou sur l’image

Si cette proportion est > 30%,

Alors renvoyer Girafe

Sinon,

Renvoyer Chat

Pour être certains que l’algorithme fonctionne, il faut alors le tester sur des nouvelles images dont on connaît le label, qui n’étaient pas présentent dans la base d’entraînement. Le chercheur se rend alors compte que dans 93% du temps, l’algorithme renvoie le bon label. Avec le sentiment du travail accompli, le chercheur peut présenter ses résultats à la communauté de la vision par ordinateur.

Cette vision, bien sûr très simplifiée, reproduit les grandes étapes de la construction d’un algorithme de classification symbolique. En effet, les gagnants du challenge ImageNet 2011[2] (l’année qui précède l’arrivée dans la compétition des réseaux de neurones), repose précisément sur ces trois étapes. Les caractéristiques extraites des images le sont grâce à la technique SIFT[3], qui permet de détecter des motifs invariants par changement de taille ou déplacement de l’image. Cet ensemble de caractéristiques extraites est ensuite analysé statistiquement sur un ensemble d’entraînement grâce à une méthode sophistiquée appelée Noyau de Fisher[4] (Fisher Kernel), qui permet d’en déduire un algorithme de classification. L’évaluation de l’algorithme de cette équipe a eu lieu lors du challenge ImageNet 2011, et il a obtenu le taux d’erreur de classification le plus faible de cette année-là.

 

Leçon de classification connexionniste : apprendre par l’exemple

Enfilons maintenant le costume d’un chercheur connexionniste. Pour lui, afin de construire un algorithme qui classifie ImageNet, il ne faut surtout pas décider a priori de caractéristiques à extraire des données, il faut au contraire, lui donner en entrée les données les plus proches du « réel » possible. Il faut ensuite que le modèle sur lequel se base l’algorithme ait suffisamment de latitude (on parle de paramètres) pour être capable de s’ajuster au mieux aux données contenues dans le jeu d’entraînement : on parle d’apprentissage. Cet apprentissage nécessite donc une très grande puissance de calcul, et un grand nombre de données d’entraînement. Ainsi, pour le chercheur connexionniste, il faut que l’algorithme s’améliore à partir d’un grand nombre d’exemples, en évitant le plus possible que des pré-supposés du chercheur concernant les caractéristiques importantes des images ne soient incorporées dans l’algorithme. On parle donc d’idéal d’apprentissage agnostique.

Venons-en maintenant à décrire les grandes étapes que Geoffrey Hinton a mises en place lors du challenge ImageNet 2012 afin d’améliorer de plus de 10% l’état de l’art de la classification de ce jeu de données. Comme nous venons de le voir, contrairement au chercheur symbolique, le connexionniste ne vise pas à extraire des caractéristiques qui lui semblent pertinentes des images d’ImageNet. Premièrement, il commence par décider du type de modèle de réseau de neurones qu’il souhaite utiliser et comment il souhaite que les calculs au sein du modèle soient organisés : on parle d’architecture du réseau de neurone. L’architecture choisie par Hinton est un réseau convolutionnel avec 60 millions de paramètres.

Figure 4 - Représentation schématique du réseau de neurones employé par Hinton et son équipe - (Krizhevsky, 2012)

La deuxième étape consiste à entraîner le réseau de neurones. Pour ce faire, l’idée est de « montrer » les images du jeu de données d’entraînement au réseau. Dès que celui-ci se trompe de label, on modifie les valeurs des paramètres du modèle afin de réduire l’erreur. Cette opération, qui semble simple à décrire, nécessite en fait une très grande capacité de calcul, qui, à l’époque de Hinton, n’était pas facilement disponible. Ce qui a rendu possible cette phase d’entraînement, c’est un travail d’ingénieurie minutieux d’étudiants de Hinton afin de réussir à répartir correctement les calculs de l’entraînement sur un type de calculateur particulier : les cartes graphiques (GPU). C’est ce travail de réorganisation des calculs, qu’on appelle parallélisation, qui a permis d’effectuer l’apprentissage du grand réseau de neurones convolutionnel de Hinton en un temps raisonnable. 

Comme pour le cas des algorithmes symboliques, la dernière phase est toujours celle de l’évaluation, où on évalue la performance du réseau de neurone entraîné sur des images qui ne faisaient pas parties du jeu d’entraînement.

 

Le renouveau de la production d’explications

Maintenant que nous avons exposé les grands principes qui sous-tendent les conceptions symboliques et connexionnistes de l’intelligence artificielle, posons-nous la question, à la lumière de la révolution connexionniste à laquelle nous assistons, de la façon dont se transpose la production d’explications des résultats des systèmes d’IA, en passant du symbolisme au connexionnisme.

Nous l’avons vu, le propre de l’IA symbolique est d’implémenter dans un algorithme une théorie sur le monde, ou bien un raisonnement. Pour définir un algorithme qui détermine si une image représente un chat ou une girafe, on part du savoir théorique, que le cou des girafes est plus long que celui des chats. L’algorithme de classification manipule la quantité « longueur relative du cou », et, à partir d’une analyse statistique, implémente sous forme de règle le modèle : si la longueur relative du cou est supérieure à 30%, renvoyer girafe, sinon, renvoyer chat.

Ainsi, il faut souligner que l’algorithme manipule des quantités, des « symboles », qui font sens pour son développeur. De plus, les opérations effectuées sur ces symboles se rapportent à une théorie sur le monde que son développeur a formulée, implicitement ou explicitement, lors du développement de l’algorithme. Cela en amène Bruno Bachimont (Bachimont, 1996), philosophe des sciences, à conclure pour le cas des systèmes formels (un sous-ensemble des systèmes symboliques) :

« Alors que les systèmes formels automatiques élaborées en IA ne sont pas modèles dénotationnels, c'est-à-dire des représentations formelles dénotant le monde, leur caractère symbolique et effectif leur permet d'être interprétables linguistiquement et de renvoyer aux connaissances dont ils sont la transcription formelle. »

Pour expliquer, ou interpréter, les opérations d’un système symbolique, il faut donc retracer les connaissances des programmateurs auxquels ils renvoient. On voit donc ici précisément qu’il s’agit de désencastrer le système informatique de sa dimension strictement technique, en retraçant la logique ou l’intention qui a mené à son développement. Si cette opération semble réalisable en théorie, on n’imagine que très bien les obstacles institutionnels ou organisationnels auxquels elle peut se heurter, dès lors que le développement de tels systèmes n’est rarement le produit que d’une seule personne, ni d’une intention univoque d’une organisation. C’est précisément ce que souligne le rapport de (Merigoux D., 2023), qui montre que les administrations qui déploient des algorithmes aussi simples que des systèmes de règles (calcul d’allocation), sont dans l’impossibilité de produire des explications de leurs résultats pour des raisons essentiellement organisationnelles : les bases de codes ont plusieurs décennies, et leur actualisation au gré de l’évolution de la législation a lieu sous forme de couches successives qui ne permettent pas maintenir leur interprétabilité. Ainsi, s’il est possible en principe de produire des explications des résultats des systèmes symboliques, la mise en place de cette production se heurte très souvent à des obstacles organisationnels.

Pour ce qui est des systèmes connexionnistes, nous avons vu que par principe, leur implémentation n’est pas en lien évident avec les connaissances du programmateur sur la tâche à résoudre, puisqu’ils opèrent sur des variables abstraites, et ajustent leurs calculs à partir de bases d’exemples et non des théories du programmateur sur le monde. Cette situation est parfaitement illustrée par la citation collectée auprès d’un chercheur en vision par ordinateur par les auteurs de (Cardon, 2018) à propos de l’arrivée de Geoffrey Hinton à la conférence ECCV 12’ sur la classification d’ImageNet.

« Enfin, les mecs [ndlr : les chercheurs de la communauté de vision par ordinateur en 2012] étaient tous par terre parce que grosso modo cela foutait en l’air 10 ans d’intelligence, de tuning, de sophistication. […] Et le mec [ndlr : Geoffrey Hinton] il arrive avec une grosse boîte noire de deep, il a 100 millions de paramètres dedans, il a entraîné ça et il explose tout le domaine. »

On voit donc ici que le passage au connexionnisme opère un changement radical sur la compréhension que les concepteurs d’IA peuvent avoir de leur système, et donc a fortiori de leur capacité à rendre compte de leurs calculs et à en produire des explications. C’est précisément ce bouleversement de rapport entre « le monde » et « la machine » qui a donné lieu à l’expression désormais populaire de « boîte noire » pour les modèles de réseaux de neurones, afin de véhiculer l’idée que si les calculs des réseaux de neurones peuvent être décrits comme une très grande succession d’opérations mathématiques élémentaires à partir de données brutes, cet enchaînement d’opération n’est pas directement relié aux conceptions de leur développeurs, et donc ne fait pas sens a priori.

C’est avec l’objectif de surmonter ce statut de « boîte noire », qu’un écosystème de recherche s’est structuré autour de la question de la production d’explication des résultats des réseaux de neurones : l’Explainable AI. Cette communauté de recherche produit des techniques (des algorithmes, pour la plupart), afin de calculer à partir d’un réseau de neurones et d’une donnée d’entrée, une explication du résultat du modèle. Si la production de ce champ de recherche est très vaste – plus de 15k papiers contenant « Explainable AI » sont présents depuis 2016 dans la base de données SemanticScholar-, il faut souligner qu’elle est très hétérogène – les explications qui sont proposées sont de nature très diverse-, et qu’aucune de ces méthodes ne fait aujourd’hui consensus scientifique. Mais ceci est une autre histoire… que nous racontons dans les prochains articles.

 

---

Bachimont, B. (1996). Herméneutique matérielle et Artéfacture : des machines qui pensent aux machines qui donnent à penser ; Critique du formalisme en intelligence artificielle. .

Cardon, D. C. (2018). La revanche des neurones: L’invention des machines inductives et la controverse de l’intelligence artificielle. Réseaux.

Krizhevsky, A. S. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.

Merigoux D., A. M. (2023). De la transparence à l’explicabilité automatisée des algorithmes : comprendre les obstacles informatiques, juridiques et organisationnels. INRIA.

---