Dans nos précédents articles, nous avons vu comment le succès de l'apprentissage profond (ou Intelligence Artificielle (IA) connexionniste) a renouvelé et complexifié la question de l'explicabilité des systèmes d'IA. En créant des modèles souvent qualifiés de « boîtes noires », c’est-à-dire dont le fonctionnement interne échappe largement à la compréhension, ces techniques ont rendu d'autant plus crucial et ardu le besoin de comprendre et de justifier leurs résultats. Ce besoin est d'ailleurs porté de façon toujours plus prégnante par des exigences réglementaires croissantes telles que le Règlement général sur la protection des données (RGPD) ou le Règlement européen sur l'IA (RIA) et par une demande sociale de transparence et de contrôle de ces systèmes.

Face à ce défi, un domaine de recherche spécifique a émergé et connu une croissance spectaculaire depuis une dizaine d'années : l'Explainable AI (xAI). Son objectif affiché est de développer des méthodes et des techniques pour rendre intelligibles les prédictions, classifications ou décisions issues des modèles d'apprentissage profond. Le paysage de l'xAI est aujourd'hui foisonnant, avec des milliers de publications chaque année proposant une multitude d'approches.

Malgré cette effervescence, un constat s'impose : aucune des techniques d’explicabilité produites ne semble faire consensus et le domaine de l'xAI dans son ensemble peine à atteindre un cadre scientifique stable. Les critiques, internes comme externes à l’xAI, soulignent un manque de formalisme, des problèmes de robustesse, et une difficulté à établir des critères d'évaluation consensuels. Pourquoi l'xAI, malgré son importance évidente, présente-t-elle les caractéristiques d’un domaine scientifique encore très instable ?

Pour répondre à cette question, cet article propose de dépasser une analyse purement technique des méthodes d'xAI. En nous appuyant sur les résultats de l’enquête sociologique que nous avons menée sur le domaine de l'xAI (Berkouk et. al 2024), nous défendons l'idée que la nature et les limites de l'xAI sont profondément liées à sa position institutionnelle et fonctionnelle par rapport au champ d’étude de l'IA connexionniste et de l’IA en général. Grâce à la collecte et l’analyse de plus 16 000 publications scientifiques sur SemanticScholar, nous montrons que l'xAI semble fonctionner comme un « espace frontière », dont un des effets serait de répondre aux demandes et aux critiques externes adressées à l'IA de façon générale. Ce domaine de recherche, lui viendrait ainsi en support en en facilitant l’acceptation.

L’xAI : Un domaine né pour répondre à des demandes externes

Si les premières réflexions sur l’intelligibilité des résultats des modèles d’IA existent depuis au moins le début des années 90, un tournant est notable vers 2015-2016, c’est-à-dire précisément durant la période où les techniques connexionnistes ont supplanté le paradigme symbolique. 

Le programme de la DARPA : un problème d’ingénieur

Notre analyse du corpus de publications montre que l'usage des termes liés à l'« explicabilité » (« Explainable AI », « xAI », etc.) connaît une croissance soudaine à partir de 2016, supplantant progressivement le vocabulaire de l'« interprétabilité » qui prévalait auparavant. Ce changement n'est pas anodin et coïncide largement avec le lancement du programme Explainable AI par la DARPA (l'agence de recherche avancée de la défense américaine) en 2015 (Gunning et al. 2021).

Évolution chronologique du nombre de publication dans le domaine de l’xAI (Source : auteurs)

Avec ce programme, l'objectif de la DARPA était de répondre à un problème technique : face à la montée en puissance des systèmes d'apprentissage profond dont les performances étaient impressionnantes mais le fonctionnement opaque, il devenait crucial pour des applications critiques (notamment militaires) de pouvoir comprendre, faire confiance et gérer ces nouveaux outils. La DARPA cherchait donc à stimuler le développement de techniques permettant de surmonter l’opacité des modèles de réseaux de neurones, tout en maintenant de hautes performances. L'xAI est donc née, en partie, d'une injonction institutionnelle visant à résoudre un problème d'ingénierie et de confiance opérationnelle.

Une diversification rapide des attentes et des parties prenantes

Très rapidement, les motivations justifiant le développement de l'xAI ont largement dépassé ce cadre initial. L'analyse des motivations exprimées par les auteurs dans les publications les plus citées du domaine révèle une prise en compte croissante d'attentes moins techniques et en provenance d'un public de plus en plus large :

• la confiance et l'acceptation des utilisateurs : l'xAI est présentée dans la littérature comme une condition sine qua non pour que les utilisateurs acceptent et adoptent les systèmes d'IA) ;
• les exigences réglementaires et sociales : le RGPD, avec ses articles sur la prise de décision automatisée et le droit d'obtenir des informations utiles sur la logique sous-jacente, est dès 2017, explicitement cité comme une motivation majeure pour développer des techniques permettant de rendre l’utilisation de « boîtes noires » compatible avec ses principes et obligations. Le récent Règlement européen sur l'IA ne fait que renforcer cette tendance ;
• les attentes en termes de responsabilités sociales : les préoccupations concernant l'équité (fairness), la responsabilité (accountability), la transparence et l'éthique des systèmes d'IA, relayées par les médias et la société civile, sont devenues des moteurs importants de la recherche en xAI.

Diagramme montrant les différents objectifs et destinataires de techniques d’explicabilité, issu de Barredo Arrieta et al. 2020.

Ainsi, l'xAI apparaît moins comme un champ défini par une question scientifique interne clairement délimitée, que comme un espace chargé de répondre à un ensemble croissant et hétérogène de demandes externes visant à rendre l'IA connexionniste socialement acceptable et légalement conforme.

Des solutions hétérogènes et qui ne font pas consensus

Cette forte dépendance vis-à-vis des demandes externes a des conséquences directes sur la manière dont l'xAI se structure et sur la nature de ses productions scientifiques. Face à la diversité des attentes (expliquer pour déboguer, pour faire confiance, pour vérifier la conformité, pour contester une décision...), le domaine de l'xAI a produit une multitude de techniques d'explication très différentes les unes des autres (voir le deuxième article de cette série sur les techniques d'xAI). Comme nous l'avons vu dans le premier article de cette série, l'explication d'un système connexionniste est une opération nécessairement ex post à son entraînement.

Cette prolifération se fait cependant souvent au détriment de la consolidation scientifique. Comme le soulignent les critiques internes à ce domaine, l'xAI souffre d'un manque de définitions claires, de formalismes unifiés et de métriques d'évaluation standardisées. De nombreuses techniques se sont révélées fragiles, voire manipulables, et des résultats théoriques montrent même que certaines méthodes populaires peuvent, dans certains cas, ne pas être plus vraisemblables qu'une explication aléatoire pour comprendre l’influence réelle d’un paramètre du modèle (Bilodeau et al. 2024).

Pourtant, contrairement à d'autres domaines (comme celui de l’étude de l’équité algorithmique, ou fairness, de l’IA où des théorèmes d'impossibilité ont structuré et façonné les façons dont les questions sont abordées dans ce domaine, cf.  Friedler et al . 2021) ces limitations fondamentales semblent avoir un impact limité sur la pratique de la recherche en xAI. Le domaine semble privilégier la production de nouvelles méthodes répondant à de nouvelles demandes, plutôt que l'approfondissement critique et la consolidation des acquis. 

Un symptôme frappant de cette situation est la proportion exceptionnellement élevée de revues de littérature (surveys) dans les publications de l’xAI. Une revue de littérature a pour objectif de rassembler, analyser et organiser articles et contenus scientifiques, afin de proposer une vue globale des avancées scientifiques d’un domaine. Notre analyse comparative montre que le sujet « Explainable AI » contient proportionnellement au moins cinq fois plus de revues que d'autres sujets comparables en informatique. Ces revues de littérature tentent de mettre de l'ordre dans l'hétérogénéité du domaine en proposant des taxonomies pour classer les différentes méthodes. Cependant, loin d'établir un consensus, ces taxonomies sont elles-mêmes concurrentes : les critères de classification varient d'une revue à l'autre, signe que le domaine peine à s'accorder sur ses propres fondements. Et plutôt que de structurer durablement le domaine, les revues de littérature semblent surtout avoir pour fonction de « cartographier » l'offre de solutions pour les acteurs externes (chercheurs d'autres domaines, industriels, régulateurs) qui cherchent à s'orienter dans ce paysage complexe.

Exemple de taxonomie extrait de Linardatos et al. 2020

L'xAI comme « espace frontière subordonné »

Comment expliquer cette dynamique particulière ? Notre hypothèse est que les caractéristiques de l'xAI découleraient de sa position subordonnée au sein de l'écosystème de l'IA connexionniste. L'xAI fonctionnerait comme un espace frontière, à la fois distinct du cœur de l'IA (le développement des modèles) mais essentiel à son expansion.

Une division du travail scientifique

L'analyse des trajectoires des chercheurs les plus influents dans le domaine de l'xAI révèle une forme de division du travail, c’est-à-dire une répartition des tâches et des questions de recherches entre certains groupes de chercheurs :

Les acteurs majeurs de l'xAI viennent souvent d’un autre domaine que l’IA : Une part significative (près de 60% dans notre analyse des 100 auteurs les plus cités) des chercheurs les plus reconnus en xAI n'avaient pas de publications dans le domaine du deep learning avant de s'investir dans l'xAI. Ils proviennent d'autres domaines de l'informatique, voire de domaines applicatifs comme la médecine (la deuxième discipline la plus productive en xAI après l'informatique).

Les « stars » de l’IA sont peu présentes en xAI : Inversement, les chercheurs les plus cités et reconnus dans le domaine du développement des réseaux de neurones et de l'apprentissage profond ne s'investissent que très marginalement dans la recherche en xAI. Sur les 100 auteurs les plus cités dans le domaine de l’IA seuls 10 apparaissent dans notre base de données xAI, et un seul figure parmi les auteurs des 100 publications en xAI les plus citées.

Ainsi, pendant que le « cœur » de la recherche en IA se concentre sur l’amélioration de la performance des modèles, la communauté de recherche en xAI semble rester exogène, composite, tâchant de répondre aux attentes et injonctions d’une pluralité de parties prenantes.

L'xAI comme « bouclier » de l’IA ?

C’est cette position marginale mais essentielle à l’acceptabilité de l’IA qui place, de fait, le champ de l'XAI dans le rôle d’un espace subordonné. Sa fonction principale, observée à une échelle collective (ce que permet l’analyse sociologique), n'est pas tant le développement d'une science « autonome » de l'explication, que celui d'une interface avec le monde extérieur. Il faut ici souligner qu'il ne s'agit pas d'une stratégie consciente ou intentionnelle de la part des chercheurs de l’xAI eux-mêmes : c’est bien la relation « sociale » entre le champ de l'IA et le domaine de l’xAI qui suscite dans ce domaine des dynamiques de production visant à absorber les critiques, répondre aux demandes des régulateurs et fournir les outils – même imparfaits – visant à rassurer et justifier les déploiements. Les chercheurs s’insèrent dans ces logiques de production préexistantes et collectives, permettant au cœur de l'IA de continuer à se développer à l'abri des controverses les plus directes. Dans le même temps, cette position de « bouclier » du domaine limite leurs opportunités de participer à la formalisation d’un cadre scientifique pour ce domaine.

Les « défis » de l’xAI pour parvenir à une « IA responsable », issu de Barredo Arrieta et al. 2020.

Si cette fonction socio-politique était confirmée, elle pourrait expliquer la focalisation de l’xAI sur la production débordante de réponses aux demandes externes, et sa difficulté à parvenir à un consensus sur les problèmes, les méthodes et les critères d'évaluation, et donc définir un cadre scientifique stable.

Notre analyse sociologique du domaine de l'xAI montre que l'explicabilité ne saurait être réduite à un simple défi technique. Elle apparaît bien plutôt comme un enjeu profondément ancré socialement, dont la compréhension exige d'aller au-delà des artefacts techniques pour observer attentivement les acteurs qui la portent, les institutions qui l'encadrent et la financent, et le travail concret par lequel des solutions techniques sont imaginées et développées pour répondre à des attentes spécifiques et parfois contradictoires. Ignorer cette dimension sociale reviendrait à manquer une part importante de ce qui constitue l'explicabilité de l'IA aujourd'hui et à potentiellement accepter des solutions qui ne répondent qu'en surface aux préoccupations légitimes qu'elle soulève.

Pour la puissance publique, dont la mission est de participer à définir un cadre pour l'intelligence artificielle, adopter une telle perspective revêt un intérêt stratégique majeur. Elle permet de comprendre que les normes à venir en matière d'explicabilité - ce que l’on considère comme une « bonne » explication - ne naissent pas ex nihilo au moment de la régulation formelle. Elles se construisent en amont, au cœur même du processus de recherche et développement scientifique. Or, ce processus est influencé par les attentes d’une pluralité d’acteurs, en particulier celles des acteurs économiques. Comprendre ces mécanismes contextuels de coproduction des normes d’explicabilité est crucial pour questionner politiquement les objectifs assignés à ces techniques, les soumettre au débat démocratique et s'assurer que le cadre réglementaire ne se contente pas d'entériner des standards considérés comme neutres.

• Berkouk, N., Arfaoui, M., Pialat, R., L. Barry & François, P. (2025). Embrace the opaque: is Explainable AI the boundary of AI?, présenté à la Conférence EASST-4S 2024.
• B. Bilodeau, N. Jaques, P.W. Koh, & B. Kim. (2024). Impossibility theorems for feature attribution, Proc. Natl. Acad. Sci. U.S.A. 121 (2) e2304406120, https://doi.org/10.1073/pnas.2304406120.
• Friedler, S. A., Scheidegger, C., & Venkatasubramanian, S. (2021). The (im) possibility of fairness: Different value systems require different mechanisms for fair decision making. Communications of the ACM, 64(4), 136-143.
• Gunning, D., Vorm, E., Wang, Y., & Turek, M. (2021). DARPA’s explainable AI (XAI) program: A retrospective. Authorea Preprints.
• Pantelis Linardatos, Vasilis Papastefanopoulos, and Sotiris Kotsiantis. (2020). Explainable ai: A review of machine learning interpretability methods. Entropy 23, 1, 1