Quand la Chine cible une minorité grâce à l’intelligence artificielle

Le New York Times publie ce 14 avril 2019 un article revenant sur les choix de la Chine en matière de surveillance de masse à travers des solutions utilisant l’intelligence artificielle. L’utilisation des algorithmes et de l’intelligence artificielle dans la sphère sociale ou par l’Etat chinois n’est pas quelque chose de nouveau : nous avions présenté « Le Crédit Social chinois et le dilemme éthique de la confiance par la notation » dans un article précédent, ou encore la biométrie dans les services de paiement.

Mais le New York Times, dans son article intitulé « One Month, 500,000 Face Scans: How China Is Using A.I. to Profile a Minority » (« Un mois, 500 000 visages scannés : comment la Chine utilise l’IA pour profiler une minorité »), revient sur des documents émanant des autorités, et qui expliquent l’implémentation grandissante de la technologie de reconnaissance faciale dans leurs services, avec une finalité bien précise… D’après le NYT, « Cette technologie de reconnaissance faciale, très rapidement intégrée par la Chine à ses réseaux de caméras de surveillance, cherche exclusivement des Ouïghours en se fondant sur leur apparence physique et garde les traces de leurs allées et venues.».

Déjà en février 2019, le Financial Times qui revenait sur une fuite de données suggérait une telle utilisation du système de vidéo-surveillance.

Ethique et technologie

L’article, plutôt fouillé, met en lumière l’enjeu du rapport entre l’éthique et la technologie, des sujets que nous explorons dans le rapport « Les enjeux éthiques des algorithmes et de l’intelligence artificielle », publié en décembre 2017. Une des problématiques est notamment qu’avec la technologie vient l’ouverture du champ des possibles : « Prenez l’application la plus dangereuse d’une technologie, et les chances sont grandes pour que quelqu’un soit déjà en train de l’essayer » déclare Clare Garvie (Center of Privacy and Technology de Georgetown). Les finalités de ce nouveau système vont clairement à l’encontre des libertés d’un pan de la population, sur la base de leur supposée origine ethnique.

Au-delà des biais de neutralité ou des biais de discrimination, l’intelligence artificielle est régulièrement critiquée pour ses erreurs et ses limites technologiques.

Tout d’abord, l’IA n’est pas infaillible : elle fait des erreurs que l’homme ne ferait pas. Le récent article du Figaro « Accusé de vol par un logiciel de reconnaissance faciale, il réclame 1 milliard de dollars à Apple » en est la parfaite illustration. C’est d’ailleurs pourquoi la présence de l’homme est indispensable : dans le dispositif chinois, les policiers vérifient les images relevées par l’algorithme (afin de déceler les faux positifs). Les exemples de mauvaises interprétations sont légions, surtout dans un système de caméras de vidéo-surveillance, dont la qualité d’image peut-être préjudiciable à une bonne analyse.

Deep-learning et retour de la phrénologie ?

La qualité du deep-learning est aussi liée à la base de données sur laquelle elle fonde son « apprentissage ». En Chine, on est moins regardant sur l’accès à des bases de données pour entraîner les algorithmes, en témoigne les ressources à disposition :
« Pour faire fonctionner l’algorithme, la police doit mettre ensemble des jeux de données de visages avec les fichiers de criminels, de personnes ayant des troubles mentaux, des utilisateurs de drogues et de ceux qui ont adressés au gouvernement des revendications par pétition […]. Une base nationale de criminels inclue près de 300 000 visages, alors qu’une liste de personnes ayant un passif d’usage de drogue dans la ville de Wenzhou atteint 8 000 visages. »

Se pourrait-il donc, après un ciblage de minorités, que ces solutions IA aient pour but de définir un portrait-type d’un individu à risque, fondé sur les caractéristiques physiques des criminels et dissidents ? L’idée, elle non plus, n’est pas nouvelle : la startup israélienne Faception a créé des profils types (« classifiers ») allant du chercheur académique au terroriste en passant par le pédophile.

Le New York Times relève également quatre startups qui s’imposent comme les fournisseurs de ces technologies de reconnaissance faciale : leur valeur est estimée à plus d’un milliard de dollars chacune… Et ce, à travers un plan étatique lancé en 2018, pour « informatiser » la surveillance, grâce à deux programmes appelés SkyNet (les afficionados des films Terminator apprécieront le clin d’œil…) et Sharp Eyes.

La Chine a fait un choix : le pays se veut être pionnier de ces technologies. Espérons que, sur ce chemin, elle n’abandonne pas les principes éthiques et moraux qui sont, pour nous Européens, le pendant de la science et de son application. En attendant, ce modèle chinois de surveillance s'exporte en Equateur.