"Visual Mining" : une IA et beaucoup d’intelligence humaine

Une équipe de chercheurs de Stanford University a analysé par des algorithmes d'intelligence artificielle 50 millions d'images géolocalisées de Google Street View, pour en déduire des informations sur les habitants des quartiers d'où sont tirées les images. L'objectif pour les chercheurs était d'appliquer aux images des méthodes d'analyses déjà utilisées dans la fouille de données textuelles (text mining). 

Dans ces 50 millions d'images, 22 millions de véhicules ont été identifiés, puis classés en 2600 catégories selon leurs marques et modèles, localisés sur 3000 codes postaux, et 39000 circonscriptions électorales. Afin que l'IA reconnaisse les véhicules, il aura d'abord fallu l'entrainer à les reconnaitre par l’action du Digital Labor : le recrutement sur la plateforme de micro-travail Amazon Mechanical Turk de véritables êtres humains qui ont dû identifier les différents modèles de véhicules dans des images, relayés par quelques experts du secteur automobile qui ont affiné l’étiquetage des images, par exemple pour reconnaitre les années des modèles (ce qu’un non spécialiste aurait été incapable d’effectuer). La chercheuse Timnit Gebru, qui a dirigé ce programme, explique au New-York Times que ce travail de collecte et d’étiquetage est la partie la plus pénible dans ce type de recherche », cependant elle permet aussi de comprendre « ce qui freine les progrès de l’IA dans le monde réel ». L’IA est encore très loin d’apprendre seule. 

Une fois l’IA entrainée, il était devenu simple pour elle d’analyser rapidement des images en très grande quantité, pour en tirer, après croisement avec d’autres sources de données, différentes corrélations, comme la prédiction pour certaines zones des niveaux de revenus, d’origine ethnique, d’orientation politique ou de niveau d’études. Les croisements ont également permis de déterminer, par exemple, en corrélant les types de véhicule à leur consommation de carburant la ville étasunienne la plus verte (Burlington, Vermont) et celle qui a l’empreinte carbone la plus importante (Casper, Wyoming). 

L’ensemble de ces informations aurait pu être déterminé par d’autres moyens que la recherche dans les images, mais l’objectif pour les chercheurs était de démontrer que l’on peut glaner des informations dans les images (visual data) avec des logiciels d’intelligence artificielle… et beaucoup d’aide humaine. Ils voient dans ces nouveaux usages un moyen de remplacer ou compléter les traditionnels sondages et enquêtes de terrain.  

Du point de vue de la protection des données et des libertés, si cette étude s’est concentrée sur des quartiers et non des individus, elle n’en a pas moins inféré sur les habitants de ces quartiers des données potentiellement sensibles au sens du Règlement européen (une donnée sensible « révèle l'origine raciale ou ethnique, les opinions politiques, les convictions religieuses ou philosophiques ou l'appartenance syndicale ») dont le traitement est interdit – sauf exception -  par l’article 9 du Règlement européen à la protection des données. Le risque sera plus évident lorsque ces nouvelles méthodes de visual mining seront utilisées pour relier ces données à des individus, par exemple en croisant ces jeux de données avec les adresses des personnes (plutôt que le code postal). Afin de limiter les risques, le respect de la loi Informatique et Libertés imposait dès 2008 le floutage des visages et des plaques d’immatriculation sur les images de Street View ainsi que le l’information et le respect des droits des individus, qui peuvent demander « la suppression des images de [leur] propre maison s’il s’agit d’un logement individuel et ce, [qu’ils soient] locataires ou propriétaires ». Le G29 (groupement des CNIL européennes) enjoignait Google en 2010 à systématiquement répondre aux demandes des personnes qui souhaitent qu’une image les concernant soit retirée de la base. Le journaliste du New-York Times rappelle que le service fait tout particulièrement l’objet de préoccupations en Allemagne, où le service n’est plus actualisé depuis 2011 et les images floutées, valant au pays le surnom de Blurmany (pour Blur – flou – et Germany). 

Ces images collectées par la firme de Mountain View font l’objet de nombreuses demandes d’accès par des chercheurs, traitées au cas par cas par Google, mais avec le développement des véhicules autonomes et l’exponentielle collecte d’images et de vidéos qui l’accompagneront, il s’agira d’être vigilant et de réguler les usages qui pourront être fait de ces bases de données par les logiciels de visual mining, afin que les droits des individus restent préservés.