Le Crédit Social chinois et le dilemme éthique de la confiance par la notation

Rachel Botsman s’est faite connaître en 2011 pour son ouvrage What’s Mine is Yours, dans lequel elle décrivait comment « l’économie collaborative change la manière dont nous vivons ». Sept ans et quelques conférences plus tard, l’auteure revient avec une nouvelle publication, beaucoup moins optimiste, Who Can You Trust ? How Technology Brought us Together and Why It Might Drive us Apart, ou comment ces technologies qui étaient censées nous rassembler pourrait au contraire nous éloigner. 

Comment cette techno-optimiste a-t-elle pu en quelques années devenir, sinon pessimiste, du moins plus prudente quant à l’influence du numérique sur nos vies ? C’est ce à quoi elle répond dans un article paru en octobre 2017 dans Wired, où elle alerte sur les risques de dérive vers des systèmes politiques intégrant la surveillance de masse des citoyens.  Elle prend ainsi en exemple le système de crédit social que la Chine envisage de rendre obligatoire d’ici à 2020. Un système à points qui permettra d’évaluer le degré de confiance que l’on peut avoir dans les individus. Des systèmes de notation par les pairs qui existent déjà dans le monde numérique dans les plateformes de l’économie collaborative, à tel point que nous nous demandions dans un article de LINC si « l’accumulation de points de réputation, quelle qu’en soit la forme, [constitue] alors une accumulation de richesses ? ». Au-delà de l’économie collaborative, de plus en plus, les clients notent les prestataires de services, et inversement.

La confiance en cinq facteurs

Qu’est-ce que ce Crédit social ? Un système par lequel le comportement de chacun des citoyens chinois ainsi que les personnes morales sera évalué et noté. Une version béta est actuellement en test. Des entreprises, parmi lesquelles on retrouve par exemple China Rapid Finance, partenaire de Tencent (WeChat), Sésame Credit, une filiale de Alibaba et Didi Chuxing (équivalent chinois de Uber), participent à ce programme-pilote basé sur le volontariat mais qui deviendra obligatoire en 2020. Les citoyens seront ainsi notés selon cinq facteurs : leur historique de crédit, leur capacité à remplir leurs obligations contractuelles, leurs informations personnelles, mais aussi leurs comportements et préférences, et enfin leurs relations interpersonnelles. Un système qui rappelle un scénario dystopique de la série Black Mirror : dans l’épisode Nosedive, quand tout de la vie des individus est traduit en notation par les pairs. 
 

Les propos tenus sur les réseaux sociaux seront ainsi analysés pour repérer les « énergies positives » : des messages favorables au gouvernement ou positifs sur l’économie du pays feront grimper le score des individus. Pour le moment les propos négatifs ne seraient pas pris en compte. Mais au-delà des paroles, les actes seront analysés. Un représentant de Sésame Crédit admet par exemple inférer des jugements sur les personnes en fonction du type de produit acheté : « quelqu’un qui joue aux jeux vidéo dix heures par jour sera considéré comme une personne inactive (ou fainéante) », alors qu’une personne qui « achète fréquemment des couches sera considérée comme un probable parent, qui par comparaison sera plus à même d’avoir le sens des responsabilités ». Rachel Botsman précise de façon pertinente que le système ne fait pas qu’analyser les comportements, mais qu’il les façonne et biaise les citoyens afin qu’ils adoptent des attitudes jugées plus vertueuses par les gouvernements. Un phénomène que l’on connait déjà dans le monde numérique, hors le contrôle étatique, appelé selon les cas le chilling effect ou le social cooling. Nous en citons un exemple dans notre dernier cahier IP : « suite aux révélations d’Edward Snowden sur les outils de surveillance à la disposition des autorités étasuniennes, la consultation de certaines pages Wikipédia informant sur des sujets sensibles (terrorisme, radicalisation, …) avait chuté drastiquement (jusqu’à 20 % pour certaines pages). » Les mêmes individus, dans le système chinois, auront également intérêt à ce que leurs proches adoptent des comportements vertueux afin de ne pas nuire à leur score. 

Dans un autre contexte, la notion d’exemplarité en Chine atteint parfois des points qui seraient comiques, s’ils n’étaient pas attentatoires aux libertés des personnes. Un système de reconnaissance faciale et  « name and shame » a ainsi été mis en place à certains carrefours : lorsqu’une personne traverse alors qu’elle n’en a pas l’autorisation, sa photo et son nom sont projetés sur un panneau pendant quelques minutes afin de la pointer comme l’exemple à ne pas suivre.

Obéissance gamifiée

Mais pourquoi les Chinois accepteraient-ils un tel système de surveillance ? Pour le moment celui-ci se fait sur la base du volontariat. Les individus ayant choisi d’y participer ne gagnent pas seulement le droit d’être bien vus du gouvernement, mais obtiennent également des droits au crédit supplémentaires ainsi que des récompenses. Si leurs scores dépassent les 600 points (sur 950 possibles), ils auront accès à des offres de crédit à la consommation, à 650, le droit de louer une voiture sans dépôt de garantie, au-delà de 750, un billet coupe-file pour l’obtention d’un visa Schengen, etc. Des rétributions qui ne sont pas du tout symboliques. Et c’est bien là que le parallèle entre des logiques en cours dans l’économie numérique et leur appropriation par un État pose question.

L’État chinois n’a pas choisi la méthode forte pour imposer le contrôle, mais plutôt une certaine forme d’obéissance gamifiée, une version light cool et numérique du Dang’an, un dossier historiquement constitué sur chacun des citoyens chinois qui regroupait les informations liées aux caractéristiques physiques, aux emplois occupés, le dossier scolaire, des photographies, ou encore l’engagement politique. A noter que l’instauration de ce système n’a pas que des visées politiques, mais aussi économiques. La Chine n’a jamais eu de système de crédit institutionnalisé tel que nous les connaissons avec pour conséquence un déficit de confiance : beaucoup de contrats ne sont en effet pas honorés. Ce Social Credit system a pour vocation à y remédier, alors que la consommation de masse s’impose depuis peu, en se calant sur des standards occidentaux. Il commence néanmoins à avoir des effets négatifs sur certains citoyens dont le score est trop bas. Bien que le système ne soit pour le moment qu’en phase de test, et non déployé sur l’ensemble de la population (il le sera en 2020), on apprend dans un article de Fast Company daté du 24 avril que 11 millions de chinois ne peuvent déjà plus voyager en avion, quatre millions ne le peuvent plus en train. On touche là à des finalités qui ne sont plus le seul droit au crédit, mettant en cause les libertés fondamentales des individus. 

Le cadre protecteur européen

Le cadre applicable en Europe propose fort heureusement des garde-fous, d’abord dans sa charte des droits fondamentaux (pdf), reconnus par la Convention européenne des droits de l'homme, signée et proclamée le 7 décembre 2000. Celle-ci rappelle que « l’Union se fonde sur les valeurs indivisibles et universelles de dignité humaine, de liberté, d’égalité et de solidarité [plaçant] la personne au cœur de son action […] en créant un espace de liberté, de sécurité et de justice. » Parmi ces droits fondamentaux figurent les droits à la protection des données personnelles. Le règlement européen, en imposant notamment le principe de finalité  : les données personnelles ne peuvent être utilisées pour d’autres usages que celles pour lesquelles elles ont été collectées, sauf base légale spécifique ou nouvelle demande de consentement. Par ailleurs, dans son article 22, le RGPD interdit « la prise de décision fondée exclusivement sur un traitement automatisé […] produisant des effets juridiques la concernant ou l'affectant de manière significative de façon similaire. » A n’en pas douter, ne plus pouvoir se déplacer en train ou en avion entre dans cette catégorie.

La quête de de la confiance par le numérique, qu’elle soit impulsée par le privé, comme dans l’économie collaborative, ou par un Etat, comme dans le cas du Crédit social, est porteuse d’enjeux qui portent au respect des droits fondamentaux des individus, qui vont bien au-delà de la pertinence supposée de l’algorithme, dès lors que chaque individu est réduit à une notation, quitte à perdre ses libertés.