Paris, le 5 décembre 2017 — La Quadrature du Net publie ci-dessous une tribune d'Okhin
Du 21 au 24 novembre dernier, à Villepinte (région parisienne), se tenait le salon Milipol (pour Militaire/Police), « l'événement mondial de la sécurité des États ».
En plus des habituels trafiquants marchands d'armes qui font la fierté de l'industrie française (ayons une pensée émue pour Michèle Alliot-Marie qui exporta en Tunisie notre savoir-faire en matière de maintien de l'ordre), il y a, depuis quelques années maintenant, des marchands de matériel informatique et de solutions de supervision des populations.
Vous avez forcément entendu parler d'Amesys, de Qosmos, de Palantir et autres Hacking Team qui se sont spécialisés dans le développement de solutions clef en main d'espionnage et de surveillance de la population. Et, les affaires étant les affaires, la plupart d'entre eux vendent à toute personne désirant acheter du matériel, qu'il s'agisse des dictatures libyenne ou syrienne, ou des démocraties sociales occidentales compatibles avec l'économie de marché (France, Allemagne, Royaume-Uni). On parle dans ces cas de capitalisme de la surveillance, c'est-à-dire de mesurer la valeur des choses grâce à la fonction de surveillance.
La surveillance se base sur la connaissance. En épidémiologie par exemple, c'est connaître le vecteur infectieux, le documenter, savoir comment il se propage et se transmet, mesurer son temps d'incubation éventuel, déterminer ses symptômes pour comprendre son fonctionnement et trouver éventuellement un remède.
Dans le cadre de la surveillance des personnes, cela se traduit par la connaissance de ces personnes, leur identification dans le temps et l'espace, connaître leurs habitudes et leurs façons de réagir, mesurer leur sensibilité à telle ou telle idée. La surveillance c'est la connaissance. Et la connaissance c'est ce qui permet de définir les choses, de les identifier. Le capitalisme de la surveillance est donc un capitalisme de la connaissance, de l'identité. Ce que vendent Amesys, Palantir ou autres à leurs clients c'est l'assignation d'une identité définie par eux ou par leur client à un groupe de personnes en fonction de mesures et d'observations, i.e. de données.
Dans le cas des États, cette assignation identitaire amène à des conséquences qui peuvent être extrêmement violentes pour certaines populations, amenant à des répressions fortes, une suppression d'un certain type de personnes d'un certain quartier, à de l'injustice prédictive basée sur des statistiques biaisées par des biais racistes - le racisme structurel - et qui donc ne peuvent que renforcer ces biais. Les smart cities, dans leur version la plus extrême, sont les étapes finales de ce processus, l'identification permanente, fixiste, en tous points de tous les individus, l'impossibilité de bénéficier des services communs et publics sans révéler son identité, sans donner aux surveillants encore plus de connaissances sur nos vies et nos identités, pour leur permettre de mieux définir nos identités, de mieux vendre aux États la détermination, l'essentialisation, la réduction des complexités de nos vies à des étiquettes : terroriste, migrant, réfugié, musulman, femme, queer, bon citoyen.
Dans cette analyse qui est faite, on parle très vite, très souvent d'algorithmes ou d'intelligence artificielle. On les accuse de tous les maux, d'être racistes, de faire l'apologie du génocide, d'être sexistes, de censurer les discours d'éducation à la sexualité, d'invisibiliser les minorités sexuelles, comme si les intelligences artificielles, les algoritmes, disposaient de conscience, émergeaient de nulle part, avaient décidé d'être néo-nazi. Pardon, alt-right. Mais, au final, personne ne dit ce que sont les algorithmes, ou les intelligences artificielles. On va commencer par la seconde. L'intelligence artificielle est un algorithme doté d'une grande complexité et utilisant de grosses quantités de données pour donner l'illusion d'une intelligence, mais d'une intelligence ne comprenant pas ce qu'est un contexte et non dotée de conscience. Reste à définir ce qu'est un algorithme donc.
Appelons le wiktionnaire à la rescousse. Un algorithme est une « méthode générale pour résoudre un ensemble de problèmes, qui, appliquée systématiquement et d’une manière automatisée à une donnée ou à un ensemble de données, et répétant un certain nombre de fois un procédé élémentaire, finit par fournir une solution, un classement, une mise en avant d’un phénomène, d’un profil, ou de détecter une fraude ». C'est donc une formule mathématique, ne prenant pas en compte les cas particuliers, et qui a pour but d'analyser des données pour trouver une solution à un problème.
Ces algorithmes ne sont pas en charge de collecter les données, de définir le problème ou de prendre des décisions. Ils analysent des données qui leur sont transmises et fournissent une classification de ces données en fonction de critères qui ont été décidés par les personnes qui les écrivent, qui les configurent et qui les utilisent. L'ensemble des problèmes sur la reconnaissance faciale qu'ont rencontrés la plupart des entreprises de la Silicon Valley résulte du jeu de données utilisé pour identifier une personne et la reconnaître, car il ne contenait que des images de personnes blanches. Le chat bot de Microsoft - Tay - s'est avéré tenir des propos négationnistes ou appelant au meurtre et à l'extermination. Non pas parce que Tay a une conscience politique qui lui permette de comprendre les propos qu'elle tient, mais parce que des personnes l'ont inondée de propos racistes ou négationnistes, fournissant un corpus de données servant de base aux interactions du chat bot, l'amenant donc à écrire des propos racistes et négationnistes. Microsoft a rapidement retiré ce chat bot de la circulation et l'entreprise a depuis promis d'être plus « attentive » .
Parallèlement, nous entendons également, et de plus en plus, parler d'économie de l'attention. De capitalisme de l'attention. Ce qui aurait de la valeur serait ce à quoi nous faisons attention, ce que nous regardons. Sous entendu, nous, utilisatrices de ce système, sommes capables de faire le choix de ce que nous voulons regarder et lire, de faire le choix de la connaissance à laquelle nous avons accès. Internet permet, en théorie, un accès non discriminé à l'intégralité des informations et des données, et donc de la connaissance, du savoir. Après tout, la connaissance est une information à laquelle j'accède pour la première fois. Et cette acquisition de connaissance me permet de comprendre le monde, de me positionner par rapport à lui, et donc de me définir et de le comprendre, exactement ce que font les systèmes de surveillance massive utilisés par les États.
Réguler l'accès à l'information et choisir quels contenus montrer à quelle personne permet donc, également, de contrôler comment vont se définir les personnes, comment elles vont comprendre le monde. L'économie de l'attention est basée sur ce principe. Pour garantir que vous interagissiez avec la connaissance qui vous est proposée, qui est la façon dont ces nouveaux capitalistes mesurent la valeur, il est important de vous surveiller, de vous mesurer, de vous analyser, de vous assigner des identités. Et donc de contrôler la connaissance à laquelle vous avez accès et celle que vous produisez.
Les gigantesques plateformes financées par les GAFAM servent exactement à ça. Facebook vous empêche activement d'accéder à l'ensemble de l'information présente sur leur réseau, vous demandant de vous connecter pour accéder à d'autres plateformes que la leur, ou vous pistant partout une fois que vous êtes connectés, leur permettant ainsi de récolter encore plus de connaissances à votre sujet, d'augmenter leur capacité de surveillance et donc d'identification et de contrôle. Remplissant dans ce cas exactement la même fonction que les systèmes répressifs des régimes étatiques.
Notamment car Facebook, Apple, Google, Amazon, Microsoft décident ce qu'il est moral de faire, quelles identités doivent être renforcées ou au contraire dévaluées. Par exemple, Youtube, en supprimant la possibilité pour un contenu parlant de sexualités de rapporter de l'argent aux créatrices, envoie un message assez clair aux personnes faisant de l'éducation sexuelle, ou parlant de problématique touchant les personnes queer : votre production de connaissance n'est pas bienvenue ici, nous ne voulons pas que des personnes puissent s'identifier à vous. Il en va de même avec Facebook et son rapport à la nudité ou Apple qui filtre également tout ce qui pourrait parler de sexe, quitte à censurer le contenu des musées. En dévalorisant certaines connaissances, en la supprimant de certaines plateformes, les personnes à la tête de ces entreprises permettent d'effacer totalement de l'espace public des pans entiers de la société, de supprimer les voix des minorités, d'empêcher la contradiction de leurs valeurs et permettent donc de renforcer les biais des personnes consommant la connaissance disponible, amenant à une polarisation, une simplification et à une antagonisation du monde.
Alors effectivement, Facebook en soi ne mettra personne dans les geôles de Bachar el-Assad, du moins pas dans une complicité active, mais l'entreprise fait partie d'un système disposant de deux faces. Une face violente, répressive, alimentant les délires paranoïaques des États d'une part, et une face « douce » et insidieuse, utilisant les publicitaires et la restriction de l'accès à la connaissance pour permettre aux entreprises conservatrices de nous imposer leur vision bipolaire du monde, renforcement les sentiments d'appartenance à un groupe identitaire, avec les conséquences violentes que l'on connaît.
Et pour s'en persuader, il suffit de regarder les liens entre ces deux faces. Peter Thiel, fondateur, avec Elon Musk, de PayPal et qui détient maintenant 7% de Facebook est également le fondateur de Palantir Technologies, entreprise qui a, notamment, obtenu le marché public des boîtes noires en France, tout en étant aussi l'outil officiel de la NSA. Thiel a également participé aux nombreux procès qui ont fait mettre à Gawker la clef sous la porte suite à la révélation de l'homosexualité de P. Thiel par Gawker. Thiel, enfin, est l'un des influents soutiens des républicains nord américains, il a notamment participé à la campagne de Ted Cruz avant de rejoindre l'équipe de Trump et de participer à la transition à la maison blanche. Il a de fait nécessairement discuté, échangé et parlé avec Robert Mercer, l'un des directeurs de Cambridge Analytica, une entreprise dont le but est de cibler les électeurs grâce à de nombreux points de collectes, principalement récupérés par Facebook afin de pouvoir les cibler directement et influencer leurs votes.
Alors oui, lorsque l'on pose la question de démanteler Google, la question de démanteler Palantir se pose aussi, et celle consistant à vouloir privilégier les seconds car ils représentent un danger plus important pour la sécurité des uns et des autres. Mais sans l'omniprésence des systèmes d'identification, sans les exaoctets de données récoltées sans notre consentement dans le but d'individualiser le contenu auquel nous avons accès - selon des critères sur lesquels nous n'avons aucun contrôle - la mise en place de la surveillance et de l'identité devient complexe, coûteuse et impossible.
Il faut démanteler les systèmes capitalistes identitaires si l'on veut détruire les systèmes d'oppressions basés sur l'identité ou sur l'accès biaisé à la connaissance. Il faut s'affranchir des moteurs de ce système que sont la publicité, le pistage et l'identification permanente. Il faut questionner et démanteler le racisme, le néo-colonialisme, le sexisme des entreprises de la Silicon Valley au lieu de s'étonner que leurs algorithmes soient racistes. Car ils sont devenus omniprésents et nous empêchent de nous définir, de vivre, d'exister comme nous l'entendons, avec nos cultures complexes et nos identités changeantes.
