Blocage de TikTok en Nouvelle-Calédonie : retour sur un fiasco démocratique

mercredi 5 juin 2024 à 14:51

Le 23 mai dernier, le Conseil d’État a rejeté le recours en urgence de La Quadrature du Net contre la mesure de blocage de TikTok en Nouvelle-Calédonie. Pour justifier cette décision inique, le juge des référés a affirmé qu’il n’y aurait pas d’urgence à statuer puisque ce blocage serait, selon les dires du gouvernement, bientôt levé. Il aura fallu attendre plus de 24 heures après la levée de l’état d’urgence pour que le réseau social soit de nouveau accessible. Cet épisode marquera un tournant dans la montée autoritaire en France et dans l’échec de nos institutions à l’empêcher.

Les mensonges du Premier ministre

Lorsque nous déposions notre référé mi-mai, nous n’imaginions pas un tel arbitraire. Le Premier ministre a en effet annoncé le blocage de TikTok le 15 mai dernier en même temps qu’il annonçait l’entrée en vigueur de l’état d’urgence sur le territoire de la Nouvelle-Calédonie. Juristes et journalistes estimaient alors que la décision de blocage ne pouvait avoir été prise qu’en application d’une disposition de la loi sur l’état d’urgence qui prévoit la possibilité pour le ministre de l’intérieur de bloquer « tout service de communication au public en ligne provoquant à la commission d’actes de terrorisme ou en faisant l’apologie ». En réalité, la mesure de blocage était justifiée par un autre fondement juridique. Le gouvernement a sciemment gardé le silence dessus, entretenant confusion et opacité pendant que La Quadrature et d’autres associations déposaient leurs recours.

En parallèle, l’exécutif a rapidement distillé dans la presse, dès le 16 mai, un autre élément de langage : le blocage de TikTok serait justifié par une opération d’ingérence étrangère de la part de l’Azerbaïdjan. En réalité, si l’Azerbaïdjan veut tirer bénéfice depuis plusieurs mois des tensions en Nouvelle-Calédonie, aucune opération de désinformation de sa part n’a été lancée sur TikTok. Et ce sont les services du Premier ministre eux-mêmes qui l’ont dit, par une fiche établie par Viginum, un service relevant du Premier ministre chargé d’étudier les opérations d’ingérence étrangère en ligne.

Sur ces deux points, le Premier ministre s’est retrouvé face à sa malhonnêteté et ses mensonges lorsque ses services ont dû justifier la mesure devant la justice. Dans le mémoire envoyé au Conseil d’État, on a ainsi pu découvrir que le fondement juridique de ce blocage n’était non pas l’état d’urgence, mais la « théorie des circonstances exceptionnelles », qui consiste à admettre dans des cas très exceptionnels des dérogations à certaines règles de droit. Admise par les juges il y a une centaine d’années, cette théorie est d’une certaine manière l’ancêtre de l’état d’urgence, mais jurisprudentiel. La loi de 1955, imaginée dans le contexte colonial de la guerre d’Algérie, a ensuite pris le relai avec un cadre précis. Comme cela a été relevé lors de l’audience, c’est la première fois que ces deux régimes d’exception se retrouvent invoqués en même temps. Derrière cette situation juridique inédite, on sent surtout que le gouvernement ne savait pas sur quel pied danser et avait décidé le blocage du réseau social avant d’avoir déterminé sa justification en droit. La presse l’a d’ailleurs confirmé : fin mai, La Lettre révélait que, en coulisses, le gouvernement avait passé un accord avec TikTok pour que la plateforme ne conteste pas en justice la décision de blocage qu’il n’arrivait pas à justifier légalement.

Cependant, cette théorie des « circonstances exceptionnelles » ne permet pas pour autant de sacrifier la liberté d’expression en ligne sur l’autel d’une sacro-sainte sécurité. Devant le Conseil d’État, le Premier ministre a notamment justifié le blocage de TikTok par de soi-disant contenus violents ou incitant à la violence. Le 20 mai, ses services écrivaient ainsi au Conseil d’État que « l’organisation de ces exactions a été largement facilitée par l’utilisation des réseaux sociaux, et particulièrement, du fait des caractéristiques spécifiques, du réseau social “TikTok” ». Mais lorsque le gouvernement fut sommé par le Conseil d’État d’apporter la preuve de ces contenus prétendument problématiques, il n’a produit que des captures d’écran… de contenus légaux. Les exemples choisis pour illustrer le besoin d’une censure n’étaient en réalité que des vidéos dénonçant les violences policières et l’organisation de milices civiles. En somme, des expressions politiques plus ou moins radicales, critiquant la situation, mais en rien des appels à la violence. Les services du Premier ministre ont admis sans peu de scrupules à l’audience que TikTok a été choisi car « le profil des émeutiers correspondait au profil des utilisateurs », c’est-à-dire les jeunes. Sans détour, le gouvernement assumait ainsi vouloir bâillonner la parole et l’expression de la jeunesse kanake alors même que ce qui était dénoncé dans les vidéos incriminées sur le moment s’est révélé être vrai : la presse a révélé ces derniers jours les cas de violences policières, la complicité de la police avec les milices, ou encore une agression raciste d’un policier kanak.

Enfin, le gouvernement a poursuivi dans la malhonnêteté lorsqu’il a assuré au Conseil d’État, dans un mémoire daté du 22 mai, que la mesure de blocage ne durerait pas. Il s’engageait ainsi à mettre fin au blocage lorsque « l’évolution de la situation sur le territoire de Nouvelle-Calédonie permettrait d’envisager une levée de la mesure », laissant même croire que cela pourrait intervenir « avant la lecture de l’ordonnance » (c’est-à-dire avant même la décision du Conseil d’État). En réalité, il aura fallu attendre plus de 24 heures après la levée de l’état d’urgence en Nouvelle-Calédonie pour que TikTok soit de nouveau accessible.

Le Conseil d’État allié du gouvernement

C’est ce dernier mensonge relatif à la levée de l’état d’urgence qui a semblé aider le Conseil d’État à ne pas sanctionner le gouvernement, donc à ne pas lui ordonner de rétablir l’accès à TikTok. En effet, pour que le juge administratif prenne une décision en référé, il faut, avant même de parler de l’illégalité de la situation, justifier d’une urgence à agir. On pourrait se dire que bloquer une plateforme majeure dans les échanges en ligne, sur l’ensemble du territoire de Nouvelle-Calédonie (270 000 habitant·es), pour une durée indéterminée, est une situation suffisamment urgente. C’est notamment ce qui a été défendu par les avocat·es présent·es à l’audience, rappelant l’aspect entièrement inédit d’un tel blocage en France et même dans l’Union européenne. Le Conseil d’État a d’ailleurs été moins exigeant par le passé : en 2020, quand nous lui demandions d’empêcher les drones de la préfecture de police de Paris de voler, ici aussi par un recours en référé, il constatait qu’il y avait bien une urgence à statuer.

Mais pour TikTok, le juge des référés a préféré jouer à chat perché : dans sa décision, il estime que « les requérants n’apportent aucun élément permettant de caractériser l’urgence à l’intervention du juge des référés », et précise, pour affirmer qu’il n’y a pas d’urgence, que « la décision contestée porte sur le blocage d’un seul réseau social sur le territoire de la Nouvelle-Calédonie, l’ensemble des autres réseaux sociaux et moyens de communication, la presse, les télévisions et radios n’étant en rien affectés ». Très belle preuve de l’incompréhension de ce que représente un réseau social aujourd’hui et de comment l’information circule en ligne. Le Conseil d’État oublie notamment que la Cour européenne des droits de l’Homme (CEDH) estime que bloquer l’ensemble d’une plateforme en ligne équivaut à empêcher un journal de paraître ou à un média audiovisuel de diffuser. Ici, nos institutions donnent l’impression de ne pas tenter de comprendre la réalité d’Internet et minimisent de fait l’atteinte qui découle de ce blocage.

Pour enfoncer le clou sur l’absence d’urgence à statuer, le juge des référés termine en reprenant à son compte la promesse malhonnête du gouvernement : « cette mesure de blocage doit prendre fin dans de très brefs délais, le gouvernement s’étant engagé, dans le dernier état de ses écritures, à lever immédiatement la mesure dès que les troubles l’ayant justifiée cesseront ». Il a donc laissé faire, octroyant au gouvernement un pouvoir discrétionnaire sur la date de rétablissement de la plateforme.

Un constat amère peut donc être fait : en France, comme en Russie ou en Turquie, le gouvernement peut bloquer d’un claquement de doigt un réseau social sans que la justice ne soit capable de l’en empêcher. Alors que le Conseil d’État aurait pu faire passer un message fort et exercer son rôle de contre-pouvoir, il est venu au secours du gouvernement en tolérant une atteinte sans précédent et totalement disproportionnée à la liberté d’expression et d’information.

Ne pas laisser faire

Bien que le blocage de TikTok soit levé, le précédent politique et juridique existe désormais. Nous pensons qu’il faut tout faire pour que celui-ci ne se reproduise pas et reste un cas isolé. Que ce soit par la Cour européenne des droits de l’Homme ou par le Comité des droits de l’Homme des Nations Unies, ce type de censure est unanimement condamné. Nous ne pouvons donc pas laisser le Conseil d’État se satisfaire de ce blocage et devons exiger de lui qu’il rappelle le droit et sanctionne le gouvernement.

C’est pourquoi nous avons donc déposé la semaine dernière un recours en excès de pouvoir contre cette décision. Il s’agit de la voie contentieuse classique, mais plus longue, lorsque l’on veut contester une décision administrative. Un tel recours prendra un à deux ans avant d’être jugé et nous espérons que le Conseil d’État sortira de sa torpeur et confirmera que le blocage était illégal. Car pour bloquer TikTok, le gouvernement ne s’est vu opposer aucun obstacle, aucun garde-fou, et n’a jamais eu à justifier sa mesure. La seule opposition à laquelle il a été confronté a été la saisie de la justice par les associations et la société civile. L’échec qui en a résulté est une preuve supplémentaire de la défaillance de plus en plus flagrante des leviers démocratiques.

Depuis de nombreuses années, nous constatons l’effondrement progressif de l’État de droit en France. Nous constatons que la politique toujours plus autoritaire des gouvernements successifs, et notamment ceux d’Emmanuel Macron, ne se voit opposer aucun obstacle institutionnel majeur. Avec le blocage arbitraire de TikTok, une nouvelle étape a été franchie. Nous ne cachons pas notre inquiétude face à ce constat, mais nous continuerons d’agir. Pensez, si vous le pouvez, à nous aider avec un don.

« Vous êtes filmé·es » : une critique documentaire de la surveillance

vendredi 31 mai 2024 à 12:05

Dans la lignée des festivals organisés ces deux dernières années par nos ami·es de Technopolice Marseille, La Quadrature du Net s’associe à Tënk pour proposer une sélection de films documentaires abordant l’enjeu de la surveillance policière. Il s’agit, par le cinéma, de mieux penser les technologies et les rapports de pouvoirs qu’elles produisent, pour mieux les combattre. Voici le texte introduisant cette sélection à retrouver sur Tënk.

Sous couvert d’optimisation et de contrôle, la surveillance prolifère. À l’ère de l’informatique, nos messages privés sont traqués, nos publications constamment analysées, nos corps scrutés par les dispositifs de vidéosurveillance disséminés dans nos rues. Partout dans le monde, des data centers stockent des fichiers nous concernant qui, pris ensemble, disent tout ou presque de nos activités, de nos déplacements, de nos attachements.

Si la surveillance est partout, si elle sature aussi l’actualité de même que les discours militants ou nos conversations intimes, elle reste largement invisible, souvent mal comprise. De grands schèmes tirés d’exemples historiques ou de science fiction – au hasard, la Stasi ou 1984 d’Orwell –, nous font généralement office de grilles de lecture. Mais on peine à en saisir avec nuance les ressorts et les ramifications, à discerner ses infrastructures, à en comprendre les effets ou les évolutions.

À La Quadrature du Net, nous travaillons depuis des années à la défense des droits humains face à la prolifération de la surveillance numérique. Et d’expérience, nous savons que produire un discours sur cet objet nécessite un effort constant de réflexion et d’élaboration.

C’est ce que nous tâchons de faire dans le cadre du projet Technopolice, en mettant l’accent sur les nouvelles technologies de surveillance policière des espaces publics urbains : vidéosurveillance algorithmique, police prédictive, drones, et bien d’autres encore. Dans ce travail d’enquête militante et d’éducation populaire qui est aussi une tentative de résistance, le cinéma documentaire apparaît comme un outil puissant. C’est pourquoi nous somme ravi·es de pouvoir faire cette escale en partenariat avec Tënk, en proposant cette sélection de films variés et complémentaires.

À travers cette sélection, il s’agit d’abord de tendre un miroir aux surveillants, de lever le voile sur ces acteurs en position de pouvoir qui produisent ou légitiment la surveillance (voir le film médiactiviste Supervision, tourné dans le centre de vidéosurveillance de Marseille ; voir aussi la super-production expérimentale All Light Everywhere, qui fait l’incroyable rencontre d’un représentant commercial d’Axon, leader du marché des bodycams policières ; voire enfin Prédire les crimes). Le documentaire permet aussi de convoquer un passé pas si lointain pour se remettre en mémoire ses méfaits – par exemple en rappelant le viol de l’intimité et le contrôle qu’induit le regard policier (comme sous le régime polonais dans les années 1970 dans An Ordinary Country), ou en revenant sur la généalogie carcérale de la vidéosurveillance (Je croyais voir des prisonniers). Par la poésie, il peut enfin souligner, au-delà de l’État et de sa police, la multiplicité des formes de surveillance, la manière dont nous pouvons parfois nous en faire complices, et interroger la frontière entre surveillance et partage, domination et rencontre (L’Îlot).

Le choix des films, fait en collaboration avec le comité de programmation de Tënk, laisse évidemment de côté d’autres excellents titres. Mais l’ensemble donne bien à voir ce contre quoi nous luttons, à savoir ce vieux fantasme policier que décrivait Michel Foucault dans Surveiller et Punir (1975) : une « surveillance permanente, exhaustive, omniprésente, capable de tout rendre visible, mais à la condition de se rendre elle-même invisible », « un regard sans visage qui transforme tout le corps social en un champ de perception ».

À travers la puissance du cinéma, il s’agit aussi de remettre un tant soit peu de symétrie dans le rapport de force. Car si la surveillance peut s’interpréter comme un champ de perception au service du pouvoir, alors notre proposition éditoriale recèle aussi un espoir : l’espoir qu’en faisant collectivement l’expérience de ces films, nous puissions nous constituer ensemble en une sorte de contre-champ, en un faisceau de résistances.

Bon visionnage !

La Quadrature du Net

Proposition de loi « ingérences étrangères », une nouvelle étape dans l’escalade sécuritaire

jeudi 30 mai 2024 à 16:13

Communiqué de l’Observatoire des libertés et du numérique (OLN), Paris, le 29 mai 2024.

L’Observatoire des Libertés et du Numérique demande aux parlementaires de s’opposer à l’extension des finalités des boîtes noires de renseignement inscrite dans la proposition de loi « ingérences étrangères ».

« L’ingérence étrangère », un énième prétexte à l’extension de la surveillance de masse

La proposition de loi « Prévenir les ingérences étrangères en France» , présentée par le député Sacha Houlié avec le soutien du camp présidentiel, a été adoptée par l’Assemblée Nationale (27 mars) et le Sénat (22 mai) avec le soutien des partis Les Républicains et Rassemblement national – alliés naturels du gouvernement pour les lois sécuritaires, mais ici, avec également le soutien du PS et d’EELV.

L’objectif affiché de cette loi est de limiter les intrusions d’autres Etats via l’espionnage et les manipulations pour contraindre les intérêts géopolitiques de la France. Mais, alors que le gouvernement dispose déjà de nombreux outils pour éviter ces intrusions, ce texte fraîchement adopté ne peut qu’inquiéter. En effet, ces dispositions pourraient avoir pour conséquence de soumettre des associations d’intérêt public œuvrant pour l’intérêt collectif à des obligations de déclaration des subventions de fondations étrangères, renforçant ainsi les possibilités de contrôle gouvernemental.

Par ailleurs, dans une logique constante de solutionnisme technologique, le texte promeut l’extension d’une technique de renseignement dite de l’algorithme de détection ou « boîte noire de renseignement ».

Des gardes fous toujours remis en cause

Cette technique a été instaurée par la loi renseignement de 2015 et nos organisations s’y étaient alors fermement opposées. Elle implique, en effet, la nécessaire surveillance de l’intégralité des éléments techniques de toutes les communications de la population (qui contacte qui ? quand ? comment ? voire pourquoi ?), qu’elles soient téléphoniques ou sur internet, tout cela pour poursuivre l’objectif de détecter automatiquement des profils effectuant un certain nombre d’actions déterminées comme étant « suspectes ». Ces profils seront ensuite ciblés et plus spécifiquement suivis par des agents du renseignement. Cette technique agit donc à la manière d’un énorme « filet de pêche », jeté sur l’ensemble des personnes résidant en France, la largeur de maille étant déterminée par le gouvernement.

En raison de son caractère hautement liberticide, cette mesure avait été limitée à la stricte lutte contre le risque terroriste et instaurée de façon expérimentale pour quelques années avec des obligations d’évaluation. Malgré des résultats qui semblent peu convaincants et des rapports d’évaluation manquants, cette technique a, depuis, été pérennisée et explicitement élargie à l’analyse des adresses web des sites Internet.

Un dévoiement des finalités

L’OLN dénonçait déjà les risques induits par l’utilisation de ce dispositif avec la finalité de « lutte contre le terrorisme », notamment en raison de l’amplitude de ce que peut recouvrir la qualification de terrorisme, notion du reste non définie dans le texte.

L’actualité vient confirmer nos craintes et l’on ne compte plus les usages particulièrement préoccupants de cette notion : désignation « d’écoterroristes » pour des actions sans atteinte aux personnes, multiples poursuites pour « apologie du terrorisme » , pour des demandes de cessez-le-feu et des propos liés à l’autodétermination du peuple palestinien, condamnations pour une préparation de projet terroriste sans qu’un projet n’ait pu être établi par l’accusation.

Cette proposition de loi élargira cette technique de l’algorithme à deux nouvelles finalités de renseignement :

1° L’indépendance nationale, l’intégrité du territoire et la défense nationale ;

2° Les intérêts majeurs de la politique étrangère, l’exécution des engagements européens et internationaux de la France et la prévention de toute forme d’ingérence étrangère ;

Là encore, la définition des finalités est bien trop vague, sujette à de très larges interprétations, pouvant inclure les actions suivantes : militer contre des accords de libre-échange, lutter contre des projets pétroliers, soutien aux migrants, remettre en cause les ventes d’armement ou les interventions militaires de la France…

Un encadrement bien limité

Si un contrôle théorique de ses finalités doit être opéré par la Commission Nationale de Contrôle des Techniques de Renseignement (CNCTR), ses avis peuvent ne pas être suivis.

De même, si la proposition de loi est, là encore, prévue pour une phase « expérimentale » pendant 4 ans et avec des obligations de documentation, peu de doutes sont permis sur ce qu’il adviendra, au vu des précédents sur le sujet.

Un élargissement des « techniques spéciales d’enquête »

Dans le cadre de ce nouveau texte sécuritaire, le Sénat en a aussi profité pour aggraver le barème des peines et créer une nouvelle circonstance aggravante dite « générale » applicable à l’ensemble des infractions [au même titre que l’usage de la cryptologie…] permettant de monter d’un palier la peine de prison encourue (3 à 6, 5 à 7, 7 à 10…) dès que l’infraction est commise « dans le but de servir les intérêts d’une puissance étrangère, d’une entreprise ou d’une organisation étrangère, ou sous contrôle étranger ». Cette aggravation de peine permettra l’utilisation des techniques spéciales d’enquête, soit les intrusions les plus graves dans la vie privée (écoutes téléphoniques, balises GPS, la prise de contrôle d’appareil, hacking informatique…). Là où ces techniques étaient censées n’être utilisées que pour les crimes les plus graves, elles sont, texte après texte, étendues à un nombre toujours plus important d’infractions.

Quelle lutte contre quelles ingérences ?

Le Gouvernement ne ferait-il pas mieux de s’inquiéter de certaines ingérences étrangères bien réelles, telles que la captation des données de santé des Français exploitées par les autorités étasuniennes dans le cadre du Health Data Hub, d’autres captations frauduleuses par les entreprises du numérique américaines ou encore la vente de technologies de pointe par des sociétés étrangères, notamment israéliennes, comme PEGASUS, permettant de surveiller des personnalités politiques françaises au plus haut niveau ?

Des outils terrifiants au service d’un pouvoir qui continue sa fuite en avant autoritaire

Les boîtes noires comme les autres techniques d’intrusion du renseignement offrent des possibilités terrifiantes, qu’elles soient prévues par la loi ou utilisées abusivement. Cette démultiplication des capacités de surveillance participe à l’actuelle dérive autoritaire d’un pouvoir qui se crispe face aux contestations pourtant légitimes de sa politique antisociale et climaticide et devrait toutes et tous nous inquiéter alors que les idées les plus réactionnaires et de contrôle des populations s’intensifient chaque jour un peu plus.

Espérer un retour à la raison

Espérant un retour à la raison et à la primauté des libertés publiques, passant par la fin de la dérive sécuritaire et de son terrible « effet cliquet » nous appelons la Commission mixte paritaire qui aura à se prononcer sur ce texte puis les parlementaires à rejeter l’article 4 (élargissement du barème de peine et techniques spéciales d’enquête) et l’article 3 (élargissement des finalités des boites noires) de cette proposition de loi, et, a minima, à s’en tenir à une restriction d’utilisation de cette technique à des cas beaucoup plus précis et définis (par exemple au risque d’attentat causant des atteintes à la vie et les ingérences étrangères graves telles qu’envisagées aux articles 411-1 à -8 du Code pénal).

Organisations signataires membres de l’OLN : le CECIL, Globenet, Creis-Terminal, la Ligue des droits de l’Homme (LDH), le Syndicat des Avocats de France (SAF), le Syndicat de la Magistrature (SM), La Quadrature du Net (LQDN).

Le règlement IA adopté, la fuite en avant techno-solutionniste peut se poursuivre

mercredi 22 mai 2024 à 15:44

Réunis au sein du Conseil de l’Union européenne, les États-membres ont adopté hier le règlement IA, dédié à la régulation des systèmes d’Intelligence Artificielle. Cette étape marque l’adoption définitive de cet édifice législatif en discussion depuis 2021, et présenté au départ comme un instrument de protection des droits et libertés face au rouleau compresseur de l’IA. À l’arrivée, loin des promesses initiales et des commentaires emphatiques, ce texte est taillé sur mesure pour l’industrie de la tech, les polices européennes et autres grandes bureaucraties désireuses d’automatiser le contrôle social. Largement fondé sur l’auto-régulation, bardé de dérogations, il s’avère totalement incapable de faire obstacle aux dégâts sociaux, politiques et environnementaux liés à la prolifération de l’IA.

L’histoire avait commencé avec de belles promesses. En avril 2021, au moment de présenter sa proposition de règlement, la Commission européenne nous écrivait pour nous rassurer : elle porterait la « plus grande attention » à la pétition européenne lancée par Reclaim Your Face — coalition à laquelle La Quadrature du Net a participé – pour demander l’interdiction de la surveillance biométrique automatisée des espaces publics. Le texte présenté quelques jours plus tard par la Commission s’accompagnait d’une proposition de moratoire sur certains de ces usages, au milieu d’un ensemble de mesures conçues pour mettre un minimum d’ordre dans un marché de l’IA en plein essor.

Lettre d'avril 2021 transmise par les services de la Commission européenne

Deux ans plus tard, le Parlement européen poussait le texte un cran loin, étendant diverses interdictions relatives aux usages policiers des techniques d’IA, ou contre les systèmes de « scoring » et autres formes de « notation sociale ». Mais après les coups de butoir des gouvernements des États-membres, au premier rang desquels les autorités françaises, rien ou presque des promesses initiales ne subsiste. Reste un « paquet législatif » certes volumineux, voire bavard, mais aussi très flou. Le règlement fait la part belle à l’auto-régulation et s’avérera incapable de protéger l’intérêt général face à la prolifération programmée des systèmes d’IA.

Une loi pour faire proliférer l’IA

Comme nous l’avions craint, plutôt que d’élever les garanties en matière de droits fondamentaux, le règlement IA vise à faire proliférer la production de données et leur collecte au bénéfice de l’industrie. Les textes européens comme le Règlement européen sur la protection des données (RGPD), entrés en vigueur en 2018, se retrouvent en partie affaiblis par ces nouvelles règles spéciales applicables aux systèmes d’IA.

Mais pour les acteurs publics et privés ayant poussé à l’adoption de ce texte, l’enjeu prioritaire n’a jamais été de protéger les droits fondamentaux. Le règlement est fondé sur une approche « par les risques », classant les types de systèmes d’IA ou leurs domaines d’application (police, santé, emploi, etc.) en fonction de quatre catégories de risque (risque faible non ciblé par le règlement ; risque limité pour certains systèmes soumis aux seules mesures de transparence prévues par l’article 50 ; risque élevé soumis aux obligations diverses du règlement ; risque inacceptable pour les quelques pratiques interdites par l’article 5).

À travers cet édifice législatif destiné à réguler un sous-secteur de l’industrie informatique en pleine expansion, et alors que les controverses autour de l’IA se multiplient – qu’il s’agisse de ses effets déshumanisants sur le travail, de son coût environnemental, de son impact sur les droits fondamentaux –, l’objectif est avant tout de poser les conditions d’une plus grande « acceptabilité sociale » de ces technologies pour mieux les imposer.

Dans ce processus, Emmanuel Macron et le gouvernement français auront joué à merveille leur partition. Tout affairé à la promotion de la Startup Nation, obnubilé par la course à l’innovation pour mieux attirer les capitaux étrangers, ne craignant pas les conflits d’intérêt et autres formes de corruption au cours des négociations sur le règlement, l’État français a en effet une responsabilité historique dans ce reniement.

La stratégie est pourtant assumée. Elle se poursuit aujourd’hui à travers le projet de loi « simplification de la vie économique », qui vise notamment à accélérer les procédures de construction de data centers en faisant obstacle aux contestations locales. Microsoft en est l’un des principaux bénéficiaires, puisque le géant de l’informatique vient d’annoncer un investissement de 4 milliards d’euros pour démultiplier ses infrastructures de stockage et de calcul sur le territoire français. Et c’est également Microsoft qui a mis le grappin sur Mistral AI, promu comme champion national de l’IA, en annonçant un accord de partenariat avec la startup française sitôt l’accord politique conclu sur le texte du règlement IA. L’argument de la souveraineté numérique avancé par la France pour abaisser les exigences du règlement IA a donc bon dos, puisqu’en pratique l’État s’accommode très bien du renforcement des positions dominantes des multinationales de la tech.

En vertu du règlement adopté hier, ce sont les entreprises qui conçoivent les systèmes d’IA qui seront les premières compétentes pour de prononcer sur le niveau de risque que présentent leurs produits (article 43). Il leur sera alors loisible de considérer que ces systèmes ne sont pas risqués et donc exempts de toute régulation en vertu du règlement. Autrement, ce sont des organismes privés de certification qui seront amenés à délivrer des attestations de conformité¹. De manière générale, les formes de régulation promues par le règlement s’assimilent essentiellement à de l’auto-régulation et au suivi de « bonnes pratiques », le tout sous l’égide d’organismes de standardisation de droit privé (le CEN-CENELEC au niveau européen ou l’AFNOR en France) au sein desquels l’industrie aura toutes latitudes. Autant dire que le débat consistant à savoir qui, en France, de la CNIL, de l’Arcep ou de l’Arcom sera chargée de superviser l’application du règlement ne revêt pas d’énorme enjeu.

Autre signe des considérations dont l’industrie fait l’objet, le chapitre VI contient un grand nombre de dispositifs réglementaires censés « soutenir l’innovation », afin de permettre au secteur privé d’entraîner ses modèles d’IA avec un soutien renforcé des pouvoirs publics.

La Technopolice en roue libre

S’il était clair depuis le début que l’approche par les risques promue par l’Union européenne pour réguler l’IA était conçue pour réguler un marché plutôt que de protéger les droits fondamentaux, au moins pouvait-on espérer que les usages les plus dangereux des systèmes d’IA, à l’image de la reconnaissance faciale, soient bannis au titre des « risques inacceptables ». C’était en tout cas une demande de dizaines d’ONG et de plus de 250 000 citoyen·nes européen·nes réuni·es dans la coalition Reclaim Your Face et ce que laissait entendre la Commission au départ.

Là encore, la France a œuvré avec d’autres États à tenir en échec toutes prétentions en la matière, laissant les coudées franches aux forces de police et à l’industrie de la surveillance. L’analyse du texte permet de l’illustrer. L’article 5, qui dresse la liste des diverses interdictions ayant subsisté, proscrit bel et bien « l’utilisation de systèmes d’identification biométrique à distance en temps réel ». L’article 5.2 semble ici couvrir de nombreuses applications de vidéosurveillance algorithmique (VSA). Sauf que, d’une part, toute utilisation de tels systèmes échappe à cette formulation dès lors qu’elle est conduite en temps différé. Et que là encore, des exceptions en réduisent drastiquement la portée : le recours à la reconnaissance faciale en temps réel sera en effet possible dès lors qu’il s’agit de retrouver des victimes « d’enlèvement, de la traite ou de l’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues », s’il s’agit de prévenir « une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques », ou encore pour prévenir « une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste ». Autant de pieds dans la porte qui pourront facilement être étendus à de nouvelles situations à l’avenir.

Qui plus est, en la matière, les services de renseignement se voient libérés de toute contrainte. C’est également le cas des équipes de recherches scientifiques pourront « innover » à loisir. L’article 2.3, relatif au champ d’application du règlement, précise en effet que celui-ci, et donc les interdictions qu’il énonce, ne s’applique pas « aux systèmes d’IA développés à des fins de recherche scientifique, ni à ceux utilisés à des fins militaires, de défense ou de sécurité nationale ». Soit d’autres trous béants dans la raquette.

En pratique, toutes les formes d’IA policières contre lesquelles nous nous battons dans le cadre du projet Technopolice semblent permises par le règlement, de la VSA à la police prédictive. Tout au plus pourront-elles être considérées comme « à haut risque », car relevant de certains domaines d’applications sensibles définis dans l’annexe III². Elles seront alors soumises à des obligations renforcées de transparence et de standardisation : les responsables de ces systèmes devront ainsi identifier, évaluer et traiter les « risques raisonnablement prévisibles (…) pour la santé, la sécurité ou les droits fondamentaux » (article 9.2), mettre en place des bonnes pratiques en matière de gouvernance des données (article 10), et tenir des registres liés aux activités de leurs systèmes (article 12). Standardisation et auto-régulation, sous l’égide d’agences publiques chargées d’organiser le tout, seront donc de mise.

La transparence des systèmes à haut risque restera extrêmement limitée en matière technopolicière. Car si de tels systèmes doivent normalement être répertoriés dans un registre public, les forces de l’ordre et les services d’immigration ont obtenu une dérogation qui limitera drastiquement les données qu’ils auront à fournir (article 49.4). Elles n’auront pas non plus à publier les études d’impact, ce qui est normalement obligatoire pour les systèmes à haut risque.

Enfin, même lorsqu’ils seront effectivement classés à haut risque, encore faut-il que les systèmes IA à haut risque n’échappent pas à l’autre dérogation léonine ajoutée au texte. Un « filtre » défini à l’article 6.3 prévoit en effet que les obligations ad hoc ne s’appliquent pas dès lors que les systèmes d’IA considérés sont destinés à « accomplir un tâche procédurale étroite », à « améliorer ou optimiser » le résultat d’une « tâche humaine » déjà accomplie, s’ils ne réalisent qu’une « tâche préparatoire », ou si plus généralement, bien que relevant théoriquement des applications à haut risque définies à l’annexe III, ils « ne présente pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques ». Toutes ces notions juridiques paraissent particulièrement larges et laissent la porte ouverte à tous les abus, a fortiori dès lors qu’elles sont laissées à l’appréciation d’acteurs privés.

Quant aux systèmes de police prédictive basés sur le calcul de scores de risque par zones géographiques, dont nous soulignions récemment les dangers en terme de discrimination, il semble qu’ils échappent à la définition très restrictive proposée en la matière dans l’annexe III relative aux systèmes à haut risque, et donc aux obligations prévues pour cette catégorie³.

Algos de contrôle social et greenwashing en embuscade

En matière de « crédit social », également mis en avant comme l’une des proscriptions les plus ambitieuses posées par le texte et qui apparaissait comme une manière de préserver la bonne conscience européenne face à la dystopie numérique « à la chinoise », c’est encore la douche froide. La « notation sociale » – par exemple celle pratiquée par les Caisses d’allocations familiales que nous documentons depuis des mois – reste permise dès lors qu’elle ne relève pas, à l’instar des systèmes expérimentés en Chine, d’un système centralisé captant des données issues de contextes sociaux différents (police, travail, école, etc.) (considérant 31). Les notations sectorielles utilisées par les organismes sociaux pourront continuer de plus belle : bien qu’il les classe dans les applications à haut risque, et en dehors de quelques obligations procédurales déjà évoquées, le règlement n’apporte rien pour lutter efficacement contre les algorithmes discriminatoires des administrations sociales en matière de notation et de flicage des bénéficiaires.

Restent des déclarations de principe, dont la nature contradictoire devrait pourtant sauter aux yeux. On pense notamment au vœu pieu que « les systèmes d’IA [soient] développés et utilisés d’une manière durable et respectueuse de l’environnement » (considérant 27). Ou de l’idée décidément tenace qu’une informatisation toujours plus poussée permettra de répondre à l’enjeu du changement climatique (considérant 4), alors que dans le même temps, notamment à travers la loi de simplification déjà citée, on encourage à tout-va la construction de data centers h yper-énergivores et qu’on relance l’extraction minière pour accompagner la « transition numérique ». Rien de bien surprenant puisque, chez les technocrates et autres apôtres des hautes technologies, l’IA est désormais un élément clé de tout bon discours de greenwashing.

Les seules règles en matière d’impact environnemental posée par le règlement IA consistent en la fourniture, par les concepteurs de système d’IA à haut risque qui cherchent à faire certifier leurs produits, d’informations visant à « améliorer les performances des systèmes d’IA en matière de ressources, telles que la réduction de la consommation d’énergie et d’autres ressources par le système d’IA (…) au cours de son cycle de vie », ou relatives au « développement économe en énergie de modèles d’IA à usage général » (article 40). Dans le même ordre d’idées, dans le cadre de l’annexe XI, les concepteurs d’IA génératives fondées sur de grands modèles de données, à l’image d’OpenAI, devront également fournir des informations sur « la consommation d’énergie connue ou estimée » liée à l’entraînement et à l’utilisation de ces modèles. Le tout étant là aussi chapeauté par les organismes de normalisation, l’exercice ne devrait être qu’une simple formalité aux effets parfaitement cosmétiques.

À l’arrivée, loin de protéger les valeurs de démocratie, d’État de droit et de respect pour l’environnement que l’Union européenne prétend encore incarner comme un phare dans la nuit, le règlement IA reste le produit d’une realpolitik désastreuse. Face à l’étau formé par la Chine et les États-Unis, il doit en effet permettre de relancer l’Europe dans la course aux dernières technologies informatiques, perçues comme de véritables étalons de puissance. Non seulement cette course paraît perdue d’avance mais, ce faisant, l’Union européenne participe à légitimer une fuite en avant techno-solutionniste dangereuse pour les libertés et insoutenable au plan écologique.

La généralisation de l’IA, en tant que paradigme technique et politique, a pour principal effet de démultiplier les dégâts engendrés par la sur-informatisation de nos sociétés. Puisqu’il est désormais clair que ce règlement ne sera d’aucune utilité pour enrayer l’emballement actuel, c’est d’autres moyens de lutte qu’il va nous falloir collectivement envisager.

Veale, Michael, et Frederik Zuiderveen Borgesius. « Demystifying the Draft EU Artificial Intelligence Act — Analysing the Good, the Bad, and the Unclear Elements of the Proposed Approach ». Computer Law Review International 22, n° 4 (1 août 2021), p. 106. https://doi.org/10.9785/cri-2021-220402 ︎
L’annexe III définit comme étant à haut risque les systèmes d’IA liées aux applications suivantes : surveillance biométrique, gestion d’infrastructures critiques, de l’éducation et de la formation professionnelle, de l’emploi et de la gestion de la main d’œuvre, l’accès aux services publics et prestations sociales, la police prédictive, le contrôle des migrations et l’administration de la justice. ︎
L’annexe III, qui dresse la liste des applications à haut risque, n’évoque à l’article 6.d. que « les systèmes d’IA destinés à être utilisés par les autorités répressives ou par les institutions, organes et organismes de l’Union, ou en leur nom, en soutien aux autorités répressives pour évaluer le risque qu’une personne physique commette une infraction ou récidive, sans se fonder uniquement sur le profilage des personnes physiques visé à l’article 3, paragraphe 4, de la directive (UE) 2016/680, ou pour évaluer les traits de personnalité, les caractéristiques ou les antécédents judiciaires de personnes physiques ou de groupes ». ︎

PROJET AUTOBLOG