Avec 60 organisations européennes, nous demandons aux parlementaires européens de rejeter le projet de règlement de censure antiterroriste sur lequel ils sont appelés à voter le 28 avril prochain.

Ce texte sécuritaire obligera l’ensemble des acteurs de l’Internet à censurer en une heure n’importe quel contenu signalé comme terroriste par la police, et ce sans intervention préalable d’un juge. Cette obligation de retrait en une heure est exactement celle qui, au sein de la loi Avia, a été censurée par le Conseil constitutionnel en juin 2020. Plusieurs parlementaires français continuent pourtant à défendre ce projet.

La lettre en PDF (et en anglais), recopié ci-dessous avec la liste des signataires :

Chers membres du Parlement européen,

Nous vous écrivons pour vous faire part de nos préoccupations concernant la proposition de règlement de l’Union européenne relatif à la prévention de la diffusion de contenus à caractère terroriste en ligne. Nous invitons les membres du Parlement européen à voter contre l’adoption de la proposition.

Depuis 2018, nous, les organisations de défense des droits humains, associations de journalistes et chercheurs soussignés, mettons en garde contre les graves menaces que cette proposition législative fait peser sur les droits et libertés fondamentaux, en particulier la liberté d’expression et d’opinion, la liberté d’accès à l’information, le droit à la vie privée et l’État de droit.

Grâce au travail de l’équipe de négociation du Parlement européen, à un débat élargi et à la participation de la société civile, un certain nombre de problèmes ont été abordés au cours des trilogues entre le Parlement européen et le Conseil de l’Union européenne.

Toutefois, malgré le résultat des dernières négociations du trilogue, le texte final de la proposition de règlement contient toujours des mesures dangereuses qui, à terme, affaibliront la protection des droits fondamentaux dans l’UE. Cela risque également de créer un dangereux précédent pour la réglementation des contenus en ligne dans le monde entier.

La proposition de règlement doit faire l’objet d’un vote final en plénière au Parlement européen en avril 2021. Nous invitons les membres du Parlement européen à voter contre l’adoption de la proposition pour les raisons suivantes :

1. La proposition continue d’inciter les plateformes en ligne à utiliser des outils automatisés de modération de contenu, tels que des filtres de téléchargement

Le court délai imposé par la proposition de règlement aux hébergeurs en ligne pour retirer le contenu considéré comme étant à caractère terroriste incite fortement les plateformes à déployer des outils automatisés de modération de contenu, tels que les filtres de téléchargement. Les pratiques actuelles de modération de contenu se caractérisent par le profond manque de transparence et de précision de la prise de décision automatisée. Parce qu’il est impossible pour les outils automatisés de différencier invariablement le militantisme, les contre-discours, et la satire à propos du terrorisme du contenu considéré comme terroriste lui-même, une automatisation accrue entraînera à terme la suppression de contenus légaux comme le contenu journalistique, le traitement discriminatoire des minorités et de certains groupes sous-représentés. Les plateformes suppriment déjà d’énormes quantités de contenus publiés par des survivants, des civils ou des journalistes documentant la violence dans les zones de guerre, tel que le montre le travail des Syrian and Yemeni Archives, ce qui peut entraver les efforts de responsabilisation. La proposition de règlement, qui manque de mesures de protection afin d’empêcher de telles pratiques de suppression erronées lorsque des outils automatisés sont utilisés, ne fera que renforcer cette tendance. En outre, les filtres de téléchargement peuvent avoir un effet négatif sur l’internet, notamment en ce qui concerne son architecture ouverte et ses éléments constitutifs interopérables.

2. Il existe un manque cruel de contrôle judiciaire indépendant

La proposition de règlement demandent aux États membres de désigner, à leur discrétion, les autorités compétentes qui seront investies des pouvoirs nécessaires pour mettre en œuvre les mesures prévues par le règlement, notamment l’émission d’injonctions de retrait de contenu. Même si la proposition indique que les autorités doivent être objectives, non discriminantes, respectueuses des droits,nous pensons néanmoins que seuls les tribunaux ou les autorités administratives indépendantes faisant l’objet d’un contrôle judiciaire devraient avoir le pouvoir d’émettre des injonctions de suppression de contenu. L’absence de contrôle judiciaire constitue un risque grave pour la liberté d’expression et l’accès à l’information. Il porte également atteinte à la Charte des droits fondamentaux, qui protège la liberté de recevoir et de communiquer des informations et stipule que l’expression licite est protégée et ne devrait être limitée qu’ultérieurement, par un tribunal et sur demande légitime.

3. Les États membres émettront des injonctions de suppression transfrontalières sans aucun garde-fou

Selon les résultats du trilogue, toute autorité compétente aura le pouvoir d’ordonner la suppression d’un contenu en ligne, hébergé n’importe où dans l’UE, dans un délai d’une heure. Cela signifie qu’un État membre peut étendre sa compétence d’exécution au-delà de son territoire sans contrôle judiciaire préalable et sans tenir compte des droits des personnes dans les juridictions concernées. Compte tenu des graves menaces qui pèsent sur l’État de droit dans certains États membres de l’UE, la confiance mutuelle qui sous-tend la coopération judiciaire européenne pourrait être sérieusement compromise. En outre, la procédure de notification, émise à l’État membre concerné, et de vérification parce même État, prévue dans le texte actuel, ne contient pas de garanties suffisantes contre une intervention excessive et les abus de pouvoir d’un État. Elle ne permettra pas non plus de résoudre les désaccords entre les États membres sur ce qui relève du terrorisme, de l’humour, de l’expression artistique ou du reportage journalistique.

Nous demandons instamment au Parlement européen de rejeter cette proposition, car elle pose de graves menaces aux droits et libertés fondamentaux, en particulier la liberté d’expression et d’opinion, la liberté d’accès à l’information, le droit à la vie privée et l’État de droit. De plus, elle créera un dangereux précédent pour toute future législation européenne réglementant l’écosystème numérique en faussant le cadre d’application de la loi sous prétexte de renforcer le marché unique numérique. Par conséquent, la réglementation sur les contenus terroristes dans son état actuel n’a pas sa place dans le droit européen.

Signataires

Access Now, International

Amnesty International

Antigone, Italian

ARTICLE 19, International

Asociația pentru Tehnologie și Internet (ApTI), Romania

Association of European Journalists (AEJ), Belgium

Bits of Freedom, the Netherlands

Bulgarian Helsinki Committee, Bulgaria

Centre for Democracy & Technology (CDT), International

Chaos Computer Club (CCC), Germany

Civil Liberties Union for Europe (Liberties), International

Comité de Vigilance en matière de Lutte contre le Terrorisme (Comité T), Belgium

Committee to Protect Journalists (CPJ), International

Communia, International

Digitalcourage, Germany

Digitale Gesellschaft, Germany

Digital Rights Ireland, Ireland

Državljan D, Slovenia

Electronic Frontier Finland (Effi), Finland

Electronic Frontier Foundation (EFF), USA

Elektroniks Forpost Norge (EFN), Norway

Entropia e.V., Germany

epicenter.works, Austria

European Digital Rights (EDRi), International

European Federation of Journalists (EFJ), International

Fitug e.V., Germany

Föreningen för digitala fri-och rättigheter (DFRI), Sweden

Freemuse, International

Global Forum for Media Development (GFMD), International

Global Voices, International

Helsinki Foundation for Human Rights, Poland

Hermes Center, Italy

Homo Digitalis, Greece

Human Rights Monitoring Institute, Lithuania

Human Rights Watch, International

International Commission of Jurists, International

Internationale Liga für Menschenrechte, Germany

International Federation for Human Rights (FIDH), International

Internet Governance Project, School of Public Policy at the Georgia Institute of Technology

Internet Society, International

IT Political Association of Denmark (IT-Pol), Denmark

Irish Council for Civil Liberties, Ireland

La Quadrature Du Net (LQDN), France

Latvian Human Rights Committee, Latvia

Liga voor de Rechten van de Mens, the Netherlands

Liga voor Mensenrechten, Belgium

Ligue des Droits de l’Homme, France

Ligue des Droit Humains, Belgium

Mnemonic, International

Open Technology Institute, USA

Panoptykon Foundation, Poland

Ranking Digital Rights, USA

Reporters Without Borders (RSF), International

Rights International Spain, Spain

Statewatch, the United Kingdom

Vrijschrift.org, The Netherlands

Wikimedia Deutschland, Germany

Wikimedia France, France

WITNESS, International

Xnet, Spain

7amleh -The Arab Center for the Advancement of Social Media, Palestine

Hier, le Sénat a voté à son tour la proposition de loi sur la « Sécurité globale », cinq mois après le vote en première lecture à l’Assemblée nationale. S’agissant d’une procédure accélérée, la prochaine étape sera directement en commission mixte paritaire, peut-être dès le début du mois d’avril. Au vu de la version du texte votée par le Sénat, il n’y a malheureusement rien à attendre de cette commission. Nos espoirs reposent maintenant sur le Conseil constitutionnel, qui devra censurer largement les dispositions de ce texte ultra-sécuritaire.

Il y a deux semaines, nous dénoncions le texte adopté par la commission des lois du Sénat sur la proposition de loi dite de « Sécurité globale ». Après trois jours de débat en hémicycle, le Sénat vient cette fois-ci d’adopter le texte dans son ensemble.

Il a donc dit oui à l’intensification de la vidéosurveillance fixe, à l’extension de la liste des personnes pouvant avoir accès à la surveillance de la voie publique, à la transmission en direct des images des caméras-piétons, aux drones, aux hélicoptères et à l’article 24.

Le Sénat ne s’est malheureusement pas arrêté là. Il a également, par plusieurs dispositions, aggravé le texte. Mais soyons rassuré·es : il s’agit désormais de la « proposition de loi pour un nouveau pacte de sécurité respectueux des libertés ».

Surveillance vidéo des cellules de centres de rétention administrative (CRA) et de garde à vue

Le pire ajout du Sénat est peut-être celui-ci. S’accordant avec le gouvernement, les rapporteurs ont fait adopter une disposition permettant au ministre de l’intérieur de mettre des caméras dans les chambres d’isolement des centres de rétention administrative et des cellules de garde à vue.

Les propos du gouvernement sur cet ajout ont été proprement indignes. Alors que la France est régulièrement interpellée par différentes associations depuis des années, que le Contrôleur général des lieux de privations de libertés pointe régulièrement les conditions de détention indignes, que les condamnations par des juridictions françaises et internationales pleuvent, Gérald Darmanin a préféré opter pour une stratégie du mensonge en niant les graves atteintes aux droits des personnes incarcérées. Le tout pour défendre la mise en place de vidéosurveillance dans les cellules.

Derrière l’écran de fumée de la lutte contre les suicides et mutilations (alors même qu’on peine à imaginer en quoi une caméra de vidéosurveillance permettrait de lutter contre ces situations de détresses humaines), le ministre de l’intérieur, le Sénat et ses rapporteurs ont créé une surveillance permanente du peu d’intimité qui reste aux personnes retenues.

Interpellé sur l’incohérence à vouloir mettre des caméras dans des lieux insalubres, Gérald Darmanin a répondu par le déni, détournant le sujet en estimant qu’il faudrait plus de CRA et qu’« on a l’argent pour construire des CRA ». Cet argent magique n’est, visiblement, pas prévu pour améliorer le respect des conditions de détention. Mais, surtout, alors que le débat portait sur les conditions indignes d’incarcération, M. Darmanin transformait les propos de l’opposition en un soi-disant « procès scandaleux » sur de possibles actes de tortures en milieux de rétention, dans une tentative bien grossière de créer une « affaire dans l’affaire ».

Des caméras-piétons pour les gardes-champêtres

Autre ajout aggravant : l’autorisation d’une « expérimentation » pour permettre aux gardes-champêtres d’utiliser des caméras individuelles et de filmer les « incidents » se produisant ou susceptibles de se produire pendant leur intervention.

Après la police nationale et la police municipale, et après les services de sécurité des transports, c’est donc une nouvelle catégorie d’agents qui aura accès à la vidéosurveillance mouvante. Prétextant comme toujours d’une capacité soi-disant « pacificatrice » de ce dispositif — et faisant oublier que la caméra-piéton était à la base une idée de l’ancien ministre Bernard Cazeneuve pour compenser son refus de la proposition des « récépissés » de contrôle d’identité —, le gouvernement légitime encore une fois un nouveau dispositif de surveillance.

Drones : les mains libres pour le ministre de l’intérieur

Concernant les drones, l’interdiction de la reconnaissance faciale pour les images captées décidée en commission des lois demeure, mais c’est bien le seul point positif. Le Sénat a accepté de permettre également à la police municipale (et non plus seulement à la gendarmerie ou la police nationale) d’utiliser des drones pour surveiller la voie publique et constater certaines infractions. Si cette autorisation est donnée à titre expérimental, il ne faut pas se leurrer : en la matière, une expérimentation est toujours amenée à être intégrée dans le droit commun après quelques temps. Autorisation a par ailleurs été donnée à la police municipale d’utiliser des caméras embarquées sur leurs véhicules, cette fois-ci directement de manière définitive.

Le Sénat a par ailleurs laissé au ministère de l’intérieur le soin d’écrire, via un décret, ses propres lignes directrices quant à l’utilisation de ses drones, aussi bien sur la question de la formation en données personnelles que sur la proportionnalité des usages prévus. La garantie d’un avis préalable de la Cnil sur cette question n’est pas là pour nous rassurer, le ministère de l’intérieur ayant pour habitude de ne pas respecter les avis de cette dernière et la présidente de la CNIL s’étant montrée particulièrement peu lucide sur cet enjeu, lors des auditions au Sénat d’abord, puis dans l’avis de l’autorité sur le texte.

Le projet assumé d’une société sous surveillance biométrique

Enfin, le moratoire proposé par le groupe écologiste pour interdire pendant deux ans tout dispositif de vidéosurveillance biométrique a été rejeté.

Cela a néanmoins permis d’expliciter le projet de surveillance désiré par le gouvernement et la droite au Sénat. Devant le silence méprisant de l’hémicycle sur cette proposition de moratoire, une partie des sénateurs et sénatrices ont en effet demandé un scrutin public sur le vote, en précisant que rejeter ce moratoire revenait à autoriser la surveillance biométrique. Sur 344 votants, 244 ont donc voté pour la surveillance biométrique.

À cet égard, le récent décret autorisant le comptage de masques dans les transports apparaît ainsi de plus en plus comme un nouveau pied dans la porte menant à la Technopolice que nous dénonçons régulièrement.

L’idée qu’essaient de faire passer les rapporteurs au Sénat, sur un travail de « juriste sérieux » visant à encadrer les plus graves dispositions du texte, ne tient plus. Hier, non seulement aucune amélioration notable n’a été apportée au texte, mais plusieurs dispositions sont venues aggraver le danger pour nos libertés. Il reste encore l’étape de la Commission mixte paritaire, qui réunira les élu·es de l’Assemblée nationale et du Sénat mais de laquelle nous n’attendons absolument rien. Rendez-vous donc au Conseil constitutionnel pour tenter de faire barrage à ce nouveau coup de semonce sécuritaire.

Projet central du « Plan national pour l’intelligence artificielle » (surnommé « AI for humanity« ), le « Health Data Hub » (HDH) est un projet visant à centraliser l’ensemble des données de santé de la population française. Il est prévu que le HDH regroupe, entre autres, les données de la médecine de ville, des pharmacies, du système hospitalier, des laboratoires de biologie médicale, du dossier médical partagé, de la médecine du travail, des EHPAD ou encore les données des programmes de séquençage de l’ADN [1].

Le HDH se substitue à une structure existante, le Système National de Données de Santé, avec deux principales modifications : un large élargissement des données collectées et un accès facilité, en particulier pour le secteur privé (GAFAM, « medtechs », startup, assureurs…), à ces dernières. A noter que les décrets officialisant les critères de sélection des projets ayant accès aux données ne sont toujours pas parus. Son objectif est donc, via leur centralisation, de faciliter l’utilisation de nos données de santé par le plus grand nombre d’acteurs de manière à, selon ses promoteurs-rices, « faire de la France un pays leader de l’intelligence artificielle » [2].

Ce projet, mené sans réelle concertation publique, est au centre de nombreuses controverses. Le choix du gouvernement de confier son hébergement à Microsoft, dans l’opacité la plus totale et malgré un avis particulièrement sévère de la CNIL, a soulevé de nombreuses protestations. Alors même que les critiques s’intensifiaient, le gouvernement a profité de l’état d’urgence sanitaire pour accélérer son développement, décision qui fut attaquée en justice par le collectif Interhop. Edward Snowden lui-même a pris position contre ce projet en dénonçant une capitulation du gouvernement devant « le cartel du Cloud ».

Sans remettre en question le droit à l’accès aux données médicales à des fins de recherche publique, ce texte se propose d’interroger les ressorts idéologiques du HDH et la vision du système de santé qu’il traduit, en l’inscrivant dans le contexte plus large de l’utilisation grandissante des techniques d’Intelligence Artificielle (IA) dans notre société. En effet, du système éducatif et social à la justice, en passant par la police, l’agriculture ou la santé, aucun domaine n’est aujourd’hui épargné. Alors que l’introduction de cette technologie est présentée comme inéluctable, et le recours à celle-ci comme intrinsèquement un progrès, les risques associés à son recours à outrance dans nos sociétés sont nombreux : déshumanisation [3], perte d’autonomie [4], usage contre les intérêts des patients, et, comme souvent lors de la création de nouvelles bases de données, une surveillance accrue [5]…

Aux origines du HDH : le rapport Villani ou l’IA fantasmée

La création du HDH fut initialement proposée dans le rapport Villani, publié en 2018. C’est sur la base de ce dernier que s’est construite la stratégie gouvernementale en matière d’IA.

Sa lecture permet d’appréhender la vision que se fait l’État des enjeux posés par l’IA, son positionnement par rapport à ces derniers et les risques que cette politique implique en terme de protection des données personnelles, tout particulièrement dans le domaine de la santé.

L’IA : « Une chance inouïe d’accélérer le calcul réservé à Dieu »

C’est en ces termes[6] qu’Emmanuel Macron, évoquant la philosophie de Leibniz[7], introduit le discours qu’il prononce à l’occasion de la publication du rapport Villani. L’IA, ajoute-t-il, « nous donnerait la capacité de réaliser nous-mêmes » le calcul du « meilleur des mondes possibles » que le philosophe réserve à Dieu. Selon lui, grâce à cette technique, nous serons bientôt en mesure de « parcourir beaucoup plus rapidement les chemins du malheur pour choisir le bon chemin […] plus tôt et […] plus rapidement » [6].

On retrouve ici toute la fascination exercée par les technologies, et l’informatique en particulier, sur nos dirigeant-e-s. Pour Jacques Ellul [8], ce sont d’ailleurs les politiques qui « paraissent plus que tous autres fascinés par cet instrument fabuleux », parce qu’ils-elles se trouvent « enfin maître(s) d’un instrument d’une puissance absolue » grâce auquel « tout va devenir possible ».

Après l’informatique, c’est donc à l’IA d’entretenir le mythe d’une technologie révolutionnaire et salvatrice. Comme l’écrivait André Vitalis en 1981 [9], l’IA et l’informatique sont des domaines si vastes que « dès lors, toutes les spéculations sont possibles, et à la place d’une appréciation raisonnée des possibilités de la machine, on est en présence d’une croyance à priori, en un pouvoir assez général ». Il ajoute à ce sujet que « ceci définit parfaitement une croyance magique ».

Une politique au service de finalités impensées

Cette fascination de nos dirigeant-e-s pour l’IA les empêche de prendre le recul nécessaire pour penser l’intégration de cette technique au sein d’un projet politique. Le rôle de l’Etat se limite à mettre tous les moyens à sa disposition pour préparer la France à « la révolution promise par l’IA », la faciliter, et ce, sans jamais questionner ni ses finalités ni ses moyens.

Ainsi, le rapport Villani plaide pour une véritable « transformation de l’Etat » et préconise d’adapter tant la commande publique que nos lois ou l’organisation de nos systèmes de santé et éducatif afin de lever les « freins » au développement de l’IA, « libérer la donnée » et « faire émerger une culture commune de l’innovation » [10]. Le cœur du rapport s’attache uniquement à préciser les actions à réaliser pour que la société s’adapte aux besoins techniques de l’IA.

Dans le même temps, la question de la limitation et de l’encadrement des usages de cette technologie y est quasi absente, tout comme la définition d’objectifs précis auxquels pourraient répondre une politique publique centrée autour de quelques grands projets de recherche publique. Ceux affichés par le « plan national pour l’IA » sont au contraire très vagues : permettre à la France de trouver une place parmi les « leaders » de ce domaine, ou encore « construire la véritable renaissance dont l’Europe a besoin » [6]

Il s’agit dès lors pour le pouvoir, non pas de questionner l’IA, mais de trouver de quels avantages dispose la France pour concurrencer les puissances dominantes (GAFAM, États-Unis, Chine) dans ce domaine. En se plaçant dans une logique concurrentielle, l’État embrasse implicitement le modèle défini par ces dernières et soustrait au débat public le choix de nos orientations technologiques.

Nos données de santé : un « avantage compétitif »

Les implications de ce choix vis-à-vis du HDH apparaissent rapidement. Comme Cédric Villani le précise [10] : « La situation actuelle est caractérisée par une asymétrie critique entre les acteurs de premier plan – les GAFAM […] – qui ont fait de la collecte et de la valorisation des données la raison de leur prééminence ; et les autres – entreprises et administrations – dont la survie à terme est menacée » .

Dans cette course à l’IA, l’État semble aujourd’hui dépassé par les GAFAM et les prodigieuses quantités de données qu’elles ont accumulé. A un tel point que Cédric Villani juge son existence mise en péril…

Toutefois, le rapport Villani se veut rassurant : si « le premier acte de la bataille de l’IA portait sur les données à caractère personnel » , et a été « remportée par les grandes plateformes » , le second acte va porter sur les « données sectorielles », dont le secteur de la santé est un parfait exemple. Or « c’est sur celles-ci que la France et l’Europe peuvent se différencier ».

Comment ? Grâce aux données à disposition de l’Etat français : celles collectées pour le développement de la sécurité sociale [11]. Comme l’explique clairement Emmanuel Macron : « Nous avons un véritable avantage, c’est que nous possédons un système de santé […] très centralisé, avec des bases de données d’une richesse exceptionnelle, notamment celle de l’Assurance-maladie et des hôpitaux ».

Tout est dit : pour que la France trouve sa place sur le marché de l’IA, l’État doit brader nos données de santé.

Un système de santé déshumanisé

Si le HDH est donc présenté comme un moyen de permettre à notre industrie nationale de « jouer un rôle de premier plan au niveau mondial et concurrencer les géants extra-européens » [10], il s’inscrit dans une vision plus globale d’un système de santé toujours plus quantifié et automatisé. Le rapport Villani permet en effet d’en cerner les contours : un système médical transformé pour être mis au service de l’IA, le recul des rapports humains, une médecine personnalisée basée sur l’exploitation à outrance de données personnelles et le transfert de la gestion de nouveaux pans de notre vie à des algorithmes opaques et privés.

« Hospital as a Platform » : Le corps médical au service de l’IA

L’ « Hospital as a Platform »[10], c’est ainsi que l’hôpital est désigné par le rapport Villani. Les lieux de soins y sont perçus comme de simples plateformes de données, des fournisseurs de matières premières pour les algorithmes des « medtechs ». Au delà de la violence d’une telle vision de notre système de soin, « producteur de données » [10], cela entraîne des conséquences directes tant pour le corps médical que pour la pratique de la médecine.

Puisque « les données cliniques renseignées par les médecins sont des sources d’apprentissage permanentes des IA », il devient « nécessaire que les professionnels de santé soient sensibilisés et formés pour encoder ces informations de manière à les rendre lisibles et réutilisables par la machine » [10].

Ainsi, jusqu’à présent, les soignants produisaient majoritairement des informations destinées à d’autres soignant-e-s et/ou patient-e-s. La quantification de chaque soin, introduite par la réforme de la T2A (tarification à l’activité) en 2003, avait déjà radicalement changé le rapport du soignant-e à la patient-e, tout en impactant les décisions médicales. Mais aujourd’hui c’est désormais l’ensemble de la production du personnel médical qui sera destiné à la machine. En inscrivant les relations patient-e/soignant-e dans des processus de rationalisation et de normalisation informatique, c’est le système lui-même que l’on déshumanise.

On renforce par ailleurs la charge de travail et les contraintes bureaucratiques du personnel médical, transformé à son tour en « travailleur-se du clic » pour reprendre l’expression d’Antonio Casilli [16], deux préoccupations au centre des récents mouvements de protestations [13] dans les milieux hospitaliers.

Marchandisation des données de santé

La stratégie gouvernementale prévoit la mise en place d’incitations fortes de manière à ce que le corps médical accepte ce changement de paradigme. Plusieurs pistes sont avancées :

Le rapport de préfiguration du HDH [14] indique par exemple que « les financements publics devraient être systématiquement conditionnés à la reconnaissance et au respect du principe de partage ». Un établissement médical refusant de partager les données de ses patient-e-s avec le HDH pourrait ainsi se voir ainsi privé de fonds.

Mais le coeur de la stratégie se veut plus doux. Il repose sur la rémunération des producteurs de données (hôpitaux, Ehpad, laboratoires…) par les utilisateurs-rices du HDH. Car comme le précise la mission de préfiguration, nos données de santé ont « un fort potentiel de valorisation économique » qui « se concentre principalement autour des industriels de santé, laboratoires pharmaceutiques et medtech » [14]. Ce que propose ainsi le rapport de préfiguration du HDH n’est rien de moins qu’une marchandisation de nos données de santé.

La mission de préfiguration rappelle par ailleurs qu’il sera nécessaire de « procéder à la large diffusion d’une culture de la donnée », afin de lever les freins culturels au développement de la technologie. Cette culture devra être infusée tant au niveau des responsables médicaux que des patients eux-mêmes. Et d’ajouter : « N’attendons pas d’être souffrants pour épouser cet état d’esprit » [14] …

Aujourd’hui pourtant, cette « culture de la donnée » française et européenne repose sur plusieurs textes tels la loi informatique et libertés de 1978 ou le RGPD (2018), qui visent au contraire à protéger cette donnée, et particulièrement la donnée de santé, dite « sensible » au même titre que l’orientation politique ou sexuelle. Maintenant que le contexte technique permet une analyse extrêmement pointue de ces données, il faudrait donc cesser de la protéger ?

« Deep Patient » : Du smartphone aux laboratoires d’analyses médicales

Pour Cédric Villani, les capteurs individuels de santé permettraient de participer à l’amélioration des outils d’IA, glissant vers une médecine individualisée à l’extrême, se basant sur la collecte d’une quantité toujours plus importante de données personnelles. Une médecine dans laquelle, selon lui, « le recueil des symptômes ne se fait plus seulement lors de la consultation de son médecin, mais à travers un ensemble de capteurs intégrés à l’individu (objets de « quantified self », apps de santé sur le smartphone, véritable « laboratoire d’analyses médicales distribuées ») ou à son environnement » [10].

Ce qu’évoque ici le rapport Villani, c’est le rêve d’une mesure de chaque aspect de notre vie (sommeil, alimentation, activité physique…), idéologie portée par le mouvement né aux Etats-Unis dit du « quantified self » [15]. Rêve accessible grâce à ces smartphones à qui incombe la responsabilité de collecte des données. Il est ainsi précisé que le « suivi en temps réel du patient et des traces qu’il produit » permet de « retracer une image précise du patient », constituant ce que le rapport désigne par l’expression de « deep patient » [10].

Le modèle proposé est donc celui de la délégation de notre système de santé à des applications se basant sur des algorithmes développés par le secteur privé, grâce aux données du HDH. La consultation de FAQ remplace petit à petit les consultations médicales, trop onéreuses et inefficientes, pendant qu’un avatar électronique remplace la médecin de famille.

Aucun recul n’est pris par rapport aux risques qu’engendre une privatisation croissante de notre système de santé. Aucune critique n’est faite du modèle économique des GAFAM basé sur la prédation des données personnelles. Il s’agit au contraire pour l’état d’accentuer le mouvement initié par ces derniers, de les concurrencer.

Se dessine alors une médecine personnalisée à l’extrême, atomisée, où la machine est reine et les interactions avec le corps médical marginalisées. Une médecine dans laquelle les questions collectives sont poussées en arrière plan et dans laquelle des pans entiers de notre système de santé sont délégués au secteur du numérique.

Conclusion

Nous refusons que nos données de santé soient utilisées pour la construction d’une médecine déshumanisée et individualisée à l’extrême. Nous refusons qu’elles servent à l’enrichissement de quelques structures privées ou à l’apparition de GAFAM français du domaine de la santé. Nous refusons qu’elles participent à l’avènement d’une société du « Quantified Self » dans laquelle la collecte de données personnelles de santé serait favorisée et valorisée. Nous refusons enfin une société où notre système de soin deviendrait un auxiliaire au service de technologies dont la place n’a pas fait l’objet d’un débat public.

Nous demandons donc :

– L’arrêt du développement du HDH, dans l’attente d’une remise à plat de ses objectifs et son fonctionnement ;
– L’arrêt du contrat d’hébergement conclu avec Microsoft ;
– Un changement de paradigme faisant de l’accès aux données de santé de la population française par le secteur privé l’exception plutôt que la norme.

—

[1]: Pour une liste exhaustive, se reporter à la Partie 5 « Patrimoine de Données » du Rapport de la mission de préfiguration du HDH : https://solidarites-sante.gouv.fr/IMG/pdf/181012_-_rapport_health_data_hub.pdf
[2]: https://www.aiforhumanity.fr/
[3]: Les films « Moi, Daniel Blake » ou « Effacer l’historique » offrent une belle, et triste, illustration d’un système social informatisé et bureaucratisé jusqu’à en perdre toute humanité
[4]: Voir à ce sujet « La liberté dans le coma » du Groupe Marcuse/ Sushana Zuboff
[5]: Voir à ce sujet le projet Technopolice: www.technopolice.fr
[6]: Discours prononcé le 29 mars 2018 par Emmanuel Macron à l’occasion de la publication du rapport Villani accessible ici
[7]: Macron évoque ici les réflexions de Leibnitz, philosophe du dix-septième siècle autour de la question suivante: « Si Dieu est omnibénévolent, omnipotent et omniscient, comment pouvons-nous rendre compte de la souffrance et de l’injustice qui existent dans le monde? » (citation wikipedia)
[8]: Lire à ce sujet le chapitre préliminaire du livre ‘Informatique, Pouvoir et Libertés’ d’André Vitalis et sa préface écrite par Jacques Ellul
[9]: « Pouvoir et Libertés », André Vitalis, Chapitre préliminaire,
[10]: Rapport Villani, accessible ici p.196
[11]: Sur le développement conjoint, et les besoins en matière de collecte de données, de l’état policier et de l’état providence, voir « La liberté dans le Coma », p57-75
[12]: Sur le concept de « travailleurs du clic », voir le livre « En attendant les robots. Enquête sur le travail du clic » d’Antonio Casili.
[13]: Voir par exemple cet article de Libération ici
[14]: Mission de préfiguration du HDH. Rapport disponible ici
[15]: Pour plus de détail sur ce mouvement, voir la page wikipedia ainsi que le chapitre 7 du livre « To Save Everything, Click Here: The Folly of Technological Solutionism » d’Evgeny Morozov.
[16]: Voir « En attendant les robots. Enquête sur le travail du clic. » d’Antonio A. Casilli.

Le 10 mars 2021, le ministre des transports M. Djebbari a autorisé par décret les gestionnaires de gares, de métro et de bus à déployer sur leurs caméras de surveillance des logiciels de détection de masque, prétextant un besoin statistique dans la lutte contre le Covid.

Ce décret est illégal : d’abord, seul le Parlement aurait le pouvoir d’autoriser un tel traitement, par exemple dans la loi Sécurité Globale actuellement débattue. Surtout, un débat démocratique aurait fait apparaître que cette surveillance, en plus d’être une atteinte supplémentaire à nos libertés, est inutile et donc injustifiable.

Le gouvernement a préféré contourner le Parlement et la loi en passant par décret, remettant entièrement en cause l’autorité du pouvoir législatif. Le Sénat doit contenir cette offensive anti-démocratique en adoptant l’amendement de la loi Sécurité globale qui propose un moratoire de 2 ans pour tout système d’analyse d’image automatisée.

Nous manifesterons pour cela devant le Sénat mardi 16 mars à 16h, square Poulenc à Paris, le jour où commenceront les débats en séance publique sur cette loi.

Un décret pour une start-up

Le 6 mai 2020, profitant de la panique sanitaire, la start-up française Datakalab avait tenté un coup d’éclat médiatique en offrant à la RATP, l’exploitant des transports parisiens, un logiciel de détection de masque déployé dans la station de métro Châtelet. Si l’opération avait réussi à faire parler de Datakalab, elle avait aussi attiré la CNIL qui fit savoir que ce dispositif était illégal pour défaut d’encadrement juridique. Dans ces conditions, avoir déployé ce logiciel constituait un délit puni de 5 ans de prison. Le logiciel a donc été remballé le 12 juin (le tout sans qu’aucune poursuite pénale ne soit engagée).

Ensuite, la RATP et Datakalab ont manifestement cherché du soutien auprès du gouvernement afin de bricoler ce « cadre juridique » qui leur permettrait de poursuivre leur expérimentation. C’est ainsi que M. Djebbari a adopté le décret du 10 mars 2021, tout en saluant publiquement Datakalab, pour qui ce décret était clairement pris. En retour, Datakalab remerciait le ministre dans une franchise symptomatique des sociétés autoritaires.

Difficile de savoir exactement pourquoi M. Djebbari souhaite autoriser l’activité illégale d’une start-up, mais on peut au moins constater une chose : cela renforce la stratégie globale du gouvernement visant à éroder la large opposition populaire contre la surveillance biométrique en rendant celle-ci de plus en plus présente dans nos vies.

Le contenu du décret

Dans les grandes lignes, le décret se contente de décrire l’expérience menée illégalement par Datakalab en mai 2020, puis de l’autoriser. Désormais, les gestionnaires de gares, de métro et de bus peuvent installer sur leurs caméras de surveillance un logiciel qui comptera deux choses : le nombre de personnes filmées et le nombre parmi celles-ci qui portent un masque. Un pourcentage est donné pour des tranches d’au moins 20 minutes et le décret prétend pour l’instant que le logiciel ne pourra servir qu’à faire des statistiques en ne visant ni à punir ni à identifier les personnes ne portant pas de masque.

En pratique, c’est le visage de l’ensemble des personnes filmées qui sera évalué par un logiciel d’analyse automatisée. De façon assez classique en matière de surveillance, le consentement ne sera pas demandé et les personnes ne pourront pas s’y opposer.

Difficile de savoir si la RATP souhaitera retenter son aventure avec une start-up délinquante. On peut le supposer. Mais Datakalab pourra aussi prospecter d’autres villes, notamment Cannes où elle avait commencé à déployer ses premières démonstrations de force dans la vidéosurveillance automatisée. Dans tous les cas, la start-up gagnera en réputation et améliorera son dispositif en l’entraînant sur nos corps mis gratuitement à sa disposition, et il faut redouter que d’autres start-up ne lui emboitent le pas.

L’illégalité du décret

Deux arguments juridiques suffisent à comprendre que ce décret est illégal.

Premièrement, la loi (l’article L251-2 du code de la sécurité intérieure) liste de façon limitée les objectifs que les caméras de surveillance peuvent poursuivre (lutte contre les vols, les incendies, les agressions, etc). La loi ne liste pas l’objectif statistique poursuivi par le décret, qui est donc contraire au droit. Pour être légal, le décret aurait du être précédé par une modification de la loi pour y ajouter cette finalité statistique.

Ensuite, l’article 4 de la loi de 1978 et l’article 5 du RGPD, ainsi que la Constitution, exigent que toute mesure de surveillance soit « nécessaire » à la finalité qu’elle poursuit. Elle ne peut être autorisée que si l’objectif poursuivi ne peut pas être atteint par une mesure moins dangereuse pour les libertés. Dans notre cas, il n’est absolument pas nécessaire d’analyser constamment le visage de l’ensemble de la population afin de faire des statistiques. Un comptage réalisé par des humains et sur la base d’échantillons est un procédé aussi facile que fiable.

Surtout, à écouter M. Djebbari lui-même, un tel comptage, qu’il soit réalisé par des machines ou des humains, est largement inutile pour lutter contre le Covid puisque selon lui : « les transports en commun ne sont pas un lieu de contamination particulier », notamment car « le port du masque est totalement respecté dans ces lieux ». La nécessité de l’installation de caméras d’analyse de visages, autre critère juridique fondamental, fait donc clairement défaut.

Le Parlement contourné

On comprend que c’est précisément car cette mesure de surveillance est inutile pour lutter contre le Covid que le gouvernement a préféré passer par décret. En effet, il aurait eu bien du mal à convaincre le Parlement d’autoriser une mesure aussi inutile qu’impopulaire. Et pour cause, sous la pression populaire, le Sénat lui-même a déjà commencé à repousser ce type de surveillance.

Dans sa position adoptée le 3 mars, la commission des lois du Sénat a précisé que les drones ne devaient pas servir à faire de la reconnaissance faciale, a limité la façon dont les agents de sécurité des transports peuvent accéder aux caméras de surveillance et a rejeté un amendement visant à généraliser la reconnaissance faciale sur les caméras de surveillance.

Si ces trois positions sont bien en-deçà de ce que le Sénat devrait faire pour corriger la loi Sécurité Globale dans son ensemble (voir nos critiques), elles se révèlent suffisantes pour dissuader le gouvernement d’essayer d’obtenir l’autorisation du Parlement afin de déployer des logiciels de reconnaissance de masques. Il a donc acté de le contourner, afin de décider seul par décret. Le message est clair : le gouvernement n’a besoin ni de loi, ni de Parlement ni de la moindre légitimité démocratique pour repousser chaque fois davantage les frontières de la Technopolice.

Contenir l’offensive autoritaire

Le gouvernement a en effet pris l’habitude de se passer de l’autorisation du Parlement pour déployer sa Technopolice : autorisation de la reconnaissance faciale massive en 2012 dans le fichier TAJ, centralisation des visages de toute la population dans le fichier TES, déploiement de caméras par hélicoptères et par drones, fichage politique des militants dans les fichiers PASP et GIPASP… 

Certes, aujourd’hui, suite à notre victoire au Conseil d’État, le gouvernement se retrouve obligé de demander au Parlement d’autoriser les caméras mouvantes dans la loi Sécurité Globale. Mais pour le reste, il a continué d’usurper le pouvoir législatif en autorisant des mesures de surveillance qui auraient du faire l’objet d’un débat démocratique puis être soumises au vote du Parlement, qui aurait probablement conclu au rejet de ces mesures injustifiables. Tant que personne ne l’arrêtera, le gouvernement continuera encore et encore à s’accaparer le pouvoir législatif tant les ambitions sécuritaires qu’il s’est fixé pour les Jeux Olympiques de 2024 sont immenses.

Le devoir du Parlement est d’obliger fermement le gouvernement à revenir devant lui chaque fois qu’il souhaitera étendre ses appareils de surveillance. Au Sénat, la gauche a proposé un amendement qui irait précisément dans ce sens en suspendant par principe et pendant 2 ans toute nouvelle extension des systèmes de vidéosurveillance. 

Sauf à renoncer à son rôle démocratique, le Sénat doit impérativement adopter cet amendement. S’il n’en fait rien, nous devrons probablement pallier la démission du Parlement en attaquant nous-même ce décret devant le Conseil d’État. Et puisque le Parlement n’a pas encore envisagé de léguer son budget aux nombreuses associations qui reprennent son rôle de contre-pouvoir, n’oubliez pas de nous soutenir si vous le pouvez !

Ce serait enfoncer une porte ouverte que de dire que la vidéosurveillance est partout. Alors que la Cour des comptes critique l’absence totale d’efficacité de ces dispositifs, celle-ci est sans cesse promue comme une solution magique à des problèmes que l’on ne veut pas regarder en face. Pourtant, derrière l’effrayante banalité de la vidéosurveillance peut se cacher l’effarante illégalité de la vidéosurveillance automatisée, ou algorithmique.

C’est l’histoire d’une banale histoire de vidéosurveillance

L’AN2V, le lobby de la vidéosurveillance, faisait la promotion, dans l’édition 2020 de son guide annuel, de la vidéosurveillance automatisée (VSA). Véritable démonstration des possibilités sécuritaires, ce document regroupe des articles sur l’analyse algorithmique de nos vies et rêve de futurs toujours plus sombres. Mais ce « Pixel 2020 », comme il se fait appeler, donne également la parole aux revendeurs d’un des logiciels les plus utilisés dans le domaine de la VSA : Briefcam.

Quelle ne fut pas notre surprise en découvrant dans ce guide qu’un petit bourg d’à peine 7000 habitant·es, Moirans, pas très loin de Grenoble, utilise le logiciel Briefcam pour faire de l’analyse algorithmique à partir des images captées par les caméras de vidéosurveillance. Il est de notoriété publique que beaucoup de collectivités locales de tailles importantes utilisent ce logiciel, mais nous découvrions ici qu’un petit village peut également se l’offrir.

En 2016, la mairie de Moirans, sous l’impulsion d’un maire « divers droite » et profitant d’un fait divers récupéré par le Premier ministre et le ministre de l’Intérieur de l’époque pour faire la promotion du solutionnisme technologique qu’est la vidéosurveillance, décida de s’équiper d’une soixantaine de caméras. Heureusement que l’État était là, puisqu’une subvention de 80 % du coût total par le Fonds Interministériel de Prévention de la Délinquance (FIPD), les plus de 400 000 € du projet ne furent que relativement peu supportés par le budget communal. Mais jusque là, personne n’avait encore entendu parler de Briefcam à Moirans…

Un Briefcam sauvage apparaît !

Après quelques invectives en conseil municipal, la ville de Moirans décida de s’équiper de vidéosurveillance et passa un marché public pour cela. Comme pour tout marché public, elle rédigea un cahier des clauses techniques particulières (CCTP). Celui-ci était assez classique : des caméras de haute résolution, la possibilité de lire une plaque minéralogique jusqu’à une vitesse de 90 km/h (alors même que la configuration du centre-ville rend périlleuses les vitesses au-delà des 30), des poteaux, des fibres, des écrans pour consulter les images et des serveurs pour les enregistrer, etc. Jusque-ici, aucune trace d’analyse algorithmique.

C’est finalement en lisant les rapports de suivi des travaux que nous découvrîmes le pot aux roses. Au moment de l’exécution du marché public, l’entreprise qui avait obtenu le projet proposa d’inclure le logiciel Briefcam, alors même que les fonctionnalités de VSA n’étaient pas demandées par la ville dans le CCTP. Une démonstration fut organisée par l’entreprise qui avait obtenu le marché public, le budget fut modifié pour tenir compte de cet ajout, et depuis 2019 Briefcam surveille. Emballé, c’est pesé.

Quelles leçons en tirer ?

Jusqu’alors nous cherchions la VSA là où elle s’affiche, comme à Marseille et son CCTP dédié à la VSA, mais nous nous sommes rendu compte qu’une simple vidéosurveillance, aussi classique soit-elle, peut cacher de la vidéosurveillance automatisée. Bien entendu, le journal municipal de Moirans se garde bien d’annoncer que la ville est équipée d’un logiciel capable de faire de l’analyse biométrique des personnes (ce qui n’empêche pas le journal municipal de vanter les bienfaits supposés de la vidéosurveillance « classique »). La CNIL n’a également jamais entendu parlé d’une quelconque étude d’impact à Moirans, étape pourtant obligatoire à la mise en place d’un traitement de données — a fortiori ici de données sensibles que sont les données biométriques. La première leçon à tirer est donc qu’il est vital de documenter le moindre projet de vidéosurveillance, même celui qui semble le plus classique. Bonne nouvelle, nous avons mis à jour nos guides pour vous aider à le faire dans votre ville !

La deuxième leçon à tirer est que Briefcam se cache là où on ne l’attend pas. L’entreprise qui a décroché le marché public à Moirans et a refourgué du Briefcam sous le manteau s’appelle SPIE. Il s’agit d’un industriel du BTP, qui a pignon sur rue mais qui n’est pas un fabricant de logiciel de VSA. En réalité, SPIE a sous-traité la VSA à Moirans à une autre entreprise, nommée Nomadys, qui elle-même revend Briefcam, logiciel développé par l’entreprise du même nom.

Que la chasse à Briefcam soit ouverte !

Fin janvier, nous avons identifié une douzaine d’administrations ayant passé un marché public de vidéosurveillance avec l’entreprise SPIE. Le Bulletin officiel des annonces de marché public (BOAMP) permet d’obtenir facilement une telle liste (certes très incomplète). Nous leur avons envoyé à chacune une demande CADA réclamant la communication des documents relatifs à ces marchés publics. Très peu ont répondu, et les quelques réponses reçues, lorsqu’elles ne sont pas caviardées à outrance, restent silencieuses sur les logiciels revendus par SPIE et utilisés. En particulier, aucune n’a accepté de nous communiquer les manuels d’utilisation des logiciels utilisés, en prétextant un soi-disant secret industriel. Si l’article L. 311-5 du code des relations entre le public et l’administration permet en effet à une administration de refuser de communiquer un document qui contiendrait un secret protégé par la loi, comme un secret industriel ou commercial, les manuels d’utilisation que nous demandions n’indiquent pas comment fonctionnent ces logiciels, mais ce qu’ils sont capables de faire. Ce type de document est par ailleurs communicable aux États-Unis en application de règles légales similaires à celles servant en France à faire des demande CADA. Il nous reste encore à analyser en détails les réponses, et nous saisirons ensuite la CADA sur ces refus. Et peut-être que nous irons plus loin, qui sait ?

Vous aussi de votre côté vous pouvez nous rejoindre dans cette chasse à Briefcam ! Nous avons mis à jour nos guides pour faire des demandes CADA et vous pouvez nous rejoindre sur le forum Technopolice pour partager vos découvertes. Et, comme toujours, vous pouvez aussi nous aider en nous faisant un don.