PROJET AUTOBLOG


La Quadrature du Net

source: La Quadrature du Net

⇐ retour index

En toutes choses, il faut de la mesure : de l’usage de la télémétrie

vendredi 24 septembre 2021 à 14:38

Dans un récent épisode du feuilleton « l’application TousAntiCovid, le pistage et nous », trois informaticiens ont publié le 19 août 2021 une analyse de risque du système de collecte de statistiques de l’application TousAntiCovid. Ils y rapportent que l’application ne remplit pas ses promesses en termes d’anonymat et de protection de la vie privée des utilisateur·ice·s : trop de statistiques d’utilisation sont collectées et envoyées au serveur.

Ces statistiques doivent permettre, comme l’annonçait le décret n° 2021-157 du 12 février 2021 décrivant les finalités de l’application TousAntiCovid, d’« adapter les mesures de gestion nécessaires pour faire face à l’épidémie et d’améliorer les performances de l’application ». Or ces données rendent aussi possibles l’identification des utilisateur·ice·s et la déduction des informations de santé les concernant.

Nous parlons régulièrement de l’usage de nos données personnelles par les entreprises à des fins commerciales ou politiques, par exemple pour sélectionner la publicité et les informations que nous recevons. Mais dans de nombreux cas, la collecte de données des utilisateur·ice·s est destinée, parfois exclusivement, à la conception et au développement des services eux-mêmes. Le recours à ce système de statistiques d’utilisation, appelé communément télémétrie, est devenue la norme dans l’industrie.

Comment et pourquoi mesure-t-on ainsi en permanence les comportements et les réactions des utilisateur·ice·s ? L’objet de cette réflexion n’est pas de déterminer si et comment la collecte d’informations peut être faite de manière à respecter rigoureusement la vie privée ou le consentement des personnes, mais bien d’interroger cette logique-même de collecter des données, en grande quantité et en permanence, à partir du cas du développement de produits dans l’industrie informatique.

Qu’est-ce que la télémétrie ?

La télémétrie est un système au sein d’un logiciel qui permet de mesurer des données relatives à son utilisation et à ses performances. Ces mesures sont ensuite transmises à distance à un service en charge de les collecter. Dans les logiciels informatiques, ces données sont utilisées afin d’informer sur le bon fonctionnement du logiciel, de manière ponctuelle ou continue (crashes de l’application, temps de démarrage, affichage de certaines pages, utilisation de certaines fonctions, etc.). La télémétrie peut aussi renseigner sur les usages des utilisateur·ice·s (quelles fonctionnalités sont utilisées ou pas, quels sont les temps d’utilisation) pour orienter les concepteur·ice·s à faire des choix d’évolution dans le logiciel.

Contrairement aux pratiques plus traditionnelles de recherche marketing et expérience utilisateur·ice telles que les entretiens en personne ou la tenue de journaux d’utilisation par écrit, cette collecte d’information à distance permet d’analyser rapidement les tendances d’utilisation, et ceci à grande échelle. Elle s’inscrit donc parfaitement dans un cycle de développement de produit court et itératif, quasiment en temps réel, qui permet de proposer des évolutions fréquentes du logiciel. Ces dernières années, cette pratique s’est imposée dans l’industrie logicielle.

Cas d’utilisation de la télémétrie

Concrètement, on retrouve de la télémétrie à peu près partout : systèmes d’exploitation, applications, logiciels tiers, qu’ils soient propriétaires ou libres. La télémétrie permet à un éditeur de logiciel de savoir comment son logiciel se comporte une fois installé et pris en main par ses utilisateur·ice·s — et vice-versa : il peut observer comment ses utilisateur·ice·s se comportent avec le logiciel. Dans le meilleur des cas, la télémétrie est soumise au consentement de ses utilisateur·ice·s et ne stocke pas de données personnelles sensibles permettant de les identifier.

Historiquement, la télémétrie a été développée en ingénierie pour mesurer le fonctionnement des machines à distance. Grâce à des capteurs électriques, on devient capable de mesurer des grandeurs physiques telles que la pression, la température ou la résistance électrique et de les transmettre. En météorologie, la radiosonde s’embarque ainsi sur des ballons et transfère des mesures de l’atmosphère. En aérospatiale, la télémétrie permet de surveiller le fonctionnement des satellites depuis la Terre. Dans le secteur de l’automobile, elle est utilisée de longue date pour optimiser les performances des voitures de course et s’invite désormais sur les modèles grand public pour recueillir des informations sur la conduite (comme le système R.S Monitor de chez Renault). Le monde médical et les recherches en sciences du vivant développent elles aussi leurs outils de biotélémétrie (par exemple pour surveiller le rythme cardiaque de patient·es).

Le développement de l’informatique, des logiciels embarqués et des objets connectés (Internet des objets, capteurs connectés) facilite l’extension de la télémétrie à de nombreux usages. Ainsi, la télémétrie d’une application sur un smartphone peut avoir accès aux données d’utilisation de l’application logicielle, mais aussi des mouvements du téléphone (accéléromètre, localisation GPS) et de l’environnement (captation sonore et vidéo).

Le monde enchanté du « data-driven »

La télémétrie s’inscrit dans un contexte où une approche dite « data-driven », ou orientation par les données, perfuse actuellement les pratiques de conception et de développement de produit et de management  : on parle ainsi de « data-driven design », « data-driven marketing », « data-driven management », « data-driven security » et ainsi de suite.

L’approche data-driven consiste à utiliser des données collectées pour prendre des décisions. À grand renfort de journaux (« logs »), d’indicateurs, d’« analytics », de statistiques d’utilisation et de tableaux de bord, l’approche data-driven a pour ambition de faciliter les prises de décision en les basant sur des données qui auraient valeur de preuves. Elle promet une méthode plus rigoureuse et plus scientifique, basée sur des faits observables plutôt que des intuitions et des opinions, afin d’éviter les conséquences dommageables des biais que les personnes en charge de prendre les décisions pourraient transmettre.

Les indicateurs (« metrics » en anglais) sont des données mesurées et mises en contexte : le nombre de visites d’un site web au mois de mars est une mesure de données, l’évolution du nombre de visites d’un mois sur l’autre est un indicateur.

Les « analytics » (littéralement « analyse de données » en anglais), quant à elles, servent à répondre à une question spécifique, ayant souvent trait au futur ( « comment obtenir plus de visites par mois ? ») à partir de l’analyse des données qui sont à disposition.

Des chiffres qui portent bonheur

Cette approche « data-driven » se superpose souvent à une démarche dite « user-centric » ou « customer-centric » qui consiste à placer l’utilisateur·ice au centre de toutes les attentions.
L’objectif est de réussir à « voir le monde à travers les yeux de ses client-e-s » comme le proclame la publicité de la solution Customer 360 de Salesforce, une entreprise proposant des logiciels de gestion de la relation client (GRC) — ou « Customer Relationship Management » (CRM) en anglais. Elle vante ainsi le fait qu’une entreprise ayant recours à de tels outils serait capable de mieux répondre aux besoins de ses client·e·s grâce à une connaissance optimisée de leurs comportements, de leurs aspirations et de leurs frustrations. Cette grande quantité d’informations détenues sur sa clientèle garantirait à l’entreprise de meilleurs résultats et de plus grands profits : « The more you know, the better you grow. » ( « >i>Plus de connaissances, c’est plus de croissance »).

La « data-driven empathy » ou « empathie des données » permettrait même, selon les promesses marketing, de « donner vie » aux données collectées afin d’anticiper les besoins et de s’adresser aux utilisateur·ice·s de manière plus « pertinente, personnelle, utile, et même enchanteuse ».
L’entreprise qui a recours à ces méthodes deviendrait ainsi capable de prédire les attentes et les comportements de chaque personne afin d’adapter automatiquement ses services de manière personnalisée : il s’agit là par excellence de la logique du capitalisme de surveillance et de la personnalisation de masse.

Comprendre ainsi comment les êtres humains se comportent, quels sont leurs objectifs et leurs aspirations, participerait in fine à l’amélioration de la vie de millions de personnes. Le data-driven serait donc, rien de moins, source de progrès et de bien-être pour l’humanité tout entière.

Le Quantified Self : une représentation de soi par les chiffres.

À une échelle plus individuelle, cette pratique de mesure et de mise en nombre du monde entre en résonance avec le mouvement du «Quantified Self  » (« mesure de soi ») et du « Self Tracking » (« auto-pistage »). Il s’agit de mesurer ses propres activités physiques, biologiques, émotionnelles et sociales pour ensuite les analyser.

La philosophie dominante du Quantified Self consiste à améliorer sa connaissance de soi par les chiffres et à s’aider à prendre des décisions pour être plus heureux·se. Ceci recouvre des pratiques diverses, par exemple le recours à des objets connectés pour mesurer et contrôler son corps et son activité  : une balance pour consulter son poids, une montre pour mesurer son activité physique quotidienne, un réveil pour surveiller la qualité de son sommeil.

Il peut également s’agir d’une forme d’empowerment et d’auto-aide pour s’appréhender soi, son corps, ses émotions, une maladie chronique, de manière indépendante ou complémentaire d’une institution médicale. La pratique du Quantified Self peut être une sorte de journal intime dont le contenu serait une succession de mesures simples plutôt que des descriptions d’expériences et d’états d’âme.

Reste un point commun entre toutes ces pratiques : le recours systématique à la mesure et à la représentation de soi par des chiffres.

Des limites méthodologiques à la collecte et au traitement des données

Quantifier le monde : une objectivité illusoire

L’approche data-driven promet une plus grande fiabilité et une meilleure efficacité des décisions, allant jusqu’à arguer d’un caractère parfaitement objectif. Les données collectées rendraient compte de « faits » équivalents à des preuves scientifiques. Pourtant, baser ses décisions sur ces données n’est pas forcément gage de cette objectivité tant recherchée.

Il faut d’abord décider quoi mesurer et comment. Or, tout ce qui est mesurable n’est pas forcément utile ou pertinent, et la décision de mesurer tel ou tel aspect de l’usage du produit influence la compréhension que l’on en a. Si l’ambition est de décrire le monde avec des chiffres, cette mise en nombre en affecte aussi la représentation et la compréhension. Le sociologue Alain Desrosières rappelle comment ce processus de mise en nombre — cette « quantification » — comprend non seulement les opérations de mesure à proprement parler, mais aussi un ensemble de conventions qui sont nécessaires pour traduire de manière numérique quelque chose qui était auparavant exprimé par des mots 1
[Note 1]  : Alain Desrosières, Pour une sociologie historique de la quantification, Chapitre 1.
https://books.openedition.org/pressesmines/901
(consulté le 03/09/2021)
« L’idée de mesure, inspirée des sciences de la nature, suppose implicitement que quelque chose de bien réel, déjà existant, analogue à la hauteur du Mont Blanc, peut être « mesuré », selon une métrologie réaliste. En revanche, le verbe quantifier implique une traduction, c’est-à-dire une action de transformation, résultant d’une série d’inscriptions, de codages et de calculs, et conduisant à une mise en nombre. Celle-ci contribue à exprimer et faire exister sous une forme numérique, par mise en œuvre de procédures conventionnelles, quelque chose qui était auparavant exprimé seulement par des mots et non par des nombres. Pour refléter cette distinction entre la chose et son expression numérique, on parle souvent d’indicateur, par exemple pour l’inflation, le chômage, la pauvreté, les violences faites aux femmes, ou le développement humain des pays de l’ONU. »
<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Prenons un exemple : comment quantifier le bonheur ? Imaginons que l’on effectue un sondage où l’on demande aux personnes de noter à combien elles évaluent leur état de bonheur actuel sur une échelle de 0 à 10 (le sondage est ici volontairement simpliste). On leur demanderait de traduire en un seul chiffre quelque chose de complexe : s’agit-il du sentiment de bonheur global sur un an, ou sur l’heure qui vient de se passer ? Comment leur état actuel influence-t-il la perception de leur bonheur ? Est-ce que l’on parle de bonheur dans le domaine professionnel, amoureux, familial, amical, artistique ? Pour choisir un chiffre sur l’échelle de 0 à 10, chaque personne va donner consciemment et inconsciemment un poids différent à tous ces aspects : les résultats seront difficilement comparables étant donné que chaque personne va interpréter différement la question.

Or, quantifier, pour reprendre l’expression de Desrosières, c’est « convenir et mesurer » afin de pouvoir ensuite distinguer, comparer, classer des éléments entre eux. On peut donc vouloir adopter une approche basée sur des mesures plus « objectives » plutôt que l’auto-évaluation des personnes. C’est ainsi que certains tentent de calculer une sorte de « Bonheur national brut » en considérant des indicateurs comme le taux de chômage et le revenu mensuel moyen, le nombre de personnes diagnostiquées de telle ou telle maladie, le taux de personnes propriétaires de leur logement, etc. On part alors du postulat que ces éléments sont pertinents pour rendre compte de ce qui fait le bonheur des gens. Or, le choix de ces indicateurs, la manière de les calculer et de les intégrer pour constituer le score final sont autant d’éléments qui influencent quelle représentation finale du bonheur de la population on obtient.

Desrosières souligne que ces conventions de traduction, qui ont un effet sur le sens qui peut être donné à ce que l’on mesure, s’effacent ensuite bien souvent derrière les résultats obtenus et partagés : « Une fois les procédures de quantification codifiées et routinisées, leurs produits sont réifiés. Ils tendent à devenir « la réalité », par un effet de cliquet irréversible. Les conventions initiales sont oubliées, l’objet quantifié est comme naturalisé […]».
La parfaite objectivité dans le rendu du réel qui serait inhérente aux approches data-driven est donc illusoire.

Comment interpréter les données ?

Qui plus est, on risque de perdre au passage ce qui n’est « pas quantifiable ». Si on demande aux personnes du sondage sur le bonheur de répondre verbalement, il y a des chances qu’elles répondent par plusieurs phrases d’explication, accompagnées de gestes, d’expressions du visage, d’un ton de voix qui permettraient de percevoir et de mieux comprendre comment ces personnes se sentent. Bref, autant d’informations difficilement, voire pas du tout, quantifiables.
Enfin, réduire une discussion sur le bonheur à un simple score entre 0 et 10 limite fortement l’intérêt de l’échange : en effet, pourquoi cherche-t-on à mesurer le bonheur en premier lieu ? Est-ce que pour le simple plaisir d’en faire l’évaluation d’une année sur l’autre, ou pour comprendre comment vivre de manière plus agréable individuellement et collectivement ? Et dans ce cas, comment en rendre compte par des chiffres ?

Le terrain de collecte des données n’est également pas neutre. Lorsque Salesforce vend la perspective de « voir le monde à travers les yeux de ses client·e·s », ce qu’il vend vraiment est la capacité de mesurer ce que les client·e·s effectuent dans l’espace qui leur est imposé par le logiciel ou le service utilisé : or, tel service programmé par un tiers a des conséquences sur nos comportements par la manière dont ses fonctionnalités sont conçues, par le temps de réponse de l’application, par ses limitations et les bugs face auxquels nous nous adaptons. Si la télémétrie peut donner l’impression d’être à l’écoute des personnes concernées en étant au plus près d’elles, et même de leur permettre de s’exprimer comme l’avance Microsoft), celles-ci n’interviennent jamais réellement dans le processus de prise de décision vis-à-vis du produit qu’elles utilisent. Autrement dit, mesurer nos réactions dans un espace contraint ne permet pas de révéler nos aspirations sincères.

Les données doivent ensuite être interprétées correctement et être mises en contexte pour leur donner du sens. Face à la grande quantité de données rendues disponibles et collectées, ces analyses sont désormais de plus en plus automatisées (notamment par des algorithmes d’intelligence artificielle). Or leurs biais sont désormais nombreux à être documentés, notamment ceux résultant de discriminations systémiques.

De la maximisation de la productivité au contrôle sécuritaire

Construire la meilleure équipe qui soit

En entreprise, le « data-driven management  » s’appuie sur la mesure du travail et des interactions des travailleur·euse·s pour améliorer la performance des équipes. Ceci inclut les méthodes de gestion de performance tels que les « Key Performance Indicators  » (KPI) qui permettent de définir et de mesurer le succès d’une entreprise dans la poursuite de ses objectifs, ou encore les questionnaires d’enquêtes pour mesurer le degré de satisfaction des employé·e·s. L’enjeu crucial pour les entreprises est de créer des « super équipes » créatives, performantes et impliquées.

Plusieurs chercheur·euse·s au Human Dynamics Laboratory du MIT ont travaillé sur ces questions dans les années 2010. Pour eux, les caractéristiques d’un groupe performant sont quantifiables. Ils développent un badge électronique dont ils équipent les travailleur·euse·s et qui collecte des données sur leurs comportements lorsqu’ils et elles communiquent : ton de la voix, langage corporel, qui parle à qui, combien de temps, etc. Ils dissèquent chaque comportement pour mesurer ce qui constitue, par exemple, une séance de brainstorming productive.

Le développement récent de nouvelles technologies leur permet de repousser la frontière de ce qui est selon eux quantifiable dans la vie humaine. Grâce à des capteurs sans fil portables, plus sensibles, plus petits et capables de collecter un nombre grandissant de données, ils observent et mesurent chaque interaction. Les badges « génèrent plus de cent captures de données par minute et fonctionnent de manière suffisamment discrète pour que nous soyons confiants sur le fait que nous mesurons des comportements naturels. (Nous avons documenté une période d’ajustement aux badges : au début, les personnes semblent être conscientes qu’elles le portent et agissent de façon peu naturelle, mais l’effet se dissipe généralement dans l’heure qui suit.) ». 2
[Note 2] : Alex « Sandy » Pentland, The New Science of Building Great Teams, Apr 2012
https://hbr.org/2012/04/the-new-science-of-building-great-teams
(consulté le 03/09/2021)
« […] generate more than 100 data points a minute and work unobtrusively enough that we’re confident we’re capturing natural behavior. (We’ve documented a period of adjustment to the badges: Early on, people appear to be aware of them and act unnaturally, but the effect dissipates, usually within an hour.) »
<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });

Ces mesures leur permettent ensuite d’anticiper, par exemple, les performances d’une équipe. Il s’agit ainsi de développer le pouvoir de connaissance et de prédiction à l’échelle de l’entreprise toute entière.

Mesuré·e, quantifié·e — c’est-à-dire réduit·e à des chiffres et des indicateurs —, l’employé·e data-driven n’a pour seule fonction que de maximiser ses performances et la plus-value qu’il ou elle produit pour le bénéfice d’une entreprise qui aspire à une omniscience quasi-divine. Et s’il faut pour cela mesurer également le bien-être émotionnel de ses employé·e·s, afin d’optimiser leur bonheur pour qu’ils et elles soient plus productives, ainsi soit-il.

Surveiller au travail, et au-delà

Cette logique de contrôle qui se pare des voiles d’une productivité joyeuse et épanouissante peut également servir à une surveillance répressive des salarié·e·s. Amazon se distingue régulièrement en la matière, par exemple avec la surveillance des conducteur·ice·s de camions de livraisons par un logiciel d’intelligence artificielle aux États-Unis, l’usage d’un logiciel qui suit automatiquement l’activité de chaque personne en mesurant le nombre de colis scannés et qui peut décider de licencier automatiquement les moins productives ou encore, en 2018, le dépôt de deux brevets pour un bracelet permettant de surveiller les mouvements des mains des employé·e·s dans les entrepôts.

Plus récemment, l’entreprise états-unienne Teleperformance, dans le contexte du travail à distance imposé par les mesures contre la pandémie de covid-19, a fait pression sur les personnes qu’elle emploie afin qu’elles acceptent d’être surveillées chez elles. Apple, quant à elle, d’après une fuite interne datant de juin 2021, équiperait certaines de ses équipes de caméras corporelles semblables aux modèles utilisés par la police dans le but de les empêcher de divulguer des informations confidentielles.

La logique de la surveillance à des fins sécuritaires encourage le déploiement d’outils visant à mesurer les personnes et les comportements dans l’espace public aussi bien que privé. C’est le mythe de la « Smart City » décortiqué récemment dans l’un de nos articles ou encore les expérimentations de la vidéosurveillance biométrique dans les supermarchés pour détecter les vols.

Mesurer les comportements des utilisateur·ice·s d’un logiciel pour améliorer le produit et maximiser les profits de l’entreprise ; mesurer les comportements des travailleur·se·s pour contrôler leur productivité, quitte à s’inviter dans la sphère privée lorsque le travail se fait depuis chez soi ; mesurer les comportements jugés illégaux ou anormaux dans l’espace public afin d’assurer l’ordre public. Que cela soit à des fins de profits ou à des fins sécuritaires, il s’agit à chaque fois de la même logique : collecter des données, beaucoup de données ; en automatiser l’analyse, au moyen notamment de logiciels d’intelligence artificielle ; les utiliser comme outil de contrôle et de prédiction des comportements humains, selon des critères décidés par les personnes qui détiennent le pouvoir et qui n’hésitent pas à citer en modèle le regard omniscient de Dieu sur l’univers :

« Nous commençons à créer ce que j’appelle la « vision de Dieu » d’une organisation. Bien qu’elle puisse sembler d’ordre spirituel, cette vision s’appuie sur des preuves et des données. C’est une vision magnifique et elle va changer la manière dont les organisations fonctionnent.  » 3[Note 3] Alex « Sandy » Pentland, The New Science of Building Great Teams, Apr 2012 https://hbr.org/2012/04/the-new-science-of-building-great-teams (consulté le 03/09/2021) « We are beginning to create what I call the “God’s-eye view” of the organization. But spiritual as that may sound, this view is rooted in evidence and data. It is an amazing view, and it will change how organizations work. » <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_3').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });

« Il y a chez LEIBNIZ cette hypothèse que « Dieu calcule pour nous le meilleur monde possible » et il y a donc quelque chose d’une option presque prométhéenne qui nous permet de revisiter la conception du monde de LEIBNIZ à travers l’intelligence artificielle qui nous donnerait la capacité de réaliser nous-mêmes ce calculet à travers en effet des machines apprenantes de pouvoir parcourir beaucoup plus rapidement les chemins du malheur pour choisir le bon chemin beaucoup plus tôt et beaucoup plus rapidement. C’est prométhéen dans ce que cela comporte d’ambivalence, c’est une chance inouïe d’accélérer le calcul réservé à Dieu chez LEIBNIZ, c’est une responsabilité énorme d’avoir dans notre main cette possibilité de le faire. »

Emmanuel Macron, Discours du Président de la République sur l’intelligence artificielle, 29 mars 2018

Un monde sans mesure ?

Pourquoi donc ne voudrions-nous pas de ce monde quantifié, mesuré « objectivement » qui nous livrerait avec un haut degré de certitude et de précision une représentation de notre réalité, comment nous nous comporterions, comment nous ressentirions et quelles seraient les prochaines actions ou comportements que nous devrions adopter pour faire progresser le bonheur et le bien-être de l’humanité ?

Si d’aventure nous résistons aux méthodes data-driven, alors c’est que nous serions dans le déni et que nous préférerions les bonnes histoires aux faits vérifiables et bien tangibles. Bref, que nous serions réfractaires aux lumières rationnelles que les données nous apportent.

Il ne s’agit pas pour autant de dénier à ces méthodes certains de leurs intérêts. À une collecte effrénée de plus en plus de données, peut être opposée une pratique de collecte minimaliste, réduite au strict nécessaire, limitée dans le temps et soumise systématiquement au consentement des utilisateur·ice·s au cas par cas. On peut également penser à la collecte de données à des fins d’intérêt partagé — comme la protection de la vie privée ou de l’intégrité des personnes — avec la question de la gestion responsable et collective de ces données. Enfin certain·e·s mettent en œuvre une approche critique d’analyse des données et parlent de décisions data-informed plutôt que data-driven. Il s’agit tout compte fait d’appliquer les principes de la démarche scientifique : formuler des hypothèses basées sur l’intuition, l’expérience ou une observation et chercher à les vérifier en testant. L’analyse manuelle ou automatisée de données est l’un des moyens possibles pour vérifier ces idées.

Refuser le meilleur des mondes

Il s’agit donc, certes, de poser la question de la finalité de la collecte des données, mais également celle du modèle politique de la société que la télémétrie effrénée participe à façonner : un environnement rassurant, sécurisé, bien calibré, où tout serait anticipable et anticipé. C’est-à-dire un monde qui contraindrait des caractéristiques profondément humaines et volatiles : la spontanéité, l’imprédictibilité des émotions, l’imagination et l’expérimentation.

Pour lutter contre, encourageons-nous à faire des expériences inattendues, justement. Pourquoi pas en (ré)-introduisant du hasard et de l’imprédictibilité dans nos comportements, par exemple sur le modèle des personnages « fous » qui jettent leurs dés chaque fois qu’ils doivent prendre une décision sur le plateau-monde de jeux d’échecs imaginé par les bédéistes Ulysse et Gaspar Gry. À l’instar de la méthode de test « monkey testing », qui consiste à utiliser un logiciel de manière aléatoire pour en éprouver les réactions, certaines attaques en sécurité informatique pourraient, assez ironiquement, nous servir d’inspiration pour déjouer les prédictions des systèmes automatisés : car « modifier légèrement les données de manière malveillante détériore considérablement la capacité prédictive du modèle ».

Comment créer autrement des outils et des technologies véritablement à notre service ? Une donnée est une information que quelque chose est arrivé, un fait. La connaissance, elle, désigne la conscience et la compréhension que l’on peut avoir de quelque chose ou de quelqu’un. Il s’agirait alors de nous détourner de ces « données » unitaires et parcellaires pour favoriser la compréhension par la communication directe et l’écoute de ce que les gens ont à partager. Citons ainsi pour finir les mots de Josh Andrus, designer UX :

«  Pour résoudre un problème pour n’importe quel groupe d’êtres humains, nous devons nous familiariser avec leur environnement, comprendre la manière dont ils et elles voient le monde. L’art de ré-équilibrer les positions de pouvoir dans n’importe quelle relation est la clé pour créer une expérience sûre, libre, inclusive, équilibrée dans laquelle toutes les personnes participent pleinement. […] Si nous pouvons nous concentrer à faire en sorte que les gens se sentent entendus, compris, et à créer un lien émotionnel durable, nos objectifs globaux d’obtenir les informations les plus sincères et les plus exactes possibles à propos des comportements et des attitudes de l’utilisateur·rice viendront de manière authentique et naturelle. » 4
[Note 4] :
Josh Andrus, Making a Real Connection to Users, Nov 17, 2020
https://uxdesign.cc/making-a-real-connection-to-users-75fd64053dea
(consulté le 03/09/2021)
« To solve a problem for any group of people, we need to make ourselves familiar with their environnement and understand the way they see the world. The art of balancing power in any relationship is key to creating a safe free, inclusive, balanced journey in which all members fully participate.
[…] If we can focus on making people feel heard, understood, and create a lasting emotional connection, our overarching goals to get the most honest and accurate information about the user’s behaviors and attitudes will come a genuine and natural place.
»
<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17630_2_4').tooltip({ tip: '#footnote_plugin_tooltip_text_17630_2_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });

References

References
1
[Note 1]  : Alain Desrosières, Pour une sociologie historique de la quantification, Chapitre 1.
https://books.openedition.org/pressesmines/901
(consulté le 03/09/2021)
« L’idée de mesure, inspirée des sciences de la nature, suppose implicitement que quelque chose de bien réel, déjà existant, analogue à la hauteur du Mont Blanc, peut être « mesuré », selon une métrologie réaliste. En revanche, le verbe quantifier implique une traduction, c’est-à-dire une action de transformation, résultant d’une série d’inscriptions, de codages et de calculs, et conduisant à une mise en nombre. Celle-ci contribue à exprimer et faire exister sous une forme numérique, par mise en œuvre de procédures conventionnelles, quelque chose qui était auparavant exprimé seulement par des mots et non par des nombres. Pour refléter cette distinction entre la chose et son expression numérique, on parle souvent d’indicateur, par exemple pour l’inflation, le chômage, la pauvreté, les violences faites aux femmes, ou le développement humain des pays de l’ONU. »
2
[Note 2] : Alex « Sandy » Pentland, The New Science of Building Great Teams, Apr 2012
https://hbr.org/2012/04/the-new-science-of-building-great-teams
(consulté le 03/09/2021)
« […] generate more than 100 data points a minute and work unobtrusively enough that we’re confident we’re capturing natural behavior. (We’ve documented a period of adjustment to the badges: Early on, people appear to be aware of them and act unnaturally, but the effect dissipates, usually within an hour.) »
3 [Note 3] Alex « Sandy » Pentland, The New Science of Building Great Teams, Apr 2012 https://hbr.org/2012/04/the-new-science-of-building-great-teams (consulté le 03/09/2021) « We are beginning to create what I call the “God’s-eye view” of the organization. But spiritual as that may sound, this view is rooted in evidence and data. It is an amazing view, and it will change how organizations work. »
4
[Note 4] :
Josh Andrus, Making a Real Connection to Users, Nov 17, 2020
https://uxdesign.cc/making-a-real-connection-to-users-75fd64053dea
(consulté le 03/09/2021)
« To solve a problem for any group of people, we need to make ourselves familiar with their environnement and understand the way they see the world. The art of balancing power in any relationship is key to creating a safe free, inclusive, balanced journey in which all members fully participate.
[…] If we can focus on making people feel heard, understood, and create a lasting emotional connection, our overarching goals to get the most honest and accurate information about the user’s behaviors and attitudes will come a genuine and natural place.
»
<script type="text/javascript"> function footnote_expand_reference_container_17630_2() { jQuery('#footnote_references_container_17630_2').show(); jQuery('#footnote_reference_container_collapse_button_17630_2').text('−'); } function footnote_collapse_reference_container_17630_2() { jQuery('#footnote_references_container_17630_2').hide(); jQuery('#footnote_reference_container_collapse_button_17630_2').text('+'); } function footnote_expand_collapse_reference_container_17630_2() { if (jQuery('#footnote_references_container_17630_2').is(':hidden')) { footnote_expand_reference_container_17630_2(); } else { footnote_collapse_reference_container_17630_2(); } } function footnote_moveToReference_17630_2(p_str_TargetID) { footnote_expand_reference_container_17630_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_17630_2(p_str_TargetID) { footnote_expand_reference_container_17630_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

La loi Drones 2 est docilement adoptée par l’Assemblée

jeudi 23 septembre 2021 à 16:42

L’Assemblée nationale vient d’adopter une nouvelle loi pour légaliser l’usage de drones de surveillance par la police. Alors que le texte est quasiment identique à celui censuré par le Conseil constitutionnel en début d’année, les parlementaires n’ont pas hésité à le voter une nouvelle fois. C’est une énième preuve qu’il n’y a rien à attendre du Parlement pour nous protéger des dérives sécuritaires du gouvernement. La lutte contre la Technopolice ne se fera pas sur les bancs de l’Assemblée.

Nous en parlions ici : après s’être vu à quatre reprises refuser le droit de surveiller la population avec des drones, le gouvernement est revenu une cinquième fois à l’attaque. Deux arrêts du Conseil d’État, une décision de la CNIL et une décision du Conseil constitutionnel n’auront pas suffit : le gouvernement est prêt à tout pour déployer des drones avec caméra dans l’espace public. Les caméras fixes, les caméras « nomades », les caméras-piétons, tout cela ne lui suffit pas : il faut surveiller, toujours plus, et retransmettre les flux en temps-réel à des centres de supervision – et derrière analyser et disséquer les images, transformer nos rues et nos déambulations en données exploitables par la police.

Copier-coller

Notons tout de suite que le texte ne parle plus seulement des drones mais de tout « aéronef » utilisé par la police (alinéa 2 de l’article 8): c’est-à-dire qu’il légalise non seulement la surveillance par drones, mais aussi celle faite par hélicoptère ou par avion, une surveillance réalisée depuis longtemps par la police en toute illégalité – sans qu’aucune institution (en particulier pas la CNIL) ne soit venue la gêner (voir notre article d’analyse ici), et sans qu’aucun responsable ne soit condamné.

Le gouvernement (ou le rapporteur du texte, on ne sait plus très bien faire la différence) veut faire croire qu’il répond aux critiques du Conseil constitutionnel. Il reprend donc le même texte que l’année précédente et fait quelques modifications à la marge, des modifications trompeuses qui, comme on va le voir, n’enlèvent en rien le caractère profondément liberticide du texte.

Les finalités autorisées pour déployer un drone restent toujours aussi larges, même si le gouvernement tâche de faire en sorte que cette fois, le Conseil constitutionnel se montre plus accommodant : la police peut tout faire rentrer dans la notion de « prévention des atteintes à la sécurité des personnes et biens dans lieux particulièrement exposés », ou dans celle de « sécurité des rassemblements de personnes sur la voie publique » ou dans la « prévention d’actes de terrorisme ».

Quand bien même ces finalités seraient limitées, qui les contrôle en pratique, et qui autorise les drones ? Le représentant de l’État et, à Paris, le préfet de police. La police demande donc autorisation à la police pour utiliser des drones. Il est vrai qu’on est jamais mieux servi que par soi-même. Rappelons à ce sujet que nos deux contentieux de 2020 au sujet des drones étaient… contre le préfet de police. Et que c’est lui qui se gargarisait devant l’AFP de sa nouvelle arme technopolicière.

Autre fausse limitation : l’autorisation délivrée par le représentant de l’État prévoit un nombre maximal d’aéronefs, un périmètre géographique et une durée limitée. D’abord, le texte ajoute aussitôt une exception en cas d’urgence pour faire sauter cette limitation1« Par dérogation à cette procédure d’autorisation, lorsque l’urgence résultant d’une exposition particulière et imprévisible à un risque d’atteinte caractérisée aux personnes ou aux biens le requiert, les traitements mentionnés au présent article peuvent être mis en œuvre de manière immédiate, après information préalable, du représentant de l’État dans le département ou, à Paris, du préfet de police, qui peut y mettre fin à tout moment. Au‑delà d’une durée de quatre heures, la poursuite de la mise en œuvre du traitement est subordonnée à son autorisation expresse et ne peut excéder une durée de vingt‑quatre heures » <script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17632_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_17632_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Ensuite, hors cas d’urgence, cette limitation ne restreindra pas ce que souhaite faire la police en pratique. Si la police souhaite 200 drones pour surveiller toutes les manifestations d’une ville durant toute l’année, rien n’empêchera le préfet de l’y autoriser (si l’autorisation est en théorie limitée à 3 mois par la loi, ce délai est indéfiniment renouvelable). Et quand bien même le préfet voudrait se montrait exemplaire en n’autorisant que trois drones, limités à une zone où a lieu un rassemblement à Paris pour le durée de la manifestation, la police pourra capter un nombre extrêmement important d’informations. Et c’est encore plus vrai pour les hélicoptères ou les avions, au vu de leur puissance de captation (on en parlait aussi ici).

Ce sont donc des fausses limites, un faux encadrement. Jean-Michel Mis (LREM) (voir notre portrait) a remplacé ses collègues Fauvergue et Thourot sur ce sujet mais c’est la même entité désincarnée qui tient la plume, chaque membre de la majorité étant interchangeable avec l’autre. Les critiques formulées contre la loi « Sécurité Globale » tiennent donc toujours, elles sont accessibles ici.

Garde-à-vue et véhicules de police

Comme on l’a dit, le texte ne couvre pas que les caméras volantes mais évoque aussi de nombreux autre sujets (sur l’ensemble du texte, voir l’analyse du Syndicat de la magistrature).

Sur le sujet de la captation vidéo, le texte légalise de nouveau la vidéosurveillance en garde-à-vue. Toujours sans aucune gêne, les rapporteurs avouent que cette vidéosurveillance est pratiquée depuis longtemps mais sans cadre légal (comprendre donc que c’est totalement illégal, mais là encore, les responsables bénéficient d’une impunité systémique). Prétextant la protection de la personne placée en garde à vue, le texte veut en réalité permettre qu’une caméra soit placée en cellule pour la filmer en permanence (pour 24h avec renouvellement possible). Puisqu’on vous dit que c’est pour votre bien ?

Autre légalisation, les caméras embarquées sur les véhicules de la police et de la gendarmerie. C’est à peu près le même cadre que pour les caméras-piétons : autoriser la captation vidéo « lorsque se produit ou est susceptible de se produire un incident », c’est-à-dire que la police ou la gendarmerie pourra décider de filmer qui elle veut et quand elle veut, avec possibilité de transmission du flux vidéo en temps réel à un poste d’observation.

Autre changement majeur dans la législation, l’article 16 qui élargit les possibilités de prise de photos et d’empreinte d’une personne (notamment les mineurs) sous contrainte. Aujourd’hui la police doit, dans la grande majorité des cas obtenir le consentement des personnes pour récolter leur signalétique (empreinte, ADN, et photographie) bien que le refus de s’y soumettre soit pénalement sanctionné.

Le texte prévoit que celle-ci puisse donc relever sous contrainte les empreintes palmaires et digitales des personnes ainsi que la prise d’une photographie, on imagine par la force (voir pour plus d’informations, le volet 2, page 17 des observations du syndicat de la magistrature).

Impossible de voir une quelconque amélioration entre le texte censuré par le Conseil constitutionnel et le texte adopté : comme pour les drones, c’est le même texte, avec quelques fausses rustines.

Faux débat parlementaire

Le texte a-t-il changé entre sa présentation par le gouvernement en juillet dernier et son adoption par l’Assemblée nationale aujourd’hui ? À peine, en tous cas sur les sujets de captation vidéo. Notons simplement que leur utilisation, ainsi que celles des caméras en garde-à-vue, a été étendue par les députés à la police douanière.

De même que la loi sécurité globale avait démontré la soumissions institutionnelle du Parlement à la police (voir notre analyse), aucun espoir d’amélioration n’était à attendre des députés aujourd’hui. Dans l’ancienne loi sécurité globale, le seul effort consenti par le Parlement avait été d’interdire que les images captées par drones ne soient soumises à un traitement de reconnaissance faciale 2Sont prohibés […] l’analyse des
images issues de leurs caméras au moyen de dispositifs automatisés de reconnaissance faciale
<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17632_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_17632_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });. Cette limitation est reprise mais largement réduite : « Les dispositifs aéroportés ne peuvent […] comporter de traitements automatisés de reconnaissance faciale ». Or, s’il faut redouter une forme de reconnaissance faciale, ce n’est pas celle réalisée par le drone lui-même mais celle réalisée par les policiers depuis le poste de contrôle, sur leurs propres ordinateurs, à partir du fichier de traitement des antécédents judiciaires qui leur permet depuis 2012 de réaliser de tels traitements (voir notre analyse sur le fichier TAJ). La seule amélioration apportée par l’Assemblée nationale l’an dernier aura bien vite été supprimée aujourd’hui.

References

References
1 « Par dérogation à cette procédure d’autorisation, lorsque l’urgence résultant d’une exposition particulière et imprévisible à un risque d’atteinte caractérisée aux personnes ou aux biens le requiert, les traitements mentionnés au présent article peuvent être mis en œuvre de manière immédiate, après information préalable, du représentant de l’État dans le département ou, à Paris, du préfet de police, qui peut y mettre fin à tout moment. Au‑delà d’une durée de quatre heures, la poursuite de la mise en œuvre du traitement est subordonnée à son autorisation expresse et ne peut excéder une durée de vingt‑quatre heures »
2 Sont prohibés […] l’analyse des
images issues de leurs caméras au moyen de dispositifs automatisés de reconnaissance faciale
<script type="text/javascript"> function footnote_expand_reference_container_17632_2() { jQuery('#footnote_references_container_17632_2').show(); jQuery('#footnote_reference_container_collapse_button_17632_2').text('−'); } function footnote_collapse_reference_container_17632_2() { jQuery('#footnote_references_container_17632_2').hide(); jQuery('#footnote_reference_container_collapse_button_17632_2').text('+'); } function footnote_expand_collapse_reference_container_17632_2() { if (jQuery('#footnote_references_container_17632_2').is(':hidden')) { footnote_expand_reference_container_17632_2(); } else { footnote_collapse_reference_container_17632_2(); } } function footnote_moveToReference_17632_2(p_str_TargetID) { footnote_expand_reference_container_17632_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_17632_2(p_str_TargetID) { footnote_expand_reference_container_17632_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

Règlement IA : la Commission européenne tend le piège de la reconnaissance faciale

mercredi 22 septembre 2021 à 15:31

Le 21 avril 2021, la Commission européenne a déposé un projet de règlement sur l’intelligence artificielle. S’il prétend proposer « un cadre juridique pour une IA digne de confiance », ce règlement conduira en vérité à abaisser le niveau de protection actuellement assuré par le droit européen. Son principal risque sera d’autoriser certaines pratiques jusqu’alors interdites – au premier rang desquelles la reconnaissance faciale policière de masse.

Pour rappel, depuis 2016, l’article 10 de la directive 2016/680 interdit aux États membres de l’UE d’analyser des données biométriques à des fins policières, sauf « en cas de nécessité absolue ». Autrement dit, la reconnaissance faciale n’est possible que dans les cas exceptionnels où elle est « indispensable » – où la police ne disposerait plus d’aucun autre moyen pour lutter contre une infraction. Or, la police a systématiquement échoué à démontrer que ce cas théorique pouvait se matérialiser en pratique : si elle peut parfois être « utile », la reconnaissance faciale n’est jamais « indispensable » au travail de la police.

C’est pourquoi nous avons demandé en 2020 au Conseil d’État de supprimer la disposition du décret TAJ qui, depuis 2012, autorise la police française à recourir librement à la reconnaissance faciale (lire notre article).

Notre affaire contre le décret TAJ est encore en cours et, pour l’instant, le droit européen en vigueur depuis 2016 devrait nous donner raison. Hélas, cela pourrait changer prochainement.

La Commission européenne a déposé un nouveau projet de règlement sur l’IA dont l’article 5 entend poser de nouveaux cadres juridiques spécifiques pour certains usages de l’intelligence artificielle, notamment les « systèmes d’identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives ». Si, de prime abord, le règlement semble interdire de tels dispositifs, il s’agit d’un simple tour de passe-passe : non seulement, comme expliqué ci-avant, cette interdiction découlait déjà de la directive de 2016 mais, surtout, si le règlement fait mine de rappeler cette interdiction, c’est uniquement pour lui ajouter une nouvelle et très large exception. L’ancienne condition de « nécessité absolue » est remplacée par une mise en balance entre, d’un côté, les intérêts de la police et, de l’autre, les dommages que cette surveillance pourrait concrètement causer aux populations surveillées1Article 5, paragraphe 2 : « L’utilisation de systèmes d’identification biométriques à distance en «temps réel» dans des espaces accessibles au public à des fins répressives […] tient compte des éléments suivants : (a) la nature de la situation donnant lieu à un éventuel recours au système, en particulier la gravité, la probabilité et l’ampleur du préjudice causé en l’absence d’utilisation du système ; (b) les conséquences de l’utilisation du système sur les droits et libertés de toutes les personnes concernées, notamment la gravité, la probabilité et l’ampleur de ces conséquences. »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17622_2_1').tooltip({ tip: '#footnote_plugin_tooltip_text_17622_2_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Il faut bien mesurer l’importance de ce changement de paradigme. Jusqu’alors, avec la notion de « nécessité absolue », la charge de la preuve reposait entièrement sur la police. Elle devait démontrer au cas par cas l’impossibilité matérielle qu’elle avait de travailler sans reconnaissance faciale. En face, les populations surveillées bénéficiaient d’une présomption juridique très forte. Ces populations n’avaient pas à démontrer que cette surveillance leur causait un dommage concret, car cette surveillance était considérée comme contraire par essence aux valeurs défendues par des sociétés démocratiques. C’est ce que rappelle l’ensemble des CNIL européennes réunies, dans un avis d’une rare franchise contre le nouveau projet de règlement sur l’IA : « l’identification biométrique à distance réalisée dans le contexte de manifestations politiques est susceptible d’avoir un effet dissuasif significatif sur l’exercice des droits et libertés fondamentales, telles que les libertés de réunion et d’association et, plus généralement, le principe fondateur de démocratie […] ses graves et irréversibles effets sur les attentes (raisonnables) de la population à être anonyme dans l’espace public porteraient directement atteinte à l’exercice de la liberté d’expression, de réunion, d’association et de circulation »2Notre traduction de : « Article 5(1)(d) of the Proposal provides an extensive list of exceptional cases in which ‘real-time’ remote biometric identification in publicly accessible spaces is permitted for the purpose of law enforcement. The EDPB and the EDPS consider this approach flawed on several aspects: […] Post remote biometric identification in the context of a political protest is likely to have a significant chilling effect on the exercise of the fundamental rights and freedoms, such as freedom of assembly and association and more in general the founding principles of democracy. […] its irreversible, severe effect on the populations’ (reasonable) expectation of being anonymous in public spaces, resulting in a direct negative effect on the exercise of freedom of expression, of assembly, of association as well as freedom of movement. […]The reasoning behind the Proposal seems to omit that when monitoring open areas, the obligations under EU data protection law need to be met for not just suspects, but for all those that in practice are monitored. […] the criteria referred to under Article 5 to “qualify” the AI systems as prohibited limit the scope of the prohibition to such an extent that it could turn out to be meaningless in practice […] For all these reasons, the EDPB and the EDPS call for a general ban on any use of AI for an automated recognition of human features in publicly accessible spaces »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_17622_2_2').tooltip({ tip: '#footnote_plugin_tooltip_text_17622_2_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });.

Demain, avec le futur règlement IA, cette présomption disparaîtrait, cédant le pas à un équilibre à chercher au cas par cas entre police et population. Nous redoutons que cet équilibre, n’étant plus réajusté par l’ancienne présomption, finira toujours en défaveur de la population. En effet, il est extrêmement difficile de démontrer concrètement les dégâts systémiques causés par la surveillance de masse – c’est bien pour combler cette difficulté que le droit avait posé une présomption en faveur de la population. Au contraire, la police n’aura aucun mal à monter en épingle le moindre fait divers pour affirmer que telle ou telle technique de reconnaissance faciale serait à tout prix indispensable.

En pratique, à l’avenir, quand nous voudrons contester un système policier de reconnaissance faciale, il nous faudra probablement démontrer que ce système cause des dommages concrets à la population et que ces dommages sont plus importants que l’intérêt pour la police de recourir à ces outils. Cette démonstration particulièrement ardue sur le plan juridique, et qui pourrait suffire à nous faire perdre, ne nous est aujourd’hui nullement demandée dans notre affaire contre le TAJ – il nous suffit de pointer le fait que la police échoue à démontrer que la reconnaissance faciale est « absolument nécessaire » à son travail. À l’inverse, si le futur règlement proposé par la Commission européenne était déjà en vigueur aujourd’hui, il est bien possible que notre attaque contre le TAJ aurait déjà échoué.

Nous n’avons pas encore eu le temps d’appliquer la directive de 2016 contre la reconnaissance faciale permise dans le TAJ depuis 2012 que, déjà, nos arguments juridiques sont sur le point d’être effacés des textes de loi. Une fois que le futur règlement IA aura largement autorisé la reconnaissance faciale « en temps réel » grâce à ce terrible piège de la « balance des intérêts entre police et population », il faut redouter que ce nouveau paradigme juridique contamine l’ensemble des traitements de données biométriques, y compris ceux que le règlement IA ne vise pas encore explicitement (reconnaissance « en temps différé », détection de comportement, identification vocale, etc.).

Ce règlement IA pose d’autres problèmes que nous discuterons très prochainement. Mais, d’ores et déjà, ce terrible risque de généralisation de la reconnaissance faciale policière de masse justifie à lui seul d’exiger le retrait de cette disposition et l’application immédiate du droit existant.

References

References
1 Article 5, paragraphe 2 : « L’utilisation de systèmes d’identification biométriques à distance en «temps réel» dans des espaces accessibles au public à des fins répressives […] tient compte des éléments suivants : (a) la nature de la situation donnant lieu à un éventuel recours au système, en particulier la gravité, la probabilité et l’ampleur du préjudice causé en l’absence d’utilisation du système ; (b) les conséquences de l’utilisation du système sur les droits et libertés de toutes les personnes concernées, notamment la gravité, la probabilité et l’ampleur de ces conséquences. »
2 Notre traduction de : « Article 5(1)(d) of the Proposal provides an extensive list of exceptional cases in which ‘real-time’ remote biometric identification in publicly accessible spaces is permitted for the purpose of law enforcement. The EDPB and the EDPS consider this approach flawed on several aspects: […] Post remote biometric identification in the context of a political protest is likely to have a significant chilling effect on the exercise of the fundamental rights and freedoms, such as freedom of assembly and association and more in general the founding principles of democracy. […] its irreversible, severe effect on the populations’ (reasonable) expectation of being anonymous in public spaces, resulting in a direct negative effect on the exercise of freedom of expression, of assembly, of association as well as freedom of movement. […]The reasoning behind the Proposal seems to omit that when monitoring open areas, the obligations under EU data protection law need to be met for not just suspects, but for all those that in practice are monitored. […] the criteria referred to under Article 5 to “qualify” the AI systems as prohibited limit the scope of the prohibition to such an extent that it could turn out to be meaningless in practice […] For all these reasons, the EDPB and the EDPS call for a general ban on any use of AI for an automated recognition of human features in publicly accessible spaces »
<script type="text/javascript"> function footnote_expand_reference_container_17622_2() { jQuery('#footnote_references_container_17622_2').show(); jQuery('#footnote_reference_container_collapse_button_17622_2').text('−'); } function footnote_collapse_reference_container_17622_2() { jQuery('#footnote_references_container_17622_2').hide(); jQuery('#footnote_reference_container_collapse_button_17622_2').text('+'); } function footnote_expand_collapse_reference_container_17622_2() { if (jQuery('#footnote_references_container_17622_2').is(':hidden')) { footnote_expand_reference_container_17622_2(); } else { footnote_collapse_reference_container_17622_2(); } } function footnote_moveToReference_17622_2(p_str_TargetID) { footnote_expand_reference_container_17622_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_17622_2(p_str_TargetID) { footnote_expand_reference_container_17622_2(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }

Les drones reviennent, nous aussi

mardi 14 septembre 2021 à 14:52

Le 20 juillet 2021, le gouvernement a déposé une nouvelle loi sécuritaire qui, entre autres choses, autorisera les drones policiers. Ces mêmes drones qui, par la force de nos efforts collectifs, avaient été rejetés à quatre reprises l’an dernier. Le gouvernement s’empresse de saper nos si précieuses victoires obtenues contre sa surveillance policière.

Première victoire, mai 2020

En juillet 2019, la police nationale comptait 30 drones et 23 pilotes. Un an plus tard, ces chiffres ont été multipliés par 7 : 235 drones et 146 pilotes. En avril 2020, un appel d’offre prévoyait l’acquisition de 650 drones de plus.

Au même moment, nous publiions un tour d’horizon des drones déployés en France par la police au prétexte de la crise sanitaire. En mai 2020, nous attaquions ces usages puis obtenions une première victoire décisive devant le Conseil d’État, la plus haute juridiction administrative française : à défaut de texte spécifique pour les autoriser, ces usages sont illégaux.

Deuxième victoire, décembre 2020

Hélas, la police a laissé traîner les choses en continuant d’utiliser illégalement ses drones. Elle a attendu deux mois pour commencer à réfléchir à une manière de contourner l’interdiction posée par le Conseil d’État, prétendant développer un soi-disant système de floutage des images captées. En octobre 2020, nous attaquions de nouveau la police en visant la surveillance des manifestations parisiennes par drones, telle que nous l’avions finement documentée avec votre aide.

En décembre 2020, le Conseil d’État confirmait notre seconde victoire décisive : injonction était faite à la police parisienne d’immobiliser ses machines au sol. Au-delà du rappel qu’aucun texte n’autorisait l’usage de drone, le Conseil d’État pointait un problème juridique encore plus fondamental de cette affaire : « le ministre n’apporte pas d’élément de nature à établir que l’objectif de garantie de la sécurité publique lors de rassemblements de personnes sur la voie publique ne pourrait être atteint pleinement, dans les circonstances actuelles, en l’absence de recours à des drones ».

Troisième victoire, janvier 2021

En janvier 2021, évènement aussi rare que bienvenu, la CNIL venait en renfort pour offrir une troisième victoire contre les drones : elle sanctionnait le ministère de l’intérieur et l’obligeait à cesser tout vol de drone sur l’ensemble du territoire. Ce faisant, la CNIL confirmait aussi l’extension de nos précédentes victoires contre la police parisienne à l’ensemble du territoire français.

Ces trois premiers succès sont intervenus face à un gouvernement bien peu préparé à nos initiatives. Mais à partir d’octobre 2020, il a ouvert une stratégie bien mieux organisée et mûrie et ouvert le véritable débat avec la loi sécurité globale.

Quatrième victoire, mai 2021

Heureusement, grâce à la mobilisation impressionnante et continue d’une large partie de la population contre la loi sécurité globale, des mois durant, le discours du gouvernement sur les drones a pu être méthodiquement déconstruit. En mai 2021, actant la défaite idéologique du gouvernement, le Conseil constitutionnel a censuré les dispositions qui allaient autoriser les drones policiers. C’est la quatrième et plus importante victoire.

La plus importante car elle est idéologique. Elle s’est principalement jouée dans la rue et dans le débat public, plutôt que devant les tribunaux. Elle a permis de s’attaquer au cœur du modèle de société proposé par le gouvernement, de construire un discours populaire contre l’État policier et son monde de distanciation, où la population serait régulée de loin, comme des objets, par des caméras et des robots militarisés, sans contact ni échange humain possible (voir notre manifeste initial dénonçant une loi de surveillance de masse déshumanisée).

Cinquième bataille, maintenant

En juillet 2021, le gouvernement a lancé sa cinquième bataille en déposant un projet de loi fourre-tout qui acte notamment le retour des drones pour la police. Refusant toute remise en question, le gouvernement s’obstine à imposer son monde par la force. Il ne cherche même plus à ouvrir un débat public ni à gagner l’opinion – on le comprend, il a déjà perdu ce débat plusieurs fois. À la place, il a réintroduit ses drones au milieu d’une , la quatrième de l’année de 2021 (après la loi sécurité globale, la loi séparatisme et la loi renseignement).

Le député rapporteur de la loi sur la partie surveillance est Jean-Michel Mis, qui a prouvé être l’un des plus fiers et fidèles défenseurs de la surveillance de masse (voir notre portait). La loi est en lecture accélérée alors qu’elle contient une large série de dispositions qui n’ont rien à voir les unes avec les autres – une sorte de loi voiture balai sécuritaire pour finir le mandat Macron – bien que particulièrement complexes (amendes forfaitaires pour vol à l’étalage, fichage des mineurs étrangers, caméras en garde à vue, évolution de la CNIL) ou polémiques (en lien avec l’affaire Halimi).

Nous retrouvons le même contexte qui avait empêché le Parlement de débattre des drones dans la loi sécurité globale : une disposition noyée au cœur d’un texte fourre-tout, une procédure accélérée, un débordement législatif sécuritaire, un rapporteur aux ordres de la Technopolice…

Comment s’organiser ?

L’an dernier, l’article 24 de la loi sécurité globale (concernant la diffusion d’images de policiers) avait mis le feu aux poudres et permis d’ouvrir en dehors du Parlement un débat qui y était impossible. Pouvons-nous répéter cet exploit dans un contexte radicalement différent ?

Comme nous avons essayé de le démontrer cet été, le passe sanitaire et les drones sont les outils du même projet technopolicier. L’opposition massive au passe sanitaire pourrait-elle, à son tour, attiser l’opposition aux drones ? Et pour quels objectifs ? En cas de mobilisation populaire massive, doit-on espérer que le Conseil constitutionnel censure une nouvelle fois cette tentative d’autorisation des drones ?

L’hypothèse n’est pas absurde tant le gouvernement échoue à corriger dans son nouveau projet de loi les failles juridiques considérables de sa précédente loi (nécessité des drones non-démontrée au cas par cas, public non-informé, surveillance des lieux privés…). Toutefois, même si le Conseil constitutionnel pourrait une fois de plus se dresser en rempart de circonstance contre les drones, il nous semble imprudent de ne pas aller chercher des protections plus certaines et pérennes ailleurs.

On l’a vu, nos victoires sont encore plus puissantes quand elles se réalisent à la fois devant les tribunaux et dans la rue. Sur le long terme, pour remporter au-delà de quelques batailles, il nous faudra encore multiplier nos voies d’actions – ne pas nous arrêter aux stratégies juridiques, mais gagner aussi le monde des idées et de l’imaginaire. D’abord, il nous faudra regarder comme formant un tout nos diverses luttes contre la dystopie technologique annoncée par nos gouvernants : reconnaissance faciale, drones, passe sanitaire, safe city, analyse comportementale, automatisation et déshumanisation des rapports sociaux…

Une fois bien cerné, nous pourrons prendre ce cauchemar à deux mains, puis le jeter loin de nous, loin de nos esprits qu’il a déjà tant pollués. C’est ainsi libérées que nous pourrons renouveler notre imaginaire collectif pour y fonder un futur enviable, enfin. Un futur qui nous donnera la force de multiplier les façon de nous penser et d’agir. Il y a tant de choses à défaire, puis tant d’autres à construire, saisissons l’opportunité de cette cinquième lutte contre les drones pour bâtir bien au-delà du débat stérile imposé par nos adversaires.

Passe sanitaire : quelle surveillance redouter ?

jeudi 19 août 2021 à 13:29

Les critiques du passe sanitaire dénoncent unanimement un « danger autoritaire ». Assez justement, la CNIL elle-même présente ce danger comme « le risque d’accoutumance et de banalisation de tels dispositifs attentatoires à la vie privée et de glissement, à l’avenir, et potentiellement pour d’autres considérations, vers une société où de tels contrôles deviendraient la norme et non l’exception ». Prenons un instant pour détailler ce danger et répondre à la question : de quel type de surveillance le passe sanitaire est-il l’expression ?

Il existe déjà de nombreux « dispositifs attentatoires à la vie privée » contre la généralisation desquels nous luttons depuis des années : écoutes téléphoniques, fichage, caméras, drones, géolocalisation, logiciels espions… Pour comprendre et prévenir les dangers posés par le passe sanitaire, il faut le situer précisément au sein de cet écosystème. Certains outils de surveillance sont plus ou moins faciles à déployer, à plus ou moins grande échelle, de façon plus ou moins visible et avec des conséquences très variables. En comprenant dans quel mouvement technologique et à partir de quels outils pré-existants le passe sanitaire s’est construit, nous espérons lutter plus efficacement contre la banalisation du type de surveillance qu’il permet.

Contrôler pour exclure

Pour prendre du recul, décrivons de façon générale l’action que permet de réaliser le passe sanitaire : exclure de certains emplois, transports et lieux des personnes dont la situation diffère de certains critères fixés par l’État.

Formulé ainsi, ce mode de régulation n’a rien de nouveau. C’est notamment de cette façon que l’État français traite les personnes étrangères : l’accès aux transports vers le territoire national, puis l’accès au séjour et à l’emploi sur le-dit territoire n’est permis que si la situation des personnes étrangères est conforme à des critères fixés par l’État (situation personnelle familiale et économique, pays d’origine, âge…). Le respect des critères est vérifié une première fois en amont puis se traduit par la délivrance d’un titre : visa, cartes de séjour, etc. Ensuite, la police n’a plus qu’à contrôler la possession de ces titres pour contrôler la situation des personnes, puis leur ouvrir ou leur fermer les accès correspondants. En menaçant d’exclure du territoire ou de l’emploi les personnes ne disposant pas du bon titre, l’État déploie une lourde répression – les conséquences pour les personnes exclues sont particulièrement dissuasives.

Toutefois, jusqu’à peu, ce type de répression avait d’importantes limitations pratiques : les titres ne pouvaient être délivrés qu’avec un certain délai et à un certain coût, de nombreux policiers devaient être déployés pour les vérifier et certains policiers devaient même être spécifiquement formés pour en vérifier l’authenticité. Ces limitations expliquent sans doute en partie pourquoi ce type de répression s’est jusqu’ici centré sur des cas précis (tel que le contrôle des personnes étrangères) sans être systématiquement déployé pour gérer n’importe quelle situation que l’État souhaiterait réguler.

Le passe sanitaire est la traduction d’évolutions techniques qui pourraient supprimer ces anciennes limites et permettre à cette forme de répression de s’appliquer à l’ensemble de la population, pour une très large diversité de lieux et d’activités.

Passage à l’échelle technologique

Au cours de la dernière décennie, la majorité de la population française (84% en 2020) s’est équipée en smartphone muni d’un appareil photo et capable de lire des code-barres en 2D, tels que des codes QR. En parallèle, l’administration s’est largement appropriée les outils que sont le code-barre en 2D et la cryptographie afin de sécuriser les documents qu’elle délivre : avis d’imposition, carte d’identité électronique… Le code en 2D rend quasi-nul le coût et la vitesse d’écriture et de lecture d’informations sur un support papier ou numérique, et la cryptographie permet d’assurer l’intégrité et l’authenticité de ces informations (garantir qu’elles n’ont pas été modifiées et qu’elles ont été produites par l’autorité habilitée).

Si ces évolutions ne sont pas particulièrement impressionnantes en elles-même, leur concomitance rend aujourd’hui possible des choses impensables il y a encore quelques années. Elle permet notamment de confier à des dizaines de milliers de personnes non-formées et non-payées par l’État (mais simplement munies d’un smartphone) la mission de contrôler l’ensemble de la population à l’entrée d’innombrables lieux publics, et ce, à un coût extrêmement faible pour l’État puisque l’essentiel de l’infrastructure (les téléphones) a déjà été financée de manière privée par les personnes chargées du contrôle.

Désormais, et soudainement, l’État a les moyens matériels pour réguler l’espace public dans des proportions presque totales.

Une brique de plus à la Technopolice

La crise sanitaire a très certainement facilité ces évolutions, mais son rôle ne doit pas être exagéré. Cet emballement dramatique des pouvoirs de l´État s’inscrit dans un mouvement d’ensemble déjà à l’œuvre depuis plusieurs années, qui n’a pas attendu le coronavirus, et contre lequel nous luttons sous le nom de « Technopolice ». Il s’agit du déploiement de nouvelles technologies visant à transformer les villes en « safe cities » capables de réguler l’ensemble de l’espace public.

La Technopolice est l’expression d’évolutions technologiques qui, comme on l’a vu avec le cas du passe sanitaire, ont permis de rendre totales des formes de régulations qui, jusqu’alors, étaient plus ou moins ciblées. Prenons le cas emblématique des caméras : jusqu’à peu, la police était matériellement limitée à une politique de vidéosurveillance ciblée. Elle ne pouvait exploiter les enregistrements vidéo que pour analyser quelques situations ciblées, à défaut de pouvoir mettre un agent derrière chaque caméra 24 heures sur 24. De même, l’identification d’une personne filmée demandait des efforts importants.

Ces limitations ont depuis volé en éclat. La reconnaissance faciale rend presque triviale l’identification des personnes filmées (voir notre exposé). L’analyse automatisée d’images permet de détecter en continu tous les événements définis comme « anormaux » : faire la manche, être trop statique, courir, former un grand groupe de personnes, dessiner sur un mur… (voir par exemple les projets imaginés à Marseille ou à Valenciennes). Plus besoin de placer un agent derrière chaque caméra pour avoir une vision totale. Qu’il s’agisse du passe sanitaire ou de l’analyse d’image automatisée, dans les deux cas, la technologie a permis à des techniques ciblées de se transformer en outils de contrôle de masse de l’espace public.

Contrôle permanent des corps

Ce parallèle nous permet d’apporter une précision importante : qu’il s’agisse du passe sanitaire ou de la détection automatique des comportements « anormaux », ces systèmes ne nécessitent pas forcément un contrôle d’identité. Le logiciel d’imagerie qui signale votre comportement « anormal » se moque bien de connaître votre nom. De même, en théorie, le passe sanitaire aussi pourrait fonctionner sans contenir votre nom – c’est d’ailleurs ce que prévoyait la loi initiale sur la sortie de crise ou, plus inquiétant, ce que proposent désormais certaines entreprises en se fondant non plus sur le nom mais le visage. Dans ces situations, tout ce qui compte pour l’État est de diriger nos corps dans l’espace afin de renvoyer aux marges celles et ceux qui – peu importe leurs noms – ne se conforment pas à ses exigences.

Ce contrôle des corps se fait en continu et à tous les niveaux. D’abord pour détecter les corps jugés « anormaux », que ce soit par leur comportement, leur apparence, leur visage, leur statut vaccinal, leur âge… Ensuite pour contraindre les corps et les exclure de la société, que ce soit par la force armée de la police ou par des interdictions d’entrée. Enfin pour habiter les corps et les esprits en nous faisant intérioriser les règles dictées par l’État et en poussant à l’auto-exclusion les personnes qui ne s’y soumettent pas. Tout cela à l’échelle de l’ensemble de la population.

Une accoutumance injustifiée

L’adoption massive du passe sanitaire relève d’une bataille culturelle menée par le gouvernement visant à habituer la population à se soumettre à ce contrôle de masse. Cette accoutumance permettrait à l’État de poursuivre plus facilement sa conquête totale de l’espace public telle qu’il l’a déjà entamée avec la Technopolice.

Pourtant, paradoxalement, dans son format actuel, le passe sanitaire n’apparaît pas comme étant lui-même un outil de régulation très efficace. Il semble difficile d’empêcher les médecins qui le souhaitent de fournir des passes à des personnes qui ne devraient pas en recevoir. Et, quand bien même les passes seraient attribués aux « bonnes personnes », en l’état celles-ci peuvent facilement les partager avec les « mauvaises personnes ». Certes, la police entend réaliser des contrôles d’identité pour lutter contre ces échanges mais, si l’efficacité du système repose au final sur des contrôles de police aléatoires, il n’était pas nécessaire de déployer des mécanismes de surveillance de masse pour aller au-delà ce qui se fait déjà en la matière, par exemple avec les ordonnances manuscrites délivrées par les médecins que la police peut vérifier en cas de soupçons. Cela permettrait au moins de diminuer les risques d’accoutumance à un nouveau système de contrôle de masse.

Hélas, il semble plus sérieux d’envisager le scénario inverse : l’inefficacité du passe sanitaire pourrait servir de prétexte pour le perfectionner, notamment en permettant aux contrôleurs non-policiers de détecter les échanges de passe. Comme vu plus haut, certains proposent déjà un nouveau système affichant le visage des personnes contrôlées. Une telle évolution nous livrerait la version pleinement aboutie et efficace du système de contrôle de masse rêvé par la Technopolice – et la police n’aurait presque plus à travailler pour contrôler les passes.

Obligation de prouver la nécessité

Même dans son format le plus sophistiqué, l’efficacité du passe sur le plan sanitaire resterait toujours à démontrer – il demeure de nombreuses incertitudes, que ce soit sur la valeur des tests au bout de 72 heures, sur le taux de transmission même une fois vacciné, sur le cas des nouveaux variants, sur l’efficacité de la contrainte pour inciter la population à se faire vacciner, ou sur la durée de validité à retenir pour les tests de dépistage.

Au plan juridique et politique, et tel que nous l’avions rappelé pour StopCovid, l’État est soumis à une règle simple mais fondamentale : il a l’obligation de prouver qu’une mesure causant des risques pour les libertés fondamentales est absolument nécessaire avant de la déployer. Dans notre cas, non seulement le gouvernement n’a pas encore démontré l’efficacité du passe sanitaire mais, plus grave, il a refusé de déployer ou de tester l’efficacité de mesures alternatives qui ne causeraient aucun risque pour les libertés (telles que des campagnes de communication bienveillantes, transparentes et non-paternalistes pour inviter à se faire vacciner), ou des mesures complémentaires ambitieuses (tel que le déblocage de financements pour permettre le dédoublement des salles de classe et leur aération, ce que le gouvernement à tout bonnement écarté).

Conclusion

Résumons : le passe sanitaire illustre des évolutions technologiques qui permettent à un mode de répression ancien (la répression par l’exclusion, illustrée notamment par le contrôle des personnes étrangères) de passer d’une échelle relativement restreinte à une échelle presque totale, concernant l’ensemble de la population et de l’espace public, afin de renvoyer à ses marges les personnes qui ne se soumettent pas aux injonctions de l’État.

Si, aujourd’hui, ces injonctions ne sont que d’ordre sanitaire, il faut encore une fois redouter que ce genre d’outil, une fois banalisé, soit mis au service d’injonctions dépassant largement ce cadre. Cette crainte est d’autant plus pesante que ce processus a déjà commencé au sein de la Technopolice, qui esquisse d’ores et déjà un mode de régulation social fondé sur la détection et l’exclusion de toute personne considérée comme déviante ou comme ayant un comportement « anormal » aux yeux de l’État et des entreprises de sécurité qui définissent ensemble et de manière opaque les nouvelles normes de comportement en société.

Dernier rappel stratégique : si le gouvernement français se permet d’imposer de tels outils de détection et d’exclusion des personnes qu’il juge indésirables, c’est notamment car il peut reprendre à son compte, et redynamiser à son tour, les obsessions que l’extrême droite est parvenue à banaliser dans le débat public ces dernières années afin de traquer, de contrôler et d’exclure une certaine partie de la population. La lutte contre les risques autoritaires du passe sanitaire serait vaine si elle ne s’accompagnait pas d’une lutte contre les idées d’extrême droite qui en ont été les prémices. La lutte contre le passe sanitaire ne doit pas se faire avec, mais contre l’extrême droite et ses obsessions, qu’elles soient dans la rue ou au gouvernement.