Cette contribution invitée a été reprise du blog de Joop Beris avec l’autorisation de l’auteur.

La version française de cet article est une traduction réalisée par IA pour le blog de BeLibre.

C’est par ces mots qu’un ancien manager a ouvert mon entretien d’évaluation. C’est une question inconfortable, non seulement parce que la personne en question avait justement gravement trahi ma confiance, mais surtout parce qu’il existe un rapport de force inégal entre un collaborateur et son supérieur. Dès qu’il est question d’un rapport de force inégal, la confiance est mise sous tension, et nulle part cela n’est plus évident que dans la relation entre l’individu et l’État.

Partout dans le monde, on constate que des gouvernements, y compris ici, dans une Europe libre et démocratique, s’emploient à mettre en place à un rythme rapide toutes sortes d’infrastructures de surveillance et à relier entre eux les moyens de surveillance existants. Cela offre à ces gouvernements des possibilités inédites pour traquer criminels et terroristes, et c’est généralement l’argument avancé pour justifier la construction de ce type d’infrastructures. Et oui, qui ne voudrait pas que l’État agisse contre cela ?

# Un problème fondamental

Malheureusement, la mise en place de ce type d’infrastructures pose un problème fondamental, rarement abordé ouvertement : l’infrastructure construite aujourd’hui pour « le bien » peut demain être utilisée pour « le mal ».

Un exemple bien connu s’est produit aux Pays-Bas pendant les années d’occupation. La carte d’identité utilisée à l’époque, très difficile à falsifier, mentionnait la conviction religieuse de son titulaire. Une donnée relativement anodine en des temps plus paisibles. Mais l’occupant allemand s’en est largement servi pour repérer les Juifs néerlandais. Conserver des données n’est pas un acte neutre.

Et oui, c’est un exemple ancien, mais nous voyons actuellement aux États-Unis à quelle vitesse cela peut déraper, aujourd’hui encore. On y trouve un président démocratiquement élu qui ne semble pas faire grand cas de la démocratie et qui a transformé le service de l’immigration (ICE) en une organisation paramilitaire dotée de pouvoirs étendus. Ce service recourt largement à la surveillance de masse telle qu’elle a été mise en place par l’État.

Il n’est donc pas seulement pertinent de savoir si les concepteurs d’aujourd’hui ont de bonnes intentions. Ce qui compte aussi, c’est ce qu’un futur détenteur du pouvoir pourra faire de cette infrastructure. Les normes démocratiques peuvent évoluer, et des pays peuvent rester démocratiques en apparence alors que les valeurs de leur gouvernement changent. Si cela se produit, une infrastructure de surveillance déjà en place devient un instrument tentant pour exercer un contrôle, intimider ses opposants ou marginaliser certains groupes.

# L’asymétrie entre l’État et l’individu

Un citoyen ne peut pas chiffrer son comportement ni le dissimuler à l’État. L’inverse, en revanche, est possible pour un gouvernement. Dans un rapport de force, c’est la capacité qui compte, bien plus que l’intention. Or la technologie déplace fortement cette capacité du côté de l’État :

• Les caméras ANPR le long des routes rendent les déplacements visibles
• Des algorithmes établissent automatiquement des profils de risque, souvent à partir de jeux de données de qualité douteuse et entachés de biais
• Les croisements entre jeux de données rendent les citoyens totalement transparents, alors que l’État lui-même l’est rarement autant
• La police prédictive crée des boucles de rétroaction dans lesquelles certains groupes courent structurellement un risque accru de surveillance et d’en subir les effets négatifs

Le risque n’est pas seulement l’abus aujourd’hui, même si celui-ci guette évidemment. Un risque plus grand encore est peut-être que nous construisions une infrastructure d’abus de pouvoir dont les générations futures auront à souffrir.

# Comment faire, alors ?

Garantir la sécurité est nécessaire, cela ne fait aucun doute. Mais il y a une grande différence entre, d’une part, une enquête ciblée fondée sur des soupçons et soumise au contrôle d’un juge et, d’autre part, une infrastructure permanente qui rend toute une population surveillable, où chacun est en principe traité comme un suspect. La première a sa place dans une démocratie, la seconde dans les régimes autocratiques.

Dans plusieurs pays, on voit comment des outils de surveillance conçus autrefois pour un seul objectif sont aujourd’hui déployés à des fins totalement différentes. Le seuil pour les utiliser « temporairement » de façon plus large ne cesse de baisser. Et rien n’est aussi permanent qu’une mesure temporaire. Les garanties juridiques et les contrôles semblent en outre lents et laborieux.

Et c’est là que la confiance entre en jeu. Un État qui rend ses citoyens surveillables affirme en réalité qu’il ne leur fait pas confiance. Mais comment ce citoyen pourrait-il faire confiance à un tel État, surtout lorsque celui-ci manque de transparence et démontre régulièrement qu’il est lui-même incapable de gérer toutes ces données de manière responsable ?

La plupart des risques sont maîtrisables sans surveiller entièrement les citoyens. Et dans une véritable démocratie, il n’est pas souhaitable que les citoyens puissent être entièrement surveillés. Nous devrions plutôt construire des systèmes qui :

• ne sont pas centralisés
• ne sont pas permanents
• ne peuvent pas être étendus jusqu’au contrôle total
• ne peuvent pas analyser des schémas comportementaux complets

La démocratie est extrêmement fragile, et construire des infrastructures de surveillance ne la rend pas plus forte, mais bien plus faible. Voulons-nous créer la possibilité qu’un incident ou un changement de culture institutionnelle suffise à saper la démocratie ? Si la réponse à cette question est « non », alors nous devons nous montrer critiques envers toute infrastructure qui centralise le pouvoir, concentre les données et rend les citoyens transparents. Les événements aux États-Unis le rendent douloureusement clair.

# Confiance

La vraie question n’est pas de savoir si nous voulons utiliser la technologie contre « le mal ». Tout le monde le veut. La question est plutôt de savoir si nous voulons construire une infrastructure de contrôle total que chaque futur gouvernement ou administration européenne pourra exploiter pour surveiller tout le monde. La réalité politique aux États-Unis montre à quelle vitesse cela peut basculer, avec l’ICE comme exemple d’un système de surveillance devenu à grande vitesse piloté par l’IA, intégré à ses fournisseurs et extensible, avec toutes les conséquences néfastes que cela implique.

Si vous concentrez le pouvoir, vous ne devez pas être surpris que quelqu’un finisse un jour par en user. C’est pourquoi le seuil pour construire de telles infrastructures, tout simplement, doit être extrêmement élevé.