Les nouveaux oracles, une conversation avec Vincent Berthet et Léo Amsellem
Dans Les nouveaux oracles, Vincent Berthet et Léo Amsellem dressent un panorama des expérimentations et des usages des algorithmes prédictifs au service de la justice pénale, de la police, de la sécurité et du renseignement. Au cours de cet entretien, ils analysent la pertinence de l’approche algorithmique lorsqu’elle s’applique aux grands domaines régaliens et proposent une voie d'équilibre face à ce « nouveau défi civilisationnel ».
De manière générale, vous identifiez que la question de l’utilisation des techniques modernes d’intelligence artificielle (IA) dans la société installe de facto un match algorithme vs humain. Vous voulez en objectiver l’évaluation en rejetant les impasses que constituent le solutionnisme technologique ou la posture technophobe et vous proposez une troisième voie : une approche de la prédiction algorithmique à la fois pragmatique et positive. Pouvez-vous nous décrire en quoi consiste cette approche ?
Vincent Berthet
Nous défendons une approche pragmatique et positive de la technologie en matière de sécurité. L’approche pragmatique renvoie à deux critères : l’efficacité et l’équité. Cela renvoie au fait de comparer de façon systématique et objective l’approche humaine et l’approche algorithmique. Le critère d’efficacité c’est la performance. Par exemple, dans le cas du logiciel COMPAS qui estime le risque de récidive, cela renvoie à la question : est-ce l’humain ou l’algorithme qui est capable de mieux prédire le risque de récidive ? Donc dans ce cas on dispose d’un critère objectif et on peut objectiver la performance. Le deuxième critère qui concerne le pragmatisme est l’équité. Cela renvoie à la question des biais algorithmiques. Il s’agit de savoir si c’est l’humain ou l’algorithme qui est le plus biaisé. Je viens des sciences cognitives qui ont été ma voie d’entrée sur le sujet et beaucoup des travaux dans ce domaine gagnent à être connus. Sur ces deux aspects, nous citons dans le livre plusieurs études qui ont réalisé ce travail de comparaison sur ces deux critères (efficacité et équité) : l’étude sur le logiciel COMPAS et l’étude de Kleinberg sur la mise en détention provisoire1. Il montre dans une publication de Quaterly journal of economics que l’algorithme peut être à la fois plus efficace et plus équitable que l’humain et qu’on échappe ainsi au dilemme entre les deux. Pour nous ce genre de travail devrait être mené de manière plus systématique. L’approche positive concerne le critère des libertés car les technologies de sécurité, par définition, peuvent être attentatoires aux libertés. Il faut ici comprendre le concept de « positif » dans le sens où l’on cherche à dépasser le compromis entre la sécurité et la liberté. Nous rejoignons sur ce point une analyse de Peter Thiel en ce que si la technologie est bien conçue, elle peut échapper à ce compromis. Nous ne sommes pas enfermés dans le cadre « éthique mais peu efficace » versus « efficace mais peu éthique ».
D’ailleurs le plan pour l’IA de la Commission européenne a pour ambition de faire advenir une « IA de confiance ». Le terme de « confiance » est choisi plutôt que « IA fiable ». Y voyez-vous une volonté d’inclure cette dimension psychologique ?
La dimension de confiance révèle les craintes que génèrent les algorithmes. Mettre en avant la dimension de confiance c’est s’attaquer aux craintes relatives à l’équité et aux biais. La confiance dans les algorithmes conditionne d’ailleurs l’efficacité des algorithmes. Par exemple pour StopCovid, la première version, durant le premier confinement, n’a été que très peu téléchargée, ce qui a rendu l’efficacité de StopCovid limitée. Donc la question de la confiance conditionne en partie l’efficacité.
Léo Amsellem
Effectivement, « fiable » ne fait que référence au critère d’efficacité. C’est un élément nécessaire mais la confiance induit une étape supplémentaire. Ce n’est plus seulement une relation verticale mais c’est la capacité à faire accepter cette politique publique. À titre d’exemple, l’utilisation de l’IA dans la police ou l’administration ne doit pas être subie : il faut que les agents aient envie d’utiliser cet outil. À terme, pour que les nouvelles technologies améliorent l’action publique, il faut créer du consentement de la part des agents de l’État et donc de la confiance.
Vous rappelez que depuis 1830 et la « physique sociale » d’Adolphe Quételet, les scientifiques tentent d’extraire des régularités statistiques des événements et des comportements sociaux. L’introduction de l’IA dans la sphère régalienne s’inscrit-elle dans cette continuité historique comme un simple prolongement de tendance ou est-elle le signe d’une accélération radicale et inédite de l’utilisation de la technique dans la vie de la cité ?
Vincent Berthet
C’est toute la question de savoir s’il y a un changement de degré ou de nature. En l’état actuel des choses, cela reste un changement de degré : l’IA prolonge cette tendance ancienne à s’appuyer sur les nombres et la statistique. Cependant, elle a un potentiel disruptif par rapport à ces méthodes classiques.
Léo Amsellem
Nous n’en sommes pas encore au changement de nature. Les outils de police prédictive mobilisant de l’IA sont des améliorations incrémentales utilisant encore des cartes de chaleur. C’est un prolongement et une accélération notamment par la masse de données que l’on peut accumuler et la capacité de calcul que l’on peut mobiliser.
Les algorithmes prédictifs au service de la Justice
Au cours des trente dernières années, la justice pénale américaine a accru son utilisation des outils statistiques s’appuyant sur des bases de données historiques pour estimer le risque de récidive par exemple2. Pourtant ces risques sont depuis les années 1920 un objet d’études pour les criminologues et psychologues. Quels attraits ces solutions présentent-elles pour justifier une telle adoption de ces outils ?
Vincent Berthet
Ces tendances à la quantification du risque et à l’utilisation de la statistique dans la justice pénale remontent au début du XXème siècle notamment avec les travaux de l’école de Chicago. Aux États-Unis, il y a une cohérence de long terme d’utilisation de ces outils et les outils modernes d’IA ne font que prolonger cette tendance. L’intérêt pour la justice américaine, c’est la maîtrise de l’aléa judiciaire qui dans leur système de common law fait vraiment sens. Un jalon important de ce processus est le Sentencing Reform Act voté en 1984 qui fixe des lignes directrices dans la détermination de la peine. Libéraux et conservateurs s’accordent sur le fait qu’il y a trop d’aléa dans la détermination de la peine et que plus d’encadrement est nécessaire. Les outils de quantification et d’objectivation du risque, c’est-à-dire du niveau de dangerosité des prévenus permettent de poursuivre cette finalité très pragmatique : en donnant la possibilité de mieux évaluer le niveau de dangerosité d’un individu, ils permettent à la fois d’améliorer la sécurité publique et de désengorger les prisons (en aménageant les peines des individus les moins dangereux). Au Canada, des rapports montrent ces effets : le taux d’incarcération est nettement moindre que dans les autres pays comparables de l’OCDE.
Quel est l’état de la justice prédictive en France ? Quels sont les principaux facteurs permettant d’expliquer la différence entre les approches françaises et américaines ? Est-ce le fait de différences de systèmes juridiques (la common law favorise l’approche statistique contrairement au droit codifié de la civil law), de différences de culture juridique ou de maturité de l’écosystème technologique (open data notamment) ?
Tous ces facteurs sont importants pour expliquer les différences de pratique entre la France et les États-Unis en matière d’utilisation des outils de justice prédictive. Il y a à la fois des différences de fond entre les pays de common law et les pays de civil law. Dans les pays de common law, le droit est jurisprudentiel et le pouvoir d’appréciation du juge est nettement moindre comparé aux pays de civil law. En France, le juge a un pouvoir d’appréciation à la fois sur les faits, sur les éléments de preuves et sur la peine donc il a un pouvoir discrétionnaire très important. Ainsi, l’utilisation des outils de justice prédictive est beaucoup moins soluble dans les pays de civil law. En conséquence, ou du moins en corollaire, l’écosystème et l’ouverture des données des décisions de justice est moins avancé en France qu’au États-Unis. En France, cette question était historiquement délicate. L’ouverture des données est inscrite dans la loi depuis la Loi Lemaire de 2016 mais dans le cas des décisions de justice cela a pris beaucoup plus de temps pour un ensemble de raisons pratiques et politiques3. La voie est tracée depuis un décret de 2020 et un arrêté très récent d’avril 2021 qui fixe notamment la date d’ouverture des décisions de justice des différentes juridictions.
La justice prédictive possède ceci de paradoxal qu’elle a pour ambition de réduire l’aléa judiciaire4 (surestimation du risque, subjectivité, biais et bruit de la décision humaine telle que décrite par Daniel Kahneman) mais semble à la fois compromettre l’indépendance des juges et leur liberté d’appréciation. Peut-on résoudre ce conflit ?
Nous avons en quelque sorte deux extrêmes théoriques : nous aurions, d’un côté, le juge dans les pays de civil law qui a un pouvoir d’appréciation et de discrétion très important pour prendre sa décision et de l’autre une justice entièrement automatisée où les décisions de justice seraient prises par des algorithmes. Entre ces deux extrêmes, il y a des intermédiaires. Concrètement, aux États-Unis, la recommandation de l’algorithme est fournie au juge. La subjectivité du juge reste donc toujours importante car il a la possibilité de prendre en compte ou non cette recommandation de l’algorithme. Ce qui est certain, c’est que la décision judiciaire doit rester humaine. Cela rejoint un peu la question sur la confiance évoquée plus haut. Peu de justiciables accepteraient d’être jugé par un algorithme. Quand bien même l’aléa judiciaire existe, on préfère subir cette erreur lorsqu’elle provient d’un humain plutôt que quand elle provient de la machine.
Les algorithmes prédictifs au service de la police
Par essence, l’action de la police est une action ex post, principalement orientée vers la répression des crimes et des délits. En quoi le changement de paradigme qu’introduit la justice prédictive compromet-elle cette approche en la faisant glisser vers une action ex ante, que vous qualifiez de « philosophie Minority Report« ?
Léo Amsellem
La police a effectivement un rôle répressif même si elle a aussi vocation à prévenir certains comportements. Ainsi, un radar va sanctionner un automobiliste qui roule trop vite mais va aussi en dissuader d’autres d’adopter ce comportement. Avec ces nouvelles technologies, on observe un basculement vers l’action ex ante, c’est la promesse d’actions préventives voire vers une philosophie Minority Report c’est-à-dire une action répressive ex ante : l’arrestation d’un criminel avant qu’il ne commette un acte. Dans le cas d’espèce, ce n’est pas ce qu’on fait. Les principaux logiciels de police prédictive sont plus portés sur de la prédiction de lieux où la criminalité ou les délits les plus courants vont être commis. La philosophie Minority Report reste à l’heure actuelle une promesse marketing. Nous pouvons la décrire comme un cocktail californien : la combinaison entre la science-fiction hollywoodienne et la prétention prédictive de la Silicon Valley liée à sa capacité technique. Dans les faits, on ne dispose pas d’éléments permettant de démontrer qu’il y aurait l’émergence d’une police prédictive. En se basant sur l’audit de mars 2019 de l’inspecteur général du LAPD et sur les travaux en France d’Ismaël Benslimane qui montrent que nous sommes plutôt dans le cadre d’une amélioration de systèmes déjà existants que dans l’émergence d’une véritable police prédictive. Il faut ainsi distinguer l’aspect marketing de la réalité de ces outils de gestion classique, améliorés. Ce débat gagnerait à se recentrer sur ce que sont réellement ces outils pour ne pas duper les forces de police qui vont l’utiliser ni les citoyens qui vont en bénéficier ou le subir. L’exemple français que l’on a de cela, c’est notamment une expérimentation dans l’Oise par la gendarmerie de PredVol, un logiciel qui devait anticiper les vols de voitures avec une forte ambition prédictive. Après une expérience peu concluante, les forces de gendarmerie ont préféré un outil plus standard de visualisation de données, Paved.
Dans l’approche pragmatique que vous promouvez, une évaluation scientifique et transparente de l’efficacité des outils est essentielle. Or vous notez que ces méthodes au service de la police revêtent des réalités très différentes selon les conditions de leur utilisation ou de l’enregistrement des données d’entraînement des modèles d’IA ce qui complexifie leur l’évaluation. Concevoir un audit pertinent5 ne reviendrait-il pas à devoir comprendre avec précision la chaîne causale de phénomènes sociaux complexes ou de facteurs organisationnels dans la police pour prédire la délinquance ?
La question de l’évaluation dans la perspective pragmatique qu’on essaye de développer est effectivement cruciale. Pour réaliser le calcul coût-efficacité, il faut pouvoir estimer l’efficacité. Or cette estimation est soumise à plusieurs limitations : d’abord, l’aspect d’autoévaluation c’est-à-dire le fait que le code ne soit pas public pour une majorité de ces systèmes développés par le secteur privé limite la recherche sur ces outils. De plus, ce sont les forces de police elles-mêmes qui fournissent au logiciel leur estimation de l’efficacité qu’elles pensent avoir obtenu grâce à son utilisation. Or comme on le disait, il y a deux éléments. Il y a a la fois le fait de réprimer un flagrant délit et le fait de le prévenir. Or en envoyant les forces de police dans les zones très criminogènes, elles peuvent souvent valider la prédiction du logiciel en pensant qu’elles ont empêché un crime de se produire. Le succès est donc garanti à tous les coups pour le logiciel. Un second obstacle à l’évaluation réside dans le fait que l’algorithme de machine learning ne peut estimer une chaîne causale entre différents éléments sociaux en exploitant uniquement de grandes bases de données pour régulariser des statistiques. On essaye de prédire le dernier maillon de la chaîne et donc l’évaluation ne porte pas tant sur la prédiction de l’algorithme que sur le résultat final. Enfin, il faut être au clair sur le critère d’efficacité : appréhender davantage de délinquants ou rassurer la population et prévenir les crimes par exemple. Cela relève davantage d’une question politique que technique qui n’est pas assez posée. Enfin, le problème de la qualité de l’enregistrement des données par les forces de police constitue aussi en lui-même un obstacle. En France, nous avons un problème profond relatif aux statistiques de la délinquance : l’outil que l’on utilise, l’état 4001, est très critiquable en lui même et extrêmement biaisé et nous avons un problème de culture statistique illustré récemment par la suppression de l’Observatoire National de la Délinquance et des Réponses Pénales (ONDRP) qui faisait de la statistique pour les forces de sécurité intérieure. Nous ne sommes donc pas en capacité de mettre en œuvre et d’évaluer ces logiciels pour l’instant.
Si vous rappelez que la puissance publique n’a pas attendu l’avènement de l’IA pour prendre des dispositions de contrôle ex ante en matière de sécurité (Children Act adopté au Royaume-Uni en 1989 ou loi française du 25 février 2008 sur la rétention de sûreté, ou fichier S), vous identifiez un danger supplémentaire dans l’utilisation d’une technologie guidant les actions de police et qui aurait été entraînée sur des données historiques : celui de la prophéties autoréalisatrice, de l’effet de rétroaction ou encore de « l’effet de cliquet ». Quels en sont les ressorts et les conséquences pour la société ?
La logique prédictive préexiste à ces technologies. Ce risque est donc presque contre-intuitif dans le sens où on s’attendait à ce que l’utilisation d’outils mathématiques permette une plus grande neutralité, une absence de biais mais ce n’est pas ce que l’on constate dans les faits. Le ciblage des zones criminogènes par ces outils est souvent corrélé avec les lieux de vie des populations les plus défavorisées. En particulier, comme le montre la recherche, aux États-unis l’action de la police se concentre sur les minorités surreprésentées dans les faits de délinquance constatés. Or en concentrant l’action de police sur une minorité de la population surreprésentée dans les faits de délinquance, on finit par incarcérer cette population dans une proportion elle-même surreprésentée par rapport à la criminalité réelle de cette sous-catégorie de population dans le total. C’est la conclusion de travaux de Bernard Harcourt, qui théorise les effets de cliquet (Cathy O’Neil parle d’effet de rétroaction pour évoquer le même processus). L’effet de cliquet ou de rétroaction signifie qu’il n’y a ensuite plus de retour possible et on enferme ces populations dans un processus sécuritaire et répressif. Nous pouvons compléter cette analyse avec des travaux de sociologie, notamment ceux de Tracey Meares de Yale law school, qui montrent que la prison n’a pas de vertu réhabilitative. En conséquence, en concentrant l’action de police sur ces quartiers, réduit-on vraiment la délinquance ou appréhende-t-on davantage de délinquants qui ressortent, et récidivent, contribuant ainsi à la paupérisation, à la précarisation dans ces quartiers ? Dès lors, ce cercle vicieux constitue un effet performatif, autoréalisateur évoqué dans la question et qui a un côté déterministe car assigne un étiquetage social dont il est difficile de se départir à la fois pour les individus et pour les quartiers en question. Soulignons toutefois que ce phénomène est antérieur à l’utilisation de l’IA. Ce risque peut cependant être renforcé par ces outils. Pour Bilel Benbouzid, un chercheur français qui s’intéresse à ce sujet, l’utilisation de ces outils est politiquement marquée.
Les algorithmes prédictifs au service du renseignement
Le renseignement représente un exemple typique pour illustrer le concept de management scientifique où les outils algorithmiques sont conçus pour compléter l’expert humain afin d’optimiser le temps disponible des équipes et l’action des services. Cependant, le cadre restreint dans lequel les prédictions des modèles d’IA sont valides ne suffit pas pour prendre une décision qui découle d’une stratégie multifactorielle. Quelle est l’approche des services de renseignements pour résoudre cette question et bénéficier de la puissance prédictive de l’IA ?
Les services de renseignement sont effectivement pionniers dans l’utilisation de ces techniques mais à nouveau il faut noter que ces outils restent des outils d’aide à la décision. Par exemple, l’analyse d’image pour chercher un suspect nécessite de visionner des centaines d’heures de vidéos de caméras de surveillance pour retracer son itinéraire. On peut soit mettre des dizaines d’agents qui vont travailler laborieusement sur plusieurs jours soit utiliser les systèmes de reconnaissance faciale et sélectionner pour les enquêteurs les segments qui seront intéressants. Il y a donc davantage une certaine complémentarité plus qu’une opposition entre l’humain et l’algorithme. De la même façon, pour l’analyse des métadonnées, il ne faut pas opposer le renseignement technique et le renseignement humain. En quelque sorte, le « Big Data » rend possible la citation du général Keith Alexander qui dit que le plus simple pour trouver l’aiguille dans la botte de foin c’est de contrôler toute la botte de foin. Ceci serait impossible avec un renseignement uniquement humain. L’algorithme fait remonter les informations pertinentes et fait gagner du temps aux enquêteurs. Ces informations sont ensuite passées au peigne fin de l’expertise humaine par du profilage classique.
Il faut toutefois reconnaître que nous ne disposons pas de chiffres ou d’éléments statistiques, eu égard à la mission de souveraineté de ces services, pour trancher définitivement la question. Finalement, il faut s’en remettre, pour trouver cet équilibre, à des institutions spécialisées qui doivent avoir un meilleur accès aux chiffres et aux méthodes des services, comme la délégation parlementaire au renseignement (DPR) ou l’inspection des services de renseignements (ISR).
En France, vous soulignez qu’il a été confié à Palantir, une entreprise américaine financée par la CIA, l’analyse de métadonnées issues d’opérateurs de télécommunication, dont dépendraient la souveraineté de la France et la sécurité de ses citoyens faute d’une solution française compétitive. De même, la collaboration sur la vidéoprotection entre la Mairie de Nice et une startup israélienne illustre l’absence de leader mondial français sur la reconnaissance faciale. Quels sont les enjeux que l’irruption d’une technologie telle que l’IA dans les domaines régaliens fait peser sur le développement de champions industriels français et européens ?
Ce constat, qui est le bon, est lié à deux éléments : d’une part une position principielle en France qui regardait avec beaucoup de circonspection l’utilisation de ces outils d’analyse de la donnée et d’autre part à un déficit d’innovation et de culture stratégique. Ces systèmes se développent sur le temps long a partir de bases de données qu’il faut constituer. De plus, il y a du capital humain à former. Une fois ces étapes préliminaires passées, il y a un vrai avantage comparatif. En 2015, Palantir est la meilleure sur le marché. La France, subissant de plein fouet la vague d’attentats terroristes brutalement a besoin d’analyse des métadonnées. Deux choix s’offrent alors aux décideurs : soit développer une solution interne et dire aux français que les capacités de défense françaises vont mettre dix ans à être véritablement effectives ou alors signer avec Palantir, ce que la France a fait.
Cette solution devait être « transitoire » selon Nicolas Lerner, le patron de la DGSI. Cependant les choses évoluent dans le bon sens. On observe un réveil sur les questions de souveraineté. Cet été, nous nous sommes retrouvés deux fois confrontés à ce problème de souveraineté avec les affaires Pégasus et AUKUS qui illustrent la nécessité de développer davantage l’autonomie stratégique à la fois française et européenne. Ce mouvement était déjà en cours depuis l’élection de Donald Trump. Le résultat, c’est très concrètement la collaboration entre Thales et Athos pour développer Athéa qui doit remplacer à terme Palantir. L’innovation constitue également un défi majeur. Depuis 2013, l’écosystème français se développe grace aux politiques d’innovations radicales qui commencent à porter leurs fruits. Dans le domaine de la défense, le ministère des armés et la BPI collaborent sur un fond de capital risque, Definvest, pour investir dans des solutions souveraines. On retrouve le schéma de In-Q-Tel, le fond de capital risque de la CIA qui a financé Palantir. Definvest a par exemple investi dans la startup Preligens qui produit de l’analyse d’images satellitaires pour l’armée. Ils vendent leur solution aux États-Unis et au Royaume-Uni notamment. La perspective peut donc se retourner mais il faut laisser du temps à l’écosystème pour qu’il arrive à maturité.
La défense nationale ne relève pas du champ d’application du droit communautaire d’après le Traité sur l’Union européenne. Ainsi le RGPD ou l’arrêt de la Cour de Justice de l’Union Européenne d’octobre 2020 qui s’oppose à la collecte et la conservation indiscriminées et généralisées de métadonnées ne s’appliquent pas aux dispositions issues de la loi SILT de 2017 et du renseignement intérieur de 2015 qui permettent à la DGSE d’utiliser des modèles d’IA « boîtes noires » dont le processus de décision issu de l’entraînement des modèles demeure opaque pour l’opérateur humain. Quels principes de gouvernance et de supervision de ces technologies duales peut-on néanmoins mettre en œuvre pour garantir un équilibre entre la liberté et la sécurité ?
Nous avons identifié trois éléments que nous appelons la triple garantie. Premièrement, la garantie juridictionnelle, celle de l’état de droit. La loi est contrôlée par le conseil constitutionnel qui s’appuie sur un principe de proportionnalité : une mesure qui restreint un droit fondamental doit être adéquat (susceptible de permettre ou de faciliter la réalisation d’un but recherché), elle est nécessaire (elle n’excède pas le but poursuivi) et elle est proportionnée (permet de concilier les libertés et les intérêts fondamentaux de la nation et l’ordre public). En plus du conseil constitutionnel, il y a aussi le contrôle par le juge administratif. La deuxième garantie est la garantie administrative : pour la reconnaissance faciale, c’est la CNIL qui opère comme une administration indépendante. Les services d’inspection peuvent aussi jouer ce rôle de contrôle pourvu qu’il y ait cette garantie d’indépendance, ainsi que la Commission nationale de contrôle des techniques de renseignement (CNCTR). La troisième garantie est la garantie politique. Elle dépend de la délégation parlementaire au renseignement (DPR) et nous serions favorables à renforcer son pouvoir d’enquête voire de publication de la DPR. Nous avons été très intéressés par l’exemple de la commission du renseignement du Sénat américain, qui est sensiblement plus puissante et dont on pourrait s’inspirer.
En s’opposant sur des choix technologiques antagonistes, les puissances s’affrontent sur leur modèle de société et leurs stratégies d’influence. Vous décrivez la société panoptique chinoise et la politique de persécution des ouïghours, déployable à une échelle jamais atteinte, précisément grâce à la technologie. Ces nouvelles armes géopolitiques et de surveillance interne dessinent les contours de ce que vous nommez « un nouveau défi civilisationnel ». Une innovation à l’européenne garantissant un équilibre permanent entre la liberté et la sécurité et l’attachement à la règle de droit peut-elle aider les démocraties à faire la preuve de leurs d’efficacité face à aux visions intégrées et de long terme des puissances autoritaires ?
On constate effectivement que plusieurs modèles, qui résultent de l’histoire de chaque pays et des caractéristiques civilisationnelles s’affrontent. Tout l’enjeu pour nous est d’absorber ce qui nous convient sans se laisser vassaliser d’un point de vue de la technique. Il faut un encadrement par la règle de droit. On a l’exemple de la Chine d’un modèle panoptique développé à l’échelle continentale et qui ne cache pas son souhait d’exporter ce modèle. Ce modèle a 25 siècles d’ancienneté et vient du légisme. C’est l’idée qu’il faut appliquer durement la règle car les comportements individuels divergent de l’intérêt collectif. Les 200 millions de caméras en Chine sont dans la lignée de cette philosophie que le père du système, Lin Junyue décrit comme « le meilleur moyen de gérer efficacement une société ». Le compromis efficacité-liberté est très simple ici car seule l’efficacité importe. Les droits humains passent après la paix et la stabilité. D’un autre côté, on a la vision libertarienne des GAFAM américains et l’Europe se trouve entre les deux. La proposition de cadre juridique sur l’IA du 21 avril 2021 exclue d’ailleurs la notation sociale ou l’utilisation de l’IA à des fins de gestion de la liberté. L’Europe, qui s’est fondée sur le droit et par le soft power normatif, doit trouver une voie médiane entre la dystopie totalitaire chinoise et sa vassalisation par les GAFAM. Il lui faut trouver un équilibre car elle ne peut pas non plus faire l’économie de l’efficacité sous peine d’impuissance publique.
Sources
- https://cs.stanford.edu/people/jure/pubs/bail-qje17.pdf
- Dans une vingtaine d’États, les décisions de libération sous caution et/ou conditionnelle sont fondées sur des évaluations produites par des logiciels qui calculent le niveau de risque des prévenus.
- https://www.conseil-etat.fr/actualites/actualites/lancement-de-l-open-data-des-decisions-de-justice-du-conseil-d-etat-vers-toujours-plus-d-accessibilite
- Les auteurs citent les travaux de Michaël Benesty, avocat fiscaliste et ingénieur en analyse de données, qui révèlent qu’en France sur la période 2012-2015 le taux de rejet annuel des demandes d’annulation d’OQTF varie substantiellement en fonction du juge qui prend la décision.
- Ces outils ont été classés à haut risque dans la nouvelle proposition de régulation de la Commission européenne (IA Act)