{"id":122558,"date":"2021-10-06T23:09:13","date_gmt":"2021-10-06T21:09:13","guid":{"rendered":"https:\/\/legrandcontinent.eu\/fr\/?p=122558"},"modified":"2021-10-07T17:57:28","modified_gmt":"2021-10-07T15:57:28","slug":"les-nouveaux-oracles-une-conversation-avec-vincent-berthet-et-leo-amsellem","status":"publish","type":"post","link":"https:\/\/legrandcontinent.eu\/fr\/2021\/10\/06\/les-nouveaux-oracles-une-conversation-avec-vincent-berthet-et-leo-amsellem\/","title":{"rendered":"Les nouveaux oracles, une conversation avec Vincent Berthet et L\u00e9o Amsellem"},"content":{"rendered":"\n
Nous d\u00e9fendons une approche pragmatique et positive de la technologie en mati\u00e8re de s\u00e9curit\u00e9. L\u2019approche pragmatique renvoie \u00e0 deux crit\u00e8res : l\u2019efficacit\u00e9 et l\u2019\u00e9quit\u00e9. Cela renvoie au fait de comparer de fa\u00e7on syst\u00e9matique et objective l\u2019approche humaine et l\u2019approche algorithmique. Le crit\u00e8re d\u2019efficacit\u00e9 c\u2019est la performance. Par exemple, dans le cas du logiciel COMPAS qui estime le risque de r\u00e9cidive, cela renvoie \u00e0 la question : est-ce l\u2019humain ou l\u2019algorithme qui est capable de mieux pr\u00e9dire le risque de r\u00e9cidive ? Donc dans ce cas on dispose d\u2019un crit\u00e8re objectif et on peut objectiver la performance. Le deuxi\u00e8me crit\u00e8re qui concerne le pragmatisme est l\u2019\u00e9quit\u00e9. Cela renvoie \u00e0 la question des biais algorithmiques. Il s\u2019agit de savoir si c\u2019est l\u2019humain ou l’algorithme qui est le plus biais\u00e9. Je viens des sciences cognitives qui ont \u00e9t\u00e9 ma voie d\u2019entr\u00e9e sur le sujet et beaucoup des travaux dans ce domaine gagnent \u00e0 \u00eatre connus. Sur ces deux aspects, nous citons dans le livre plusieurs \u00e9tudes qui ont r\u00e9alis\u00e9 ce travail de comparaison sur ces deux crit\u00e8res (efficacit\u00e9 et \u00e9quit\u00e9) : l\u2019\u00e9tude sur le logiciel COMPAS et l\u2019\u00e9tude de Kleinberg sur la mise en d\u00e9tention provisoire <\/span>1<\/sup><\/a><\/span><\/span>. Il montre dans une publication de Quaterly journal of economics<\/em> que l\u2019algorithme peut \u00eatre \u00e0 la fois plus efficace et plus \u00e9quitable que l\u2019humain et qu\u2019on \u00e9chappe ainsi au dilemme entre les deux. Pour nous ce genre de travail devrait \u00eatre men\u00e9 de mani\u00e8re plus syst\u00e9matique. L\u2019approche positive concerne le crit\u00e8re des libert\u00e9s car les technologies de s\u00e9curit\u00e9, par d\u00e9finition, peuvent \u00eatre attentatoires aux libert\u00e9s. Il faut ici comprendre le concept de \u00ab positif \u00bb dans le sens o\u00f9 l\u2019on cherche \u00e0 d\u00e9passer le compromis entre la s\u00e9curit\u00e9 et la libert\u00e9. Nous rejoignons sur ce point une analyse de Peter Thiel<\/a> en ce que si la technologie est bien con\u00e7ue, elle peut \u00e9chapper \u00e0 ce compromis. Nous ne sommes pas enferm\u00e9s dans le cadre \u00ab \u00e9thique mais peu efficace \u00bb versus \u00ab efficace mais peu \u00e9thique \u00bb.\u00a0<\/p>\n\n\n\n La dimension de confiance r\u00e9v\u00e8le les craintes que g\u00e9n\u00e8rent les algorithmes. Mettre en avant la dimension de confiance c\u2019est s’attaquer aux craintes relatives \u00e0 l’\u00e9quit\u00e9 et aux biais. La confiance dans les algorithmes conditionne d\u2019ailleurs l\u2019efficacit\u00e9 des algorithmes. Par exemple pour StopCovid, la premi\u00e8re version, durant le premier confinement, n\u2019a \u00e9t\u00e9 que tr\u00e8s peu t\u00e9l\u00e9charg\u00e9e, ce qui a rendu l\u2019efficacit\u00e9 de StopCovid limit\u00e9e. Donc la question de la confiance conditionne en partie l\u2019efficacit\u00e9.\u00a0<\/p>\n\n\n\n Effectivement, \u00ab fiable \u00bb ne fait que r\u00e9f\u00e9rence au crit\u00e8re d\u2019efficacit\u00e9. C\u2019est un \u00e9l\u00e9ment n\u00e9cessaire mais la confiance induit une \u00e9tape suppl\u00e9mentaire. Ce n\u2019est plus seulement une relation verticale mais c\u2019est la capacit\u00e9 \u00e0 faire accepter cette politique publique. \u00c0 titre d\u2019exemple, l\u2019utilisation de l\u2019IA dans la police ou l\u2019administration ne doit pas \u00eatre subie : il faut que les agents aient envie d\u2019utiliser cet outil. \u00c0 terme, pour que les nouvelles technologies am\u00e9liorent l\u2019action publique, il faut cr\u00e9er du consentement de la part des agents de l\u2019\u00c9tat et donc de la confiance.<\/p>\n\n\n\n C\u2019est toute la question de savoir s’il y a un changement de degr\u00e9 ou de nature. En l\u2019\u00e9tat actuel des choses, cela reste un changement de degr\u00e9 : l\u2019IA prolonge cette tendance ancienne \u00e0 s’appuyer sur les nombres et la statistique. Cependant, elle a un potentiel disruptif par rapport \u00e0 ces m\u00e9thodes classiques.\u00a0<\/p>\n\n\n\n Nous n’en sommes pas encore au changement de nature. Les outils de police pr\u00e9dictive mobilisant de l\u2019IA sont des am\u00e9liorations incr\u00e9mentales utilisant encore des cartes de chaleur. C\u2019est un prolongement et une acc\u00e9l\u00e9ration notamment par la masse de donn\u00e9es que l\u2019on peut accumuler et la capacit\u00e9 de calcul que l\u2019on peut mobiliser.<\/p>\n\n\n\n Ces tendances \u00e0 la quantification du risque et \u00e0 l’utilisation de la statistique dans la justice p\u00e9nale remontent au d\u00e9but du XX\u00e8me si\u00e8cle notamment avec les travaux de l\u2019\u00e9cole de Chicago. Aux \u00c9tats-Unis, il y a une coh\u00e9rence de long terme d\u2019utilisation de ces outils et les outils modernes d\u2019IA ne font que prolonger cette tendance. L’int\u00e9r\u00eat pour la justice am\u00e9ricaine, c\u2019est la ma\u00eetrise de l’al\u00e9a judiciaire qui dans leur syst\u00e8me de common law<\/em> fait vraiment sens. Un jalon important de ce processus est le Sentencing Reform Act<\/em> vot\u00e9 en 1984 qui fixe des lignes directrices dans la d\u00e9termination de la peine. Lib\u00e9raux et conservateurs s\u2019accordent sur le fait qu\u2019il y a trop d\u2019al\u00e9a dans la d\u00e9termination de la peine et que plus d\u2019encadrement est n\u00e9cessaire. Les outils de quantification et d\u2019objectivation du risque, c’est-\u00e0-dire du niveau de dangerosit\u00e9 des pr\u00e9venus permettent de poursuivre cette finalit\u00e9 tr\u00e8s pragmatique : en donnant la possibilit\u00e9 de mieux \u00e9valuer le niveau de dangerosit\u00e9 d\u2019un individu, ils permettent \u00e0 la fois d\u2019am\u00e9liorer la s\u00e9curit\u00e9 publique et de d\u00e9sengorger les prisons (en am\u00e9nageant les peines des individus les moins dangereux). Au Canada, des rapports montrent ces effets : le taux d\u2019incarc\u00e9ration est nettement moindre que dans les autres pays comparables de l\u2019OCDE.\u00a0<\/p>\n\n\n\n Tous ces facteurs sont importants pour expliquer les diff\u00e9rences de pratique entre la France et les \u00c9tats-Unis en mati\u00e8re d\u2019utilisation des outils de justice pr\u00e9dictive. Il y a \u00e0 la fois des diff\u00e9rences de fond entre les pays de common law<\/em> et les pays de civil law<\/em>. Dans les pays de common law<\/em>, le droit est jurisprudentiel et le pouvoir d\u2019appr\u00e9ciation du juge est nettement moindre compar\u00e9 aux pays de civil law<\/em>. En France, le juge a un pouvoir d\u2019appr\u00e9ciation \u00e0 la fois sur les faits, sur les \u00e9l\u00e9ments de preuves et sur la peine donc il a un pouvoir discr\u00e9tionnaire tr\u00e8s important. Ainsi, l\u2019utilisation des outils de justice pr\u00e9dictive est beaucoup moins soluble dans les pays de civil law<\/em>. En cons\u00e9quence, ou du moins en corollaire, l’\u00e9cosyst\u00e8me et l’ouverture des donn\u00e9es des d\u00e9cisions de justice est moins avanc\u00e9 en France qu\u2019au \u00c9tats-Unis. En France, cette question \u00e9tait historiquement d\u00e9licate. L\u2019ouverture des donn\u00e9es est inscrite dans la loi depuis la Loi Lemaire de 2016 mais dans le cas des d\u00e9cisions de justice cela a pris beaucoup plus de temps pour un ensemble de raisons pratiques et politiques <\/span>3<\/sup><\/a><\/span><\/span>. La voie est trac\u00e9e depuis un d\u00e9cret de 2020 et un arr\u00eat\u00e9 tr\u00e8s r\u00e9cent d\u2019avril 2021 qui fixe notamment la date d\u2019ouverture des d\u00e9cisions de justice des diff\u00e9rentes juridictions.\u00a0<\/p>\n\n\n\n Nous avons en quelque sorte deux extr\u00eames th\u00e9oriques : nous aurions, d\u2019un c\u00f4t\u00e9, le juge dans les pays de civil law<\/em> qui a un pouvoir d\u2019appr\u00e9ciation et de discr\u00e9tion tr\u00e8s important pour prendre sa d\u00e9cision et de l\u2019autre une justice enti\u00e8rement automatis\u00e9e o\u00f9 les d\u00e9cisions de justice seraient prises par des algorithmes. Entre ces deux extr\u00eames, il y a des interm\u00e9diaires. Concr\u00e8tement, aux \u00c9tats-Unis, la recommandation de l\u2019algorithme est fournie au juge. La subjectivit\u00e9 du juge reste donc toujours importante car il a la possibilit\u00e9 de prendre en compte ou non cette recommandation de l\u2019algorithme. Ce qui est certain, c\u2019est que la d\u00e9cision judiciaire doit rester humaine. Cela rejoint un peu la question sur la confiance \u00e9voqu\u00e9e plus haut. Peu de justiciables accepteraient d’\u00eatre jug\u00e9 par un algorithme. Quand bien m\u00eame l’al\u00e9a judiciaire existe, on pr\u00e9f\u00e8re subir cette erreur lorsqu\u2019elle provient d\u2019un humain plut\u00f4t que quand elle provient de la machine.<\/p>\n\n\n\n La police a effectivement un r\u00f4le r\u00e9pressif m\u00eame si elle a aussi vocation \u00e0 pr\u00e9venir certains comportements. Ainsi, un radar va sanctionner un automobiliste qui roule trop vite mais va aussi en dissuader d\u2019autres d\u2019adopter ce comportement. Avec ces nouvelles technologies, on observe un basculement vers l\u2019action ex ante<\/em>, c\u2019est la promesse d\u2019actions pr\u00e9ventives voire vers une philosophie Minority Report<\/em> c’est-\u00e0-dire une action r\u00e9pressive ex ante<\/em> : l\u2019arrestation d\u2019un criminel avant qu\u2019il ne commette un acte. Dans le cas d’esp\u00e8ce, ce n\u2019est pas ce qu\u2019on fait. Les principaux logiciels de police pr\u00e9dictive sont plus port\u00e9s sur de la pr\u00e9diction de lieux o\u00f9 la criminalit\u00e9 ou les d\u00e9lits les plus courants vont \u00eatre commis. La philosophie Minority Report<\/em> reste \u00e0 l’heure actuelle une promesse marketing. Nous pouvons la d\u00e9crire comme un cocktail californien : la combinaison entre la science-fiction hollywoodienne et la pr\u00e9tention pr\u00e9dictive de la Silicon Valley li\u00e9e \u00e0 sa capacit\u00e9 technique. Dans les faits, on ne dispose pas d’\u00e9l\u00e9ments permettant de d\u00e9montrer qu\u2019il y aurait l\u2019\u00e9mergence d\u2019une police pr\u00e9dictive. En se basant sur l\u2019audit de mars 2019 de l\u2019inspecteur g\u00e9n\u00e9ral du LAPD et sur les travaux en France d’Isma\u00ebl Benslimane qui montrent que nous sommes plut\u00f4t dans le cadre d’une am\u00e9lioration de syst\u00e8mes d\u00e9j\u00e0 existants que dans l\u2019\u00e9mergence d\u2019une v\u00e9ritable police pr\u00e9dictive. Il faut ainsi distinguer l\u2019aspect marketing de la r\u00e9alit\u00e9 de ces outils de gestion classique, am\u00e9lior\u00e9s. Ce d\u00e9bat gagnerait \u00e0 se recentrer sur ce que sont r\u00e9ellement ces outils pour ne pas duper les forces de police qui vont l\u2019utiliser ni les citoyens qui vont en b\u00e9n\u00e9ficier ou le subir. L\u2019exemple fran\u00e7ais que l\u2019on a de cela, c\u2019est notamment une exp\u00e9rimentation dans l\u2019Oise par la gendarmerie de PredVol, un logiciel qui devait anticiper les vols de voitures avec une forte ambition pr\u00e9dictive. Apr\u00e8s une exp\u00e9rience peu concluante, les forces de gendarmerie ont pr\u00e9f\u00e9r\u00e9 un outil plus standard de visualisation de donn\u00e9es, Paved.\u00a0<\/p>\n\n\n\n La question de l’\u00e9valuation dans la perspective pragmatique qu\u2019on essaye de d\u00e9velopper est effectivement cruciale. Pour r\u00e9aliser le calcul co\u00fbt-efficacit\u00e9, il faut pouvoir estimer l\u2019efficacit\u00e9. Or cette estimation est soumise \u00e0 plusieurs limitations : d\u2019abord, l\u2019aspect d\u2019auto\u00e9valuation c\u2019est-\u00e0-dire le fait que le code ne soit pas public pour une majorit\u00e9 de ces syst\u00e8mes d\u00e9velopp\u00e9s par le secteur priv\u00e9 limite la recherche sur ces outils. De plus, ce sont les forces de police elles-m\u00eames qui fournissent au logiciel leur estimation de l\u2019efficacit\u00e9 qu\u2019elles pensent avoir obtenu gr\u00e2ce \u00e0 son utilisation. Or comme on le disait, il y a deux \u00e9l\u00e9ments. Il y a a la fois le fait de r\u00e9primer un flagrant d\u00e9lit et le fait de le pr\u00e9venir. Or en envoyant les forces de police dans les zones tr\u00e8s criminog\u00e8nes, elles peuvent souvent valider la pr\u00e9diction du logiciel en pensant qu\u2019elles ont emp\u00each\u00e9 un crime de se produire. Le succ\u00e8s est donc garanti \u00e0 tous les coups pour le logiciel. Un second obstacle \u00e0 l’\u00e9valuation r\u00e9side dans le fait que l\u2019algorithme de machine learning<\/em> ne peut estimer une cha\u00eene causale entre diff\u00e9rents \u00e9l\u00e9ments sociaux en exploitant uniquement de grandes bases de donn\u00e9es pour r\u00e9gulariser des statistiques. On essaye de pr\u00e9dire le dernier maillon de la cha\u00eene et donc l\u2019\u00e9valuation ne porte pas tant sur la pr\u00e9diction de l\u2019algorithme que sur le r\u00e9sultat final. Enfin, il faut \u00eatre au clair sur le crit\u00e8re d\u2019efficacit\u00e9 : appr\u00e9hender davantage de d\u00e9linquants ou rassurer la population et pr\u00e9venir les crimes par exemple. Cela rel\u00e8ve davantage d\u2019une question politique que technique qui n’est pas assez pos\u00e9e. Enfin, le probl\u00e8me de la qualit\u00e9 de l\u2019enregistrement des donn\u00e9es par les forces de police constitue aussi en lui-m\u00eame un obstacle. En France, nous avons un probl\u00e8me profond relatif aux statistiques de la d\u00e9linquance : l\u2019outil que l\u2019on utilise, l’\u00e9tat 4001<\/em>, est tr\u00e8s critiquable en lui m\u00eame et extr\u00eamement biais\u00e9 et nous avons un probl\u00e8me de culture statistique illustr\u00e9 r\u00e9cemment par la suppression de l\u2019Observatoire National de la D\u00e9linquance et des R\u00e9ponses P\u00e9nales (ONDRP) qui faisait de la statistique pour les forces de s\u00e9curit\u00e9 int\u00e9rieure. Nous ne sommes donc pas en capacit\u00e9 de mettre en \u0153uvre et d\u2019\u00e9valuer ces logiciels pour l\u2019instant.<\/p>\n\n\n\nD\u2019ailleurs le plan pour l\u2019IA de la\u00a0Commission europ\u00e9enne a pour ambition de faire advenir une \u00ab IA de confiance \u00bb. Le terme de \u00ab confiance \u00bb est choisi plut\u00f4t que \u00ab IA fiable \u00bb. Y voyez-vous une volont\u00e9 d\u2019inclure cette dimension psychologique ?<\/strong><\/h3>\n\n\n\n
L\u00e9o Amsellem <\/strong><\/h4>\n\n\n\n
Vous rappelez que depuis 1830 et la \u00ab physique sociale \u00bb d\u2019Adolphe Qu\u00e9telet, les scientifiques tentent d\u2019extraire des r\u00e9gularit\u00e9s statistiques des \u00e9v\u00e9nements et des comportements sociaux. L\u2019introduction de l\u2019IA dans la sph\u00e8re r\u00e9galienne s\u2019inscrit-elle dans cette continuit\u00e9 historique comme un simple prolongement de tendance ou est-elle le signe d\u2019une acc\u00e9l\u00e9ration radicale et in\u00e9dite de l\u2019utilisation de la technique dans la vie de la cit\u00e9 ?<\/strong><\/h3>\n\n\n\n
V<\/strong>incent Berthet<\/h4>\n\n\n\n
L\u00e9o Amsellem<\/strong><\/h4>\n\n\n\n
Les algorithmes pr\u00e9dictifs au service de la Justice<\/strong><\/h2>\n\n\n\n
Au cours des trente derni\u00e8res ann\u00e9es, la justice p\u00e9nale am\u00e9ricaine a accru son utilisation des outils statistiques s\u2019appuyant sur des bases de donn\u00e9es historiques pour estimer le risque de r\u00e9cidive par exemple <\/span>2<\/sup><\/a><\/span><\/span>. Pourtant ces risques sont depuis les ann\u00e9es 1920 un objet d\u2019\u00e9tudes pour les criminologues et psychologues. Quels attraits ces solutions pr\u00e9sentent-elles pour justifier une telle adoption de ces outils ? <\/strong><\/h3>\n\n\n\n
Vincent Berthet <\/strong><\/h4>\n\n\n\n
Quel est l\u2019\u00e9tat de la justice pr\u00e9dictive en France ? Quels sont les principaux facteurs permettant d\u2019expliquer la diff\u00e9rence entre les approches fran\u00e7aises et am\u00e9ricaines ? Est-ce le fait de diff\u00e9rences de syst\u00e8mes juridiques (la common law<\/em> favorise l\u2019approche statistique contrairement au droit codifi\u00e9 de la civil law<\/em>), de diff\u00e9rences de culture juridique ou de maturit\u00e9 de l’\u00e9cosyst\u00e8me technologique (open data<\/em> notamment) ?<\/strong><\/h3>\n\n\n\n
La justice pr\u00e9dictive poss\u00e8de ceci de paradoxal qu\u2019elle a pour ambition de r\u00e9duire l’al\u00e9a judiciaire <\/span>4<\/sup><\/a><\/span><\/span> (surestimation du risque, subjectivit\u00e9, biais et bruit de la d\u00e9cision humaine telle que d\u00e9crite par Daniel Kahneman) mais semble \u00e0 la fois compromettre l\u2019ind\u00e9pendance des juges et leur libert\u00e9 d\u2019appr\u00e9ciation. Peut-on r\u00e9soudre ce conflit ?<\/strong><\/h3>\n\n\n\n
Les algorithmes pr\u00e9dictifs au service de la police<\/strong><\/h2>\n\n\n\n
Par essence, l\u2019action de la police est une action ex post<\/em>, principalement orient\u00e9e vers la r\u00e9pression des crimes et des d\u00e9lits. En quoi le changement de paradigme qu\u2019introduit la justice pr\u00e9dictive compromet-elle cette approche en la faisant glisser vers une action ex ante<\/em>, que vous qualifiez de \u00ab philosophie Minority Report<\/em>\u00ab ? <\/strong> <\/h3>\n\n\n\n
L<\/strong>\u00e9o Amsellem<\/h4>\n\n\n\n
Dans l\u2019approche pragmatique que vous promouvez, une \u00e9valuation scientifique et transparente de l\u2019efficacit\u00e9 des outils est essentielle. Or vous notez que ces m\u00e9thodes au service de la police rev\u00eatent des r\u00e9alit\u00e9s tr\u00e8s diff\u00e9rentes selon les conditions de leur utilisation ou de l\u2019enregistrement des donn\u00e9es d’entra\u00eenement des mod\u00e8les d\u2019IA ce qui complexifie leur l\u2019\u00e9valuation. Concevoir un audit pertinent <\/span>5<\/sup><\/a><\/span><\/span> ne reviendrait-il pas \u00e0 devoir comprendre avec pr\u00e9cision la cha\u00eene causale de ph\u00e9nom\u00e8nes sociaux complexes ou de facteurs organisationnels dans la police pour pr\u00e9dire la d\u00e9linquance ? <\/strong><\/h3>\n\n\n\n
Si vous rappelez que la puissance publique n\u2019a pas attendu l’av\u00e8nement de l\u2019IA pour prendre des dispositions de contr\u00f4le ex ante<\/em> en mati\u00e8re de s\u00e9curit\u00e9 (Children Act<\/em> adopt\u00e9 au Royaume-Uni en 1989 ou loi fran\u00e7aise du 25 f\u00e9vrier 2008 sur la r\u00e9tention de s\u00fbret\u00e9, ou fichier S), vous identifiez un danger suppl\u00e9mentaire dans l\u2019utilisation d\u2019une technologie guidant les actions de police et qui aurait \u00e9t\u00e9 entra\u00een\u00e9e sur des donn\u00e9es historiques : celui de la proph\u00e9ties autor\u00e9alisatrice, de l\u2019effet de r\u00e9troaction ou encore de \u00ab l’effet de cliquet \u00bb. Quels en sont les ressorts et les cons\u00e9quences pour la soci\u00e9t\u00e9 ?<\/strong><\/h3>\n\n\n\n