Comment contrôler la prolifération de l’IA ? une conversation avec Robert Trager

Mardi 16 mai, Sam Altman, PDG d’OpenAI, Gary Marcus, professeur de psychologie et de neuroscience à NYU et Christina Montgomery, directrice de la protection de la vie privée et de la confiance chez IBM, ont été auditionnés par le Sénat américain au sujet des risques de l’IA générative — que la Maison Blanche considère comme sujet prioritaire. Dans un contexte mondial de concurrence technologique accrue et d’une accentuation des postures techno-nationalistes, l’audition fait suite à la cristallisation des inquiétudes concernant la sécurité, la fiabilité et le contrôle de l’IA générative. Robert Trager, professeur associé de sciences politiques à l’université de Californie à Los Angeles, également ancien enseignant à Yale et Oxford et lauréat de la bourse Olin de l’université de Harvard, décrypte ce qui s’y est réellement joué.

Après un retour sur les caractéristiques essentielles de la course internationale à l’IA qui tire les leçons de l’histoire des technologies duales, Robert Trager nous livre son analyse des points clefs de l’audition du sénat ainsi que sa vision des futurs défis relatifs à la gouvernance de l’IA.

L’audition du Sénat a lieu dans un contexte international de montée en crise de la course à l’IA. Pourriez-vous nous en décrire les principales caractéristiques ? Devrions-nous nous inquiéter d’un risque global de catastrophe liée à l’IA — un pays provoquant éventuellement une catastrophe ?

Robert Trager

Je pense que les progrès de l’IA présentent certains risques, mais je ne pense pas qu’il faille être un expert pour les apprécier. Nous avons déjà vu des conséquences préoccupantes en termes de systèmes d’IA biaisés, y compris de systèmes discriminatoires utilisés dans des processus de recrutement par exemple, ou des modèles d’IA faisant peser la menace de perpétuation d’inégalités croissantes. Nous avons également constaté que les algorithmes de recommandation pouvaient déstabiliser les sociétés et probablement créer des divisions en leur sein. Ces systèmes deviennent de plus en plus puissants et autonomes, de sorte que la sécurité publique sera probablement menacée à mesure qu’ils évolueront, et je pense donc que nous devons faire preuve de prudence.

Pour le meilleur ou pour le pire, lorsque nous faisons référence à cette course à l’IA, aujourd’hui, ce sont surtout les entreprises qui sont concernées, par opposition aux États. Mais nous aurons à nous préoccuper de ce qui se joue à l’échelle des États, car les gouvernements sont de plus en plus conscients de ces questions : par exemple, au Royaume-Uni, où je vis, le projet de développer un modèle de langage proprement britannique et souverain représente une étape importante en matière de sécurité nationale selon les décideurs. Néanmoins, aujourd’hui, ce sont vraiment les entreprises qui semblent repousser les frontières de la technologie. La préoccupation à court terme est donc de savoir comment réglementer les entreprises dans le monde entier. À un peu plus long terme, nous devrons réfléchir aux bonnes incitations à mettre en place pour que les pays ne se livrent pas à une concurrence négative et à une course vers le moins disant en matière de sécurité.

Vous rappelez que l’intensification de la concurrence technologique internationale est positivement corrélée à la volonté des acteurs géopolitiques de prendre des risques plus élevés. Comment éviter une course nivelée vers le bas ?

L’histoire nous fournit de nombreux cas où la course technologique vers le bas a été évitée : la course à la fabrication d’armes nucléaires, par exemple, a pu être encadrée par des traités et des régimes de non-prolifération efficaces. De même, la course aux armes chimiques et biologiques a probablement été contenue par des conventions sur ce type d’armes. Les contrôles à l’exportation limitent aussi la capacité de certains pays à faire la course à certaines technologies clefs ou dangereuses. Enfin, les normes scientifiques ont également pu éviter le développement des technologies de l’ADN recombinant. Il existe donc de nombreux domaines où les courses technologiques n’ont pas été le désastre que l’on aurait pu attendre en raison des dispositions multilatérales. Mais il n’est pas acquis que nous sommes toujours en mesure de pouvoir prendre ces dispositions : dans le cas des armes autonomes, par exemple, dix années de discussions aux Nations Unies n’ont pas beaucoup contribué à ralentir le rythme d’acquisition de ces armes.

Dans un article récent, vous proposez un modèle théorique pour décrire la dynamique d’une course technologique entre États. Quels sont les facteurs que vous avez identifiés et qui conduisent les différents acteurs à prendre plus ou moins de risques dans cette course ? Comment ce modèle s’applique-t-il à l’IA ?

Certains facteurs sont assez évidents. Le niveau d’hostilité, par exemple : si vous ne voulez vraiment pas que l’autre partie gagne, vous devez prendre plus de risques. Ce que nous appelons le compromis sécurité-performance est un autre facteur. Nous pensons qu’il arrive souvent que l’extension des capacités d’une technologie se fasse au détriment de la sécurité ou de la fiabilité du système. Par exemple, dans le cas d’une voiture à conduite autonome, on peut concevoir cette voiture de manière à ce qu’elle ne puisse rouler que sur les autoroutes, ce qui est peut-être assez sûr, mais ses capacités sont également inférieures à celles d’une voiture autorisée à rouler dans les rues de la ville, ce qui est peut-être aussi moins sûr. Le compromis sécurité-performance existe partout en IA. Ce compromis a un impact sur le niveau de risque, qui dépend lui-même beaucoup de l’état de l’art technologique : si, en raisons de limitations techniques, vous ne pouvez pas obtenir plus de performances en renonçant à la sécurité, alors c’est une bonne nouvelle. Le niveau global de sécurité peut alors être plus élevé. De même, si un grand sacrifice sur la sécurité ne se traduit que par un gain de performance marginal, alors c’est également une bonne nouvelle : vous ne serez probablement pas prêt à faire ce sacrifice. Un autre facteur que nous avons identifié est la proximité des concurrents dans la course technologique. 

À ce propos, vous formulez une remarque assez contre-intuitive : un investissement dans la sécurité technologique peut augmenter le niveau de risque. Pourquoi est-ce le cas et comment devrions-nous arbitrer ce compromis dans le contexte de l’IA ?

On en revient à nouveau au compromis sécurité-performance : si vous investissez dans la sécurité, vous serez davantage en sécurité à n’importe quel niveau de performance. Mais cela peut simplement vous pousser à augmenter le niveau de performance : c’est l’idée du saut en parachute en avion. Imaginez que vous vous trouvez dans un avion. Vous n’allez probablement pas prendre le risque de sauter. Mais supposons que quelqu’un vienne et dise « au fait, il y a un parachute, vous pouvez sauter ». Vous pourriez alors vous dire « oh, ça a l’air génial, j’adore sauter en parachute ». Maintenant que le saut en parachute est plus sûr, vous êtes peut-être prêt à le faire et donc à augmenter le niveau de risque pris. 

C’est une dynamique similaire que nous pouvons parfois observer lorsque nous travaillons sur la sécurité dans le contexte du compromis sécurité-performance. Pour prendre en compte ce compromis dans la recherche en l’IA, nous devrions nous demander collectivement si nous nous trouvons ou non dans une situation d’équilibre où tous ces acteurs sont en concurrence les uns avec les autres et se disent : nous allons choisir un point du compromis sécurité-performance en fonction des risques que nous sommes prêts à prendre. Les investissements dans la sécurité peuvent accroître le risque, en incitant les acteurs à déployer des versions plus dangereuses d’une technologie qu’ils ne l’auraient fait autrement. Dans ce cas, nous sommes dans une configuration où nous avons besoin d’une réglementation pour empêcher de faire d’autres compromis et de descendre encore plus bas dans l’équilibre sécurité-performance. Si, en revanche, nous sommes dans un monde où la mise en œuvre de la technologie est à la limite de nos capacités technique (le paradigme est épuisé par exemple) et où nous ne pouvons pas vraiment gagner en capacités en sacrifiant la sécurité, alors le simple fait d’améliorer la sécurité à cette limite de capacité est une bonne chose.

La course technologique en IA est aujourd’hui principalement structurée autour de la compétition entre la Chine et les États-Unis. Vous avez montré qu’une course serrée entre les différents acteurs est plus sûre qu’une course où l’un des protagonistes accuse un retard significatif mais possède une technologie capable de faire des dégâts. Comment cela s’applique-t-il à la confrontation entre la Chine et les États-Unis en matière d’IA ?

Cela se résume en grande partie à cette idée de taxe de sécurité : il peut être plus difficile de construire un système sûr et fiable que de construire un système non sûr. Dans le cas de l’IA, il est plus difficile d’entraîner un système à faire les choses pour les bonnes raisons afin qu’il continue à faire ce que vous voulez — même dans de nouveaux contextes qui sont différents de son environnement d’entraînement. Avec l’idée d’une taxe de sécurité, nous savons qu’un retardataire dans une course — disons, une course à la technologie — est plus enclin à prendre des raccourcis. Les acteurs ne trichent pas lorsqu’ils sont sur le point de gagner, ils ne le font que lorsque c’est le seul moyen de gagner et qu’ils veulent vraiment gagner. Cela signifie-t-il que la Chine ne paiera pas de taxe de sécurité si elle est en retard et qu’elle doit faire des économies pour gagner ? Dans ce cas, la question est de savoir dans quelle mesure le retardataire — disons ici, la Chine — est capable — et se sait capable — de causer des dommages.

Avant-première : le nouveau numéro Gallimard

Les clefs d’un monde cassé.

Du centre du globe à ses frontières les plus lointaines, la guerre est là. L’invasion de l’Ukraine par la Russie de Poutine nous a frappés, mais comprendre cet affrontement crucial n’est pas assez.

Notre ère est traversée par un phénomène occulte et structurant, nous proposons de l’appeler  : guerre étendue.

→ Précommandez le numéro → Découvrez toutes nos offres → Déjà abonné ? commandez le numéro précédent

Fractures de la guerre étendue : de l’Ukraine au métavers, le deuxième volume du Grand Continent paraîtra le 25 mai aux éditions Gallimard. Il est déjà disponible en précommande et dans notre offre de lancement.

Cependant, la nouvelle doctrine de Jake Sullivan est d’assumer une stratégie de découplage par rapport à la Chine. En septembre 2022, il a déclaré qu’en termes de semi-conducteurs, les États-Unis devaient conserver « une avance aussi grande que possible ». Pouvons-nous déduire de vos résultats qu’il pourrait s’agir d’une stratégie sous-optimale ?

Je ne pense pas que nous puissions déduire que la stratégie de l’administration est erronée, mais je pense que ce que nous pouvons déduire de cette modélisation devrait nous inquiéter : la Chine décidera-t-elle à un moment donné qu’elle doit gagner la course et que pour avoir une chance de gagner, il y a une taxe de sécurité qu’elle doit réduire au minimum et ne pas payer ? C’est là que réside l’inquiétude. Je pense que nous devons explorer des solutions multilatérales. Je ne pense pas que nous puissions compter sur le fait que la maîtrise d’une technologie supérieure nous protège et c’est une leçon de la guerre froide : au début de la période nucléaire, l’administration Truman était convaincue que les Soviétiques n’obtiendraient jamais les secrets de la bombe, contrairement aux scientifiques américains qui pensaient qu’ils le feraient très rapidement. L’administration américaine de l’époque a refusé de les croire et le résultat a été qu’elle était moins disposée à poursuivre le multilatéralisme dans les premiers temps de la confrontation des blocs, alors qu’elle en avait l’opportunité. 

De nombreuses analogies, plus ou moins pertinentes, peuvent être faites entre l’âge de l’IA et la période de la guerre froide. Je pense qu’au début de la guerre froide, on espérait que l’uranium et le plutonium ne seraient pas facilement disponibles pour servir la demande des pays dans le monde. On pensait que leur approvisionnement pourrait donc être contrôlé assez facilement. Quelques années plus tard, on s’est rendu compte que tel n’était pas le cas : l’uranium était distribué dans le monde entier et il n’était pas facile de le contrôler. On peut faire un parallèle avec la puissance de calcul que l’IA requiert aujourd’hui : cette puissance de calcul nécessaire à l’entraînement des modèles pourrait laisser à penser qu’il sera relativement simple d’exercer un contrôle sur la prolifération de l’IA. Cependant, avec les améliorations algorithmiques, la quantité de calcul nécessaire pour effectuer une tâche particulière est en constante diminution. Je pense donc que l’on ne sait pas dans quelle mesure cette analogie sera bonne. Un autre problème spécifique à l’IA — et qui, pour le coup, ne transparaît pas dans l’analogie avec le nucléaire — est la facilité avec laquelle certains produits à base d’IA peuvent tout simplement être volés, bien plus facilement qu’une arme nucléaire. En définitive, il ne s’agit que de logiciels et des logiciels de valeur similaire ont déjà été volés auparavant. Nous avons donc toutes les raisons de penser que certaines de ces capacités en IA seront simplement volées.

Au cours de l’audition, les sénateurs ont reconnu que le Congrès n’avait pas pris les mesures à temps pour établir la réglementation pour les réseaux sociaux. Depuis, le rythme des changements technologiques s’est accéléré avec l’IA et les progrès de cette technologie se retrouvent plus vite que jamais entre les mains des utilisateurs finaux. Comment concilier le rythme de la réglementation et de la diplomatie technologique avec celui du développement de l’IA ?

Cela a toujours été le problème. Rachel Carson disait que le problème de la réglementation dans le monde moderne est que l’on n’a tout simplement pas le temps. Nous n’avons pas le temps de déterminer les effets de la technologie et de réglementer au rythme du calendrier de développement des technologies. Il est également vrai que le Congrès a été en retard pour légiférer sur les réseaux sociaux, mais il ne semble pas qu’il soit trop tard à ce stade en ce qui concerne l’IA. Le Congrès doit insister sur l’établissement de mécanismes de transparence de ce que font les entreprises technologiques. Il peut insister pour mettre l’intérêt général au centre des décisions et que la société civile ait son mot à dire. Il doit faire appel à des parties tierces du secteur privé et aux universités pour évaluer et auditer ces systèmes. L’audit par une tierce partie a été très souvent évoqué lors de l’audition. Nous pouvons faire mieux que le statu quo actuel pour résoudre ces problèmes.

Dans le plan en trois points présenté en guise de conclusion par Sam Altman au Sénat, il a suggéré la création d’une nouvelle agence fédérale chargée d’octroyer des licences pour déployer et entraîner les grands modèles d’IA. Certains observateurs se sont inquiétés de l’impact anticoncurrentiel que cela pourrait avoir. Comment trouver le juste équilibre entre une réglementation efficace de l’IA et l’assurance qu’elle n’étouffe pas la concurrence ?

Il est légitime de craindre qu’une nouvelle agence étouffe la concurrence, mais je ne pense pas que ce sera nécessairement le cas. Certes l’agence doit veiller à éviter cet écueil lors de l’élaboration de sa politique mais l’obstacle le plus important à la concurrence dans le cas de l’IA semble être le coût financier de pouvoir opérer à la frontière technologique. Il semble que le développement d’un large language model à l’état de l’art soit prohibitif pour beaucoup d’acteurs. Je pense donc que c’est probablement un facteur plus important que la capture réglementaire pour empêcher certains petits acteurs d’entrer sur le marché. Je pense enfin qu’il doit revenir à la société de fixer les règles sur ce que les entreprises peuvent faire ou non pour moi, cela passe par l’octroi de licences. Certains pensent que l’octroi de licences n’est qu’une tentative sournoise des grandes entreprises technologiques d’empêcher la concurrence, mais ce n’est qu’une possibilité. Existe-t-il une bonne politique alternative qui soit dans l’intérêt du public ? Je ne pense pas qu’il y en ait vraiment une. L’octroi de licences me semble être la voie à suivre. Comme l’a dit le sénateur Graham lors de l’audition, c’est la solution la plus simple et elle est d’ailleurs utilisée dans d’autres secteurs.

Les trois auditionnés se sont accordés sur la nécessité de créer des organismes internationaux chargés d’établir des normes et de contrôler l’IA. Sam Altman a demandé la création d’une agence sur le modèle de l’Agence internationale de l’énergie atomique (AIEA) pour l’IA.Quelles leçons tirer de la gouvernance mondiale des armes nucléaires pour l’IA ?

L’AIEA est un groupe de pays puissants qui a fait principalement deux choses. À ses débuts, l’organisation s’est concentrée sur le développement et la diffusion de la technologie nucléaire civile pacifique. Ensuite, lorsque l’AIEA s’est vu confier le mandat du traité de non-prolifération, il s’agissait en partie pour ce groupe de pays puissants d’imposer ses intérêts au reste du monde. Je pense qu’il y a deux différences essentielles aujourd’hui avec l’IA : la première est que nous pourrions avoir besoin d’une gouvernance qui encadre non seulement tous les autres pays du monde — qui ne font pas partie des quelques pays leaders en IA — mais également qui encadre ce que les pays puissants font les uns envers les autres. La deuxième différence est le désalignement des états leaders en IA. Pendant la guerre froide, les pays du P5 à l’ONU avaient des  intérêts très similaires concernant les armes nucléaires. Ils pouvaient réfléchir au sein de l’AIEA à ce qu’ils voulaient pour le reste du monde. Cela a été particulièrement vrai après que la Chine eut acquis ses armes nucléaires dans les années 1960. Mais cet alignement des intérêts entre pays puissants n’existe pas dans le cas de l’IA. Cela signifie que les Nations unies seront un lieu plus difficile pour la coopération internationale. Nous avons de sérieux défis à relever.

L’Europe, la Chine et les États-Unis ont adopté des approches très différentes en matière de réglementation, l’Europe étant très horizontale (un texte unique qui tente de couvrir les nombreux impacts de l’IA), la Chine étant verticale (un texte différent pour les chaque types d’IA et de cas d’usage), et les États-Unis qui ne sont pas contraignants jusqu’à présent. Quels sont les enjeux de cette bataille pour la normalisation ?

Cette question du degré de centralisation de l’appareil réglementaire est la ligne de bataille du moment. Et je pense qu’il s’agit d’un débat sain. En définitive, je pense que la technologie aura son mot à dire. En la matière, la direction que prend le paradigme dominant semble être celle des foundation models, c’est-à-dire d’une technologie à usage général. Bien sûr, ils seront adaptés aux cas d’utilisation finaux,mais il s’agira tout de même de modèles toujours plus gigantesques et toujours plus généraux. Et je pense que cela implique une unité et un degré de centralisation en ce qui concerne l’approche réglementaire. C’est quelque chose que nous découvrirons probablement dans les mois à venir.