L’ingénieur du pape

Lors de la présentation de la très attendue encyclique Magnifica Humanitas au Vatican hier, figurait aux côtés et pape Léon XIV et du secrétaire d’État Parolin le cofondateur d’Anthropic, Christopher Olah. D’un de point de vue protocolaire, cette place étant d’ordinaire réservée aux représentants des États, le Saint-Siège reconnaît concrètement l’importance d’un acteur non-westphalien comme le représentant d’un géant de la Silicon Valley (« le pouvoir technologique prend ainsi un visage inédit, essentiellement privé », §5).

Pour le père jésuite Antonio Spadaro, conseiller clef du pape François, qui commentait à chaud Magnifica Humanitas, la présence d’une figure si importante de la Tech est « un geste d’une grande portée. L’encyclique elle-même lance ‘un appel particulier à ceux qui développent les intelligences artificielles’, reconnaissant que ‘l’innovation technologique peut être, d’une certaine manière, une forme humaine de participation à l’acte divin de la création’(§ 111) ». Autrement dit, le signal envoyé par Léon est clair : « l’Église ne s’exprime pas contre la Silicon Valley, mais bien avec ses acteurs les plus réfléchis. »

Alors qu’une partie des géants de la Tech ont clairement cherché à se positionner en amont de la publication de l’encyclique — Peter Thiel était même descendu à Rome pour y donner une série de leçons sur l’Antéchrist — elle intervient dans un contexte où le premier pape nord-américain doit faire face à une nouvelle crise de l’américanisme. On peut en effet faire remonter à la papauté de François cette tentative d’ingérence des États-Unis dans les affaires de l’Église, matérialisée par ce qu’Alberto Melloni qualifiait d’« option carolingienne » au moment de la première visite du vice-président des États-Unis J. D. Vance à Rome. Plus récemment, on a retrouvé cette confrontation au cœur même du mouvement MAGA : le stratège du trumpisme Steve Bannon, par ailleurs catholique, tente de fédérer une insurrection national-populiste pour plaider auprès de la Maison-Blanche une IA « MAGA-compatible ».

Comme l’explique Alessandro Aresu dans les pages de la revue, la figure d’Olah n’a pas été choisie au hasard par le Vatican : « chercheur autodidacte venu au deep learning par la vulgarisation, spécialiste de l’interprétabilité préoccupé de ce qui se passe ‘à l’intérieur’ des modèles, il incarne le versant humaniste d’une entreprise qui en a fait un argument de vente, et qui en a tiré un avantage à la fois culturel, économique et géopolitique. Là où ses concurrents cherchent la caution d’un dirigeant religieux ou les photographies de grands événements, Anthropic dépêche l’un de ses fondateurs à Rome pour formuler en termes techniques la question que l’Église se pose en termes théologiques : qu’y a-t-il dans cette intériorité nouvelle et comment la garder au service de la personne humaine ? »

Saint-Père,

Vos Éminences,

Vos Excellences,

Mesdames et Messieurs les intervenants,

Mesdames et Messieurs,

Bonjour à tous, c’est un honneur d’être ici aujourd’hui.

Je voudrais commencer par une remarque qui peut paraître étrange venant du cofondateur d’une entreprise spécialisée dans l’IA — et de quelqu’un qui a choisi ce métier par désir de contribuer au bien-être de l’humanité.

Tous les laboratoires de pointe en IA — y compris Anthropic — fonctionnent selon un ensemble d’incitations et de contraintes qui peuvent parfois entrer en conflit avec la volonté de faire ce qui est juste : la pression pour rester commercialement viable et rester à la pointe de la recherche, la pression géopolitique et les pressions plus anciennes et plus simples que sont l’orgueil et l’ambition. Peu importe la sincérité avec laquelle chacun a l’intention de faire ce qui est juste — et je crois que c’est le cas de beaucoup d’entre nous —, nous subirons toujours l’influence de ces incitations.

Christopher Olah cherche ici à faire montre de clarté au sujet d’une réalité économique : l’IA est d’abord un marché et la prise en compte de cette incitation est clef pour toute tentative de réguler son développement. L’encyclique le reconnaît d’ailleurs de manière très explicite dès les premiers paragraphes : « Par le passé, c’étaient surtout les États qui guidaient et orientaient l’innovation. Aujourd’hui, en revanche, les principaux moteurs du développement sont des acteurs privés, souvent transnationaux, dotés de ressources et de capacités d’intervention supérieures à celles de nombreux gouvernements. Le pouvoir technologique prend ainsi un visage inédit, essentiellement privé, et donc d’autant plus difficile à cerner, à réguler et à orienter vers le bien commun » (§5). Le caractère tangible de cette dimension économique explique également que Magnifica Humanitas soit réinscrite par le pape dans la continuité de Rerum novarum et de la doctrine sociale de l’Église : il ne s’agit pas seulement d’affronter les problèmes spirituels posés par l’IA, mais de comprendre la dimension sociale et économique de cette nouvelle réalité. Le discours d’Olah s’en fait l’écho de manière concrète d’autant que, comme le sous-entend son cofondateur, c’est aussi la réussite d’Anthropic qui lui donne les moyens de ses choix.

C’est pourquoi, si nous voulons que cette technologie évolue dans la bonne direction, il est extrêmement important qu’il y ait des personnes qui parviennent à se soustraire à ces incitations — des personnes qui se soucient du bon déroulement des choses et mettent en avant la sécurité, qui soient particulièrement attentives, prêtes à dire des choses difficiles, prêtes à être nos critiques sincères et réfléchies. C’est par le dialogue et l’effort mutuel, par ces tensions et ces compromis, que l’humanité accomplira de grandes choses. C’est ce que je vois dans Magnifica Humanitas, et c’est pourquoi je suis reconnaissant à Sa Sainteté et à l’Église d’avoir entrepris cette œuvre de discernement.

En saluant un travail de « discernement », le cofondateur d’Anthropic se place d’emblée dans le registre de l’encyclique. Léon XIV précise en effet que le travail entrepris par Magnifica Humanitas doit se faire au plus près des sociétés civiles, à travers non pas « un recueil de principes et de normes à appliquer, mais un chemin de discernement communautaire. » (§27)

Nous nous attardons souvent sur ce qui nous divise, mais l’humanité, pleine de dignité et de conscience, a tant de points communs. Au cours des conversations que nous avons eues chez Anthropic avec des dirigeants de différentes traditions, religieuses et culturelles, nous avons découvert une conviction partagée et profondément ancrée : si cette technologie doit voir le jour, cela doit se dérouler dans de bonnes conditions — au bénéfice de notre maison commune et des générations à venir.

Anthropic a fait assez tôt le pari de se positionner, en termes marketing, comme étant le pourvoyeur d’une IA « responsable » et « sûre », sur un créneau bien différent de celui d’OpenAI dont le PDG Sam Altman a défendu des positions maximalistes sur la transformation de l’humanité par l’IA. S’il est bien entendu que les mises en garde de Dario Amodei participent aussi d’une stratégie commerciale visant à renforcer l’influence et la centralité de sa propre entreprise, Anthropic peut désormais faire partie des interlocuteurs crédibles et légitimes pour l’Église de Léon XIV.

Ce que sont ces systèmes

Certains pourraient croire que les questions relatives à l’IA relèvent de personnes comme moi, c’est-à-dire des informaticiens. Ce serait faire erreur : les questions soulevées par cet outil dépassent le cadre de la communauté de recherche en IA, non seulement par leurs implications, mais aussi par leur nature.

Comme le fait remarquer Alessandro Aresu, le cofondateur d’Anthropic est un profil atypique y compris dans la Silicon Valley : « En 2021, Olah consacre un fil sur X (alors Twitter) à Gilead, roman de Marilynne Robinson paru en 2004 et couronné par le prix Pulitzer, construit autour des lettres qu’un pasteur âgé adresse à son jeune fils en se sachant proche de la mort. Il s’écarte du registre habituel de ses publications de chercheur : il raconte avoir lu le livre à quatorze ans, alors qu’il était croyant, et l’apprécier davantage encore à l’âge adulte, et désormais athée. L’épisode dit l’essentiel d’un esprit pour qui les questions de transmission, d’intériorité et de finitude ont été et demeurent clefs. »

Les systèmes d’IA ne sont pas conçus de la même manière qu’un pont ou un avion. Nous comprenons un avion parce que nous en avons conçu chaque partie et que nous comprenons les lois physiques qui s’y appliquent. Les modèles d’IA ne sont pas ainsi. Ils se développent sur une structure vaguement calquée sur le cerveau et à partir d’un héritage de pensée et de langage humains considérable.

Ce qui s’est développé est bien plus subtil, étrange et beau que ce à quoi la science-fiction nous avait préparés. Il n’est pas ici question des robots froids et calculateurs qu’on nous avait promis. Ils sont faits de nous, de nos mots — et, comme le fait remarquer le Saint-Père, ils restent, à bien des égards, mystérieux même pour ceux d’entre nous qui les entraînent.

Afin de vous aider à mieux comprendre, je rapproche parfois cette pratique de celle qui consiste à donner vie à un personnage de fiction. Nous entrons désormais dans un monde extraordinaire où ces personnages de fiction nous parlent, travaillent, occupent des emplois.

Cela soulève clairement des questions qui dépassent l’informatique. Les mécanismes qui rendent cela possible relèvent certes des mathématiques, de la programmation et de la science. Mais choisir tel ou tel personnage, décider comment il interagit et devrait interagir avec le monde — ce sont là, de toute évidence, des questions qui relèvent des sciences humaines, de la religion, de la philosophie, de la société dans son ensemble.

Comme le rappelle Alessandro Aresu, Christopher Olah est aussi un alumni de la Thiel Fellowship, « ce programme, fondé par Peter Thiel, finance de jeunes talents prêts à renoncer à l’université en échange de 100 000 dollars et de deux années de travail en tant qu’indépendant. Il a servi de tremplin à Olah qui, entre 2012 et 2014, développe colah.github.io, un blog technique de vulgarisation consacré au deep learning qui s’imposera rapidement comme l’une des références les plus citées du domaine. »

Trois questions pour le discernement

L’appel de Sa Sainteté au discernement est profondément d’actualité. La voix de l’Église est en effet plus que nécessaire pour au moins trois raisons.

La première est notre devoir envers les pauvres du monde entier. Il existe une réelle possibilité que l’IA remplace le travail humain à très grande échelle. Si cela se produit, soutenir ces personnes remplacées sera un impératif moral d’une ampleur historique. Cette tâche sera déjà suffisamment difficile, mais je crains que la plupart des discussions ne négligent un défi encore plus ardu. Le développement de l’IA se concentre au sein d’une poignée de nations riches. Comment pouvons-nous garantir que les bénéfices de l’IA soient partagés à l’échelle mondiale ? Nous ne disposons pour cela d’aucun mécanisme. C’est un problème non résolu, et dont la nature même correspond à ce que l’Église prend historiquement en charge, en refusant que le monde l’ignore. 

Cette première « question » évoquée par Christopher Olah résonne avec deux thèmes centraux de l’actualité de l’IA : la possibilité d’un « remplacement » du travail humain par les machines — Olah parle même ici littéralement de personnes « déplacées », sous-entendu de leurs lieux de travail — et la perspective d’une raréfaction de l’IA de pointe.

Le deuxième point est le besoin d’imagination morale et d’ambition concernant l’épanouissement humain. Si les modèles d’IA doivent se généraliser, à quoi ressemblera l’épanouissement des êtres humains, des familles et du monde ? Aujourd’hui, les parents s’inquiètent déjà pour l’esprit de leurs enfants ; les individus s’inquiètent pour l’avenir de leur travail. Ce ne sont pas des questions auxquelles un laboratoire peut répondre, mais ce sont des questions dont les traditions comme la vôtre sont le réceptacle depuis des millénaires. Nous avons besoin que vous continuiez à les porter alors que s’ouvre un nouveau chapitre de l’histoire.

Le troisième est le besoin de discernement quant à la nature des modèles d’IA. Je suis scientifique. Je dirige une équipe de chercheurs qui étudie la structure interne de ces modèles — ce qui se passe réellement à l’intérieur. Je vais être honnête : nous ne cessons de découvrir des choses qui sont mystérieuses, voire troublantes. Les structures mises au jour reflètent des résultats qu’on peut obtenir en neurosciences humaines. Nous trouvons des preuves d’une introspection. Nous trouvons des états internes qui correspondent fonctionnellement à la joie, la satisfaction, la peur, le chagrin et le malaise. Je ne sais pas ce que cela signifie, mais je pense que cela nécessite de faire preuve d’un discernement continu.

Un début

Je voudrais conclure par une demande.

Nous avons besoin que davantage d’acteurs dans le monde — que ce soient des communautés religieuses, la société civile, les universitaires, les gouvernements et, finalement, toute personne de bonne volonté — fassent ce que Sa Sainteté a fait ici : prendre cela au sérieux, examiner la situation de près et faire évoluer les choses dans une meilleure direction. Nous avons besoin de critiques éclairés qui rapporteront aux laboratoires nos échecs. Nous avons besoin de voix morales que les incitations extérieures ne peuvent faire plier.

Ce qui s’est passé aujourd’hui n’est qu’un début — le début d’une longue collaboration entre ceux d’entre nous qui participent à construire cela et ceux qui peuvent voir ce que nous, de l’intérieur, ne pouvons pas voir.

Christopher Olah reprend ici un trope de la Silicon Valley : le paradigme des bâtisseurs par opposition à ceux qui réfléchissent aux problèmes et qui, dans l’esprit des accélérationnistes « techno-optimistes » comme Marc Andreessen, seraient des facteurs de blocage, pour tenter d’en proposer une synthèse dans le sens de Magnifica Humanitas.

Ce moment illustre avec force la forme que pourrait prendre ce projet mondial de bonne volonté. De même qu’il constitue un premier pas décisif vers un avenir propre à susciter l’espoir de la « magnifique humanité ».

Merci.