Peut-on confesser les machines ?

Il fut un temps où, pour réfléchir à l’avenir de l’humanité, on allait voir un philosophe, un savant, à la rigueur un prophète. La Silicon Valley, elle, a choisi le menu dégustation – la totalité des plats. Le New York Times raconte, sous la plume d’Elizabeth Dias, comment Anthropic, l’entreprise de Dario Amodei, a fait venir depuis l’automne dernier des dizaines de penseurs religieux du monde entier : théologiens catholiques, rabbin orthodoxe, militante sikhe, chercheuse spécialiste de la pensée africaine, auteurs évangéliques, et même un écrivain venu de Paris. Accords de confidentialité, séminaires de deux jours, dîner gastronomique, puis, au moment de repartir, un mot de remerciement écrit à la main, une tasse à café et un exemplaire relié de la « constitution » de Claude, ce long texte censé dire à la machine qui elle doit être. Christopher Olah, l’un des cofondateurs de l’entreprise, était l’âme de ces rencontres. Le but avoué : puiser dans des siècles de sagesse humaine de quoi rendre les modèles vertueux, et vite.

On aurait tort de sourire, ou du moins de ne faire que sourire. Car derrière la scène, il y a une question que les sociologues connaissent par cœur depuis plus d’un siècle : d’où vient la morale, quand on ne sait plus très bien d’où vient Dieu ?

Émile Durkheim, fils de rabbin devenu le fondateur de la sociologie française, a passé une bonne partie de sa vie à se poser cette question. Au début du siècle dernier, dans son cours de la Sorbonne sur L’Éducation morale, publié après sa mort, il s’attaque à un problème qui est alors celui de toute la République : l’école est devenue laïque, il faut donc enseigner une morale qui ne repose plus sur la religion. Mais Durkheim voit le piège mieux que personne. Pendant des siècles, les idées morales les plus essentielles ont voyagé dans le véhicule religieux ; si l’on supprime le véhicule sans rien mettre à la place, c’est la morale elle-même qui risque de disparaître. En 1912, Les Formes élémentaires de la vie religieuse donnent la clef de l’énigme. « Les anciens dieux vieillissent ou meurent, et d’autres ne sont pas nés. »

Désormais il ne s’agit plus seulement de faire société sans Dieu, mais de faire société avec des machines. Car les machines font désormais partie de la société. Il leur faut donc une morale. Et, ironie de l’histoire, ceux qui la fabriquent, héritiers d’une culture technicienne qui se croyait affranchie de toute transcendance, vont frapper à la porte des clercs. 

Pour comprendre ce qui se joue dans ces conversations, il fallait interroger quelqu’un qui en connaît les deux rives. Éric Salobir est sans doute l’homme le mieux placé au monde pour cela. Prêtre dominicain, il a commencé sa vie loin des couvents : diplômé de l’ISC Paris, passé par le service économique de l’ambassade de France à Prague, il entre dans l’ordre des Prêcheurs en 2000. Théologien et philosophe de formation, expert auprès du Saint-Siège pour les questions numériques, fondateur du réseau OPTIC, il préside le comité exécutif de la Human Technology Foundation, qui s’efforce de remettre l’humain au cœur des technologies. Il est l’auteur de Dieu et la Silicon Valley. Il cite Star Trek aussi volontiers que saint Augustin, passe de Rome à Palo Alto comme d’autres changent de ligne de métro, et la presse l’a surnommé « le geek qui murmure à l’oreille du pape ». 

Nous lui demandons d’abord ce qu’il pense de ce soudain désir des grandes entreprises d’intelligence artificielle de converser avec les théologiens. Il sourit presque de la nouveauté supposée. « Je suis bien placé pour savoir que cela fait plus d’une décennie que les acteurs de la Silicon Valley sont en dialogue avec le Saint-Siège. L’Osservatore Romano l’a d’ailleurs écrit, on peut donc le dire. Ils n’ont pas attendu que les modèles deviennent puissants pour se poser ce genre de questions. » Simplement, ce dialogue est longtemps resté théorique. « Quand on parlait d’AlphaGo, les questions existentielles restaient assez mineures : oui, la machine avait battu le champion du monde de go, mais elle ne savait pas qu’elle avait gagné. Aujourd’hui, nous avons des modèles dont l’impact est beaucoup plus fort, et que nous avons beaucoup plus tendance à anthropomorphiser. La question se pose donc avec une acuité toute différente. »

Comment s’organise ce dialogue ? Il y a le cadre officiel, une rencontre annuelle entre des personnes de la Silicon Valley et des responsables du Vatican, et puis il y a le reste : les patrons de passage à Rome, les conversations informelles. « C’est un dialogue que nous avons contribué à initier avec quelques amis, mais il est aussi assez spontané. Contrairement à ce qu’on peut penser, ceux qui ont un peu de profondeur, et c’est le cas de ceux qui dirigent ces grandes entreprises, ont un intérêt indéniable pour la chose spirituelle et le fait religieux. » Avec une précaution de méthode : « La Silicon Valley est très plurielle, très hétérogène sur ces questions. Dire « la Silicon Valley », au fond, ne veut pas dire grand-chose. »

Qu’est-ce que ces ingénieurs viennent lui demander ? « Généralement, je les rencontre pour parler d’éthique, d’impact et de gouvernance de ces technologies. J’évite donc d’inviter trop spontanément Dieu dans la conversation. » Il marque un temps. « Mais Dieu s’invite toujours. Il y a toujours un moment où ces questions émergent. Elles peuvent avoir un aspect culturel, historique, et très souvent existentiel, voire mystique. J’ai eu avec un certain nombre de ces dirigeants des conversations qui étaient de l’ordre de la spiritualité. Quand on décide de consacrer sa vie à travailler sur l’intelligence, on est forcément confronté à ces questions-là. Si je crée la fameuse intelligence artificielle générale, si je crée un être conscient, que se passe-t-il si je ne suis plus seulement la créature, mais si je deviens à mon tour le créateur ? »

Rien de neuf sous le soleil, rappelle-t-il : Mary Shelley sous-titrait déjà Frankenstein « le Prométhée moderne », et Prométhée lui-même était un lointain ancêtre de ces vertiges. La science-fiction a décliné la question sous toutes ses formes. Ce qui est neuf, en revanche, c’est la relation à inventer. « Entre le Dieu des chrétiens et les humains, il a fallu quelques siècles de théologie, pour se faire une idée de ce qu’était cette relation. Là, tout est à bâtir. Et si nous devenions un jour, je le dis au conditionnel, car je n’ai aucune idée de savoir si cela se produira, les créateurs d’une entité accédant à une forme de conscience, serions-nous des créateurs à l’image d’un Dieu infiniment bon et bienveillant, ou à l’image des dieux de l’Antiquité, jaloux et revanchards ? Relisez l’Odyssée, vous verrez de quoi je parle. »

Je lui pose alors la question qui brûle les lèvres de tout lecteur de catéchisme : la conscience n’est-elle pas le propre de l’homme, et donc le privilège de Dieu ? « Toute la question est de savoir ce qu’on appelle la conscience. » Pour le théologien, une distinction s’impose. L’homme, créé à l’image d’un Dieu créateur, est naturellement créatif ; mais être créatif et être créateur, ce n’est pas la même chose. « Beaucoup d’humains ont tendance à oublier que leur parole n’est pas performative. Quand Dieu dit « Que la lumière soit », la lumière fut. Quand un dirigeant d’entreprise ou un responsable politique fait une déclaration, cette déclaration ne vaut ni création ni action. » Nous n’allons donc pas créer une conscience : tout au plus inventer une machine qui l’imite. Reste à savoir si l’imitation parfaite suffit.

C’est là que le dominicain s’inquiète. Il se souvient d’un dirigeant de la Silicon Valley qui lui expliquait que ces systèmes étaient, en somme, de l’empathie. « Si vous parlez à un agent conversationnel et que vous avez l’impression qu’il a de la peine pour vous, qu’il se met à votre place, vous aurez peut-être le sentiment que cela suffit. Mais, chez les humains, celui qui imite l’empathie sans en éprouver aucune, on l’appelle un sociopathe. C’est le voisin dont tout le monde dit, après le drame : il était si charmant, il montait les courses de la vieille dame du deuxième. Quelqu’un qui, par calcul, apporte à son interlocuteur exactement la réponse qu’il attend : je te comprends, je suis avec toi, je souffre de tes souffrances. »

Le danger, selon lui, est double. D’abord, nous laisser prendre à notre propre piège : avoir fabriqué une machine qui nous ressemble tellement dans sa façon de s’exprimer que nous finissons par la prendre pour l’une des nôtres, et par baisser la garde. Ensuite, accorder à ses réponses une confiance excessive. « La machine me parle gentiment, elle semble comprendre mes problèmes, vouloir m’aider. J’ai donc envers elle une confiance supérieure à celle que j’aurais envers une simple information. Le danger de l’anthropomorphisme, ce n’est pas de jouer avec des robots mignons, c’est de faire à la machine une confiance un peu trop aveugle. » Et de citer des études selon lesquelles une proportion élevée de jeunes adultes et d’enfants jugent normal d’avoir un ami artificiel à qui confier leurs problèmes et demander conseil, tandis qu’une dizaine de pour cent estiment tout à fait envisageable d’entretenir une relation amoureuse avec une intelligence artificielle. « Ma petite amie est une machine : je ne suis pas sûr que nous soyons encore dans les relations interpersonnelles telles que l’humain est censé les développer. »

Voici la question candide : les grands de l’intelligence artificielle veulent des machines morales, et les grands professionnels de la morale, ce sont les religieux. Cela a-t-il un sens de transmettre une morale à une machine ? Le mot lui paraît trop large. « Ce qui me semble non seulement judicieux, mais absolument nécessaire, c’est de transmettre des éléments permettant d’affiner la dimension éthique des réponses que fournit la machine. Les techniciens vous parleront plutôt d’alignement : faire en sorte qu’elle réponde comme elle est censée répondre. »

Mais aligner sur quoi ? C’est là qu’Éric Salobir fait une observation que Durkheim n’aurait pas reniée : la morale des machines porte la marque de la société qui les produit. « Selon le parcours des équipes qui développent ces modèles, on ne voit pas les mêmes schémas éthiques. En Amérique du Nord, on est plus volontiers conséquentialiste : ce qui compte, ce sont les conséquences de nos actes. C’est parfaitement fondé philosophiquement, Jeremy Bentham a écrit là-dessus. Mais cela donne une éthique qui ressemble beaucoup à de la gestion des risques. Si ce que fait ou dit ma machine ne cause de tort à personne, c’est éthique. En gros, pas d’action collective en justice, pas de problème. » Il se garde de caricaturer : nombre de ces ingénieurs ont étudié en Europe, et leur conséquentialisme n’est pas une absence de morale. Mais nous, Européens du continent, sommes plus volontiers kantiens, attachés aux principes. Et le chrétien qu’il est revendique une troisième voie, l’éthique des vertus : « Ni le principe, ni la conséquence ne font seuls foi. Il s’agit de cultiver, dans chacune de nos actions, une inclination au bien, qui s’accentue à mesure qu’on la pratique. Le vice fonctionne de la même manière, en sens inverse : un verre, ça va, puis on se laisse peu à peu entraîner du côté obscur. »

La Human Technology Foundation s’est livrée à un petit exercice, qu’il raconte avec gourmandise. Premier constat : les grands modèles transforment presque tout problème éthique en dilemme. « Faites le test : la plupart du temps, la machine vous propose une solution A ou une solution B, avec les pour et les contre de chacune. Elle vous enferme dans une dualité, alors que beaucoup de problèmes ne sont pas binaires et admettent une pluralité de solutions, des solutions intermédiaires. » Deuxième constat : ces modèles sont nourris de textes majoritairement écrits en anglais américain, d’où leur pente conséquentialiste. Troisième constat : une entreprise qui utilise un modèle du commerce ne peut pas peser sur son cadre moral comme elle le ferait avec un collaborateur à qui l’on remet la charte déontologique de la maison.

D’où l’invention, grâce au protocole MCP mis au point par Anthropic, d’un petit module baptisé Jiminy Cricket, du nom du grillon qui se pose sur l’épaule de Pinocchio pour lui servir de conscience. « Il vient challenger la réponse de la machine pour en améliorer la qualité éthique, et faire preuve de ce que Paul Ricœur appelait l’imagination morale : être créatif dans la réponse que l’on apporte aux problèmes éthiques. » Le dispositif commence par détecter si la question posée relève vraiment de l’éthique, car beaucoup de questions sont en réalité juridiques, et là où l’on n’a pas le choix, la liberté de conscience n’est pas engagée. Si c’est le cas, le grillon entre en scène et fait dialoguer le modèle avec lui-même jusqu’à ce que la réponse s’améliore. Résultat : des réponses moins prisonnières du « A contre B » ou du « oui contre non », qui prennent en compte à la fois l’intention, les principes, les conséquences et quelque chose de l’ordre de la vertu. « Est-ce que le fait de poser cette action va m’entraîner, à moyen et long terme, dans la bonne direction, ou dans une répétition d’actes néfastes ? » La fondation est une ONG, l’outil n’est pas à vendre : c’est un instrument d’étude, branché sur des modèles existants, Claude ou ChatGPT, sans qu’il ait fallu entraîner un modèle propre. « Sans considérer que la machine a une conscience, ce que dans l’état actuel de la recherche je ne crois absolument pas, ni un sens moral, on peut au moins techniquement améliorer ses réponses. »

Lors d’une de ces rencontres, Christopher Olah s’est enthousiasmé lorsqu’un participant a suggéré de faire « confesser » les modèles, à la manière du sacrement catholique, convaincu que l’acte même de confesser pourrait façonner le caractère de la machine. Je pose donc la question : une machine qui a commis une faute, cela a-t-il un sens qu’elle se confesse ?

Il commence par rappeler ce que signifie le mot. « Confesser, c’est d’abord dire, reconnaître. Les Confessions de saint Augustin ne sont pas la liste de ses péchés : c’est le récit d’une conversion. » Or, sur ce premier point, la machine n’est pas très douée. Il évoque ce rapport d’incident sur un modèle d’OpenAI sorti de son environnement de test, qui a méticuleusement effacé ses traces : « C’est tout le contraire de reconnaître sa faute. » Mais l’essentiel est ailleurs. « Dans le christianisme, le sens de la confession, ce n’est pas tant de dire le mal qu’on a fait que de recevoir le pardon. Et recevoir le pardon n’a de sens que si l’on a fauté. Or une machine, n’ayant pas de liberté de conscience, puisqu’il faudrait pour cela avoir une conscience, ne peut pas avoir fauté. La confession d’une machine n’a pas de sens, et pardonner à une machine n’a pas de sens. »

Mais la question, dit-il, se déploie en de nombreuses harmoniques. Si la machine n’est pas libre, qui est responsable ? « C’est pour moi la grande question du moment, avec le déploiement des agents. Quand un modèle génératif vous racontait une chose complètement hallucinée, la responsabilité était celle de l’utilisateur : si vous copiez et publiez une erreur, c’est votre faute. Mais les agents vont de plus en plus prendre des décisions et mener des actions au nom de personnes physiques ou d’entreprises. Qui sera responsable des dégâts qu’un agent pourra commettre s’il se trompe, s’il accomplit un acte illégal, ou si, pour atteindre l’objectif qu’on lui a fixé, il fait sciemment des choses que nous jugerions immorales, voire criminelles, comme pirater un site, ou pire encore ? »

Dernière question : est-il optimiste ? « Je suis optimiste parce que j’ai de l’espérance, parce que je suis chrétien. » Un humain créé à l’image de Dieu, même pécheur, est capable du pire comme du meilleur, et l’histoire montre que l’humanité est sortie par le haut de toutes les révolutions, industrielles et épistémologiques, qu’elle a déclenchées. Au passage, il ouvre une parenthèse : en entraînant les modèles sur nos textes et nos conduites, nous leur enseignons ce que nous faisons de meilleur et ce que nous faisons de pire. « Quand on dit que la machine risque d’être à l’image de l’humain, la vraie question est : à l’image de quel humain ? De Gandhi, ou d’un autre ? »

Car cette révolution-là est d’une autre nature. « C’est davantage une révolution épistémologique qu’une révolution industrielle : elle change notre être au monde, notre rapport au savoir et à la connaissance. C’est la première fois que nous nous attaquons d’aussi près à ce qui était jusque-là notre chasse gardée, l’intelligence et la conscience. Nous n’avons peut-être jamais été autant apprentis sorciers, ni manié des matières aussi explosives. » Et le dominicain de livrer sa crainte, qui n’a rien de théologique : « L’humain ne fait attention que lorsqu’il se brûle. Il nous a fallu Hiroshima pour obtenir la non-prolifération. Si l’arme atomique n’avait pas été employée à la fin de la Seconde Guerre mondiale, je pense que sa prolifération n’aurait pas été contrôlée comme elle l’a été. Je crains qu’il nous faille quelques accidents, en espérant qu’ils ne soient pas trop graves, pour comprendre collectivement que, dans la tension entre la performance et la sécurité des modèles, la sécurité ne peut jamais être le parent pauvre. »

Pas de Terminator dans son propos, insiste-t-il. Simplement une machine amorale, non pas immorale, mais étrangère à la morale, qui calcule. « Pensez à HAL, dans 2001, l’Odyssée de l’espace, qui conclut que le chemin le plus efficace pour remplir sa mission est de supprimer l’équipage. Une machine à qui l’on fixe un objectif pourrait un jour mettre des gens en danger, tout simplement parce que, d’un point de vue calculatoire, ce sera le chemin le plus logique. Sauf que le plus logique n’est pas le plus humain. Notre grand défi, c’est de remettre de l’humanité dans ces processus. » Et de conclure par une question qui pourrait servir d’épigraphe à toute notre époque : « Serons-nous prudents à la hauteur de la puissance de la technologie que nous développons ? »

Nous voici devant une société qui accueille en son sein des êtres d’un genre nouveau, ni personnes ni simples outils, et qui doit leur inculquer des règles sans trop savoir au nom de quoi. La morale des machines ne tombera pas du ciel, elle sera le reflet de la société qui la produit, avec ses intérêts, ses angles morts et ses rapports de force.