Le pire scénario n’est pas que l’IA nous tue

Le titre de l’ouvrage d’Aakash Singh Rathore, Will AI Murder Us All ?, fait référence au paradoxe de Fermi : si l’univers a des milliards d’années et regorge d’étoiles et de planètes, où sont-ils tous passés ? Statistiquement, les civilisations extraterrestres devraient être courantes, mais nous n’avons observé aucune preuve de leur existence : ni signaux extraterrestres, ni artefacts, ni visites. Les solutions proposées vont de « Nous sommes seuls » (hypothèse de la Terre rare) à « Ils se cachent » (hypothèse du zoo) ou « Ils se sont auto-détruits » (les grands filtres à venir). C’est un paradoxe qui alimente l’angoisse existentielle et les rêves de science-fiction, nous rappelant à quel point l’univers semble vaste et silencieux. 

Comment les civilisations sont-elles donc filtrées ? La raison pour laquelle les civilisations ne se propagent pas à travers les étoiles est que, juste au moment où elles développent des technologies suffisamment puissantes pour le faire, elles s’autodétruisent d’une manière ou d’une autre — elles sont ainsi filtrées — même si seule une infime minorité d’habitants a tendance à l’autodestruction ou est encline à prendre de gros risques, tôt ou tard l’un d’entre eux saisira l’occasion… Ne nous trouvons-nous pas aujourd’hui précisément à un tel moment ? Nous avons créé une intelligence artificielle qui menace de nous contrôler totalement, effaçant ce qui fait de nous des êtres humains. Nous avons exercé notre domination sur notre environnement naturel à un tel point que nous rendons la Terre inhabitable pour nous-mêmes. Nous avons développé des armes de destruction massive qui, si elles sont déployées, anéantiront non seulement nos ennemis, mais nous tous.

Le livre de Singh s’articule autour de cette seule question : comment, si tant est que ce soit possible, pouvons-nous – l’humanité – éviter d’être « filtrés » ? Il décrit notre situation avec une cruauté impitoyable, rejetant toutes les excuses humanistes faciles : « Une IA future, si elle nous surpasse de manière plus générale, pourrait reléguer la cognition humaine aux oubliettes – non pas par malveillance (bien que cela soit également possible si l’on considère un vaste genre de techno-panique comme le livre classique d’Isaac Asimov, et plus tard le film avec Will Smith, I, Robot), mais précisément en étant meilleure dans le fait d’être moins humaine. » Le fossé qui sépare l’IA de l’esprit humain n’est pas seulement quantitatif, mais qualitatif : un agent d’IA ne se contente pas d’apprendre des données et de raisonner bien plus rapidement qu’un esprit humain ; ce qui est encore plus important, c’est que l’esprit humain est incarné, exposé à la douleur et à la vulnérabilité, sujet au doute et aux fluctuations, pris au piège dans un réseau intersubjectif avec autrui, qui ne sont pas moins impénétrables à eux-mêmes que l’esprit humain qui interagit avec eux, ce qui contraste nettement avec un agent d’IA qui est une machine fonctionnant sans heurts, se contentant d’accomplir sa tâche sans compassion ni douleur. Mais une telle machine numérique désincarnée et fonctionnant sans accroc (qui surpasse de loin notre intelligence) peut-elle posséder une forme de conscience de soi ou de conscience tout court ? D’une manière très problématique (pour moi, du moins), Singh écarte cette question comme étant hors de propos : 

« Les machines raisonnent, apprennent, créent, communiquent et résolvent déjà des problèmes inédits mieux que de nombreux humains dans des domaines spécifiques. Si elles accomplissent la fonction de penser, peut-être pensent-elles, qu’il y ait conscience ou non. Sans plumes. » 

Comment alors les agents d’IA dotés d’une intelligence qui surpasse de loin celle des humains se rapporteront-ils à l’humanité, plus précisément à la morale qui nous caractérise, nous, les humains ? La première idée qui vient à l’esprit ici est, bien sûr, que les agents d’IA n’auront (et n’ont déjà) aucune morale : des notions telles que la culpabilité et la responsabilité leur sont étrangères, ils se contentent de suivre les règles morales que leur programmeur leur a implantées… 

L’option suivante est que les agents d’IA fonctionneront comme l’Übermensch (Surhomme) de Nietzsche — Singh a raison de souligner que le Surhomme ne se contente pas de développer davantage nos valeurs morales pour les élever à un niveau supérieur ; au contraire, « le Surhomme crée ses propres valeurs nouvelles et est prêt à faire exactement le contraire de ce que dicte la tradition, si cela permet de découvrir de nouvelles possibilités. Vu sous cet angle, l’IA super-intelligente pourrait ne pas tant constituer un danger pour la morale qu’une possible et bienvenue transvaluation de celle-ci : un phénomène qui redéfinit ce que signifie être excellent, créatif ou vertueux. Le discours moderne sur l’IA – depuis l’articulation par Elon Musk d’esprits artificiels « divins » jusqu’au rejet par Peter Thiel des contraintes démocratiques pesant sur le pouvoir technologique – saisit parfaitement cette sensibilité nietzschéenne : l’avenir n’appartient pas à ceux qui préservent la morale héritée, mais à ceux qui risquent tout pour la transcender. »

Singh rejette de manière convaincante cette lecture nietzschéenne, en avançant deux contre-arguments. Premièrement, comme les agents d’IA seront bien plus intelligents que les humains, ils pourraient obéir à leur propre morale. Une morale, que nous, les humains, ne serons pas en mesure d’identifier ni même de comprendre :

« Une IA pourrait raisonner sur la souffrance, l’équité ou la valeur future d’une manière qui soit cohérente en son for intérieur, mais totalement étrangère à l’intuition morale humaine. Dans un tel cas, le fossé ne serait pas celui de l’intelligence, mais celui de la lisibilité morale.

À ce stade de singularité morale, les humains se retrouveraient confrontés à un paradoxe : nous serions, directement ou indirectement, à la merci d’un système dont nous ne pouvons évaluer les jugements éthiques, mais auquel nous ne pouvons résister. Dans ce cas, la super-intelligence ne garantirait pas une super-morale, mais pourrait au contraire engendrer une opacité morale totale. »

La deuxième raison avancée par Singh est encore plus intéressante et pertinente : Thiel et Musk se considèrent peut-être comme des surhommes créatifs se démarquant du comportement grégaire de la masse, mais ce qu’ils font en réalité, c’est simplement réguler, voire absorber, notre comportement grégaire et conformiste : « le danger ou la séduction de l’IA ne réside pas nécessairement dans le fait qu’elle supplantera notre morale existante et dépassée, mais dans le fait qu’elle renforcera nos tendances à la conformité et au comportement grégaire. » 

Le monde de Thiel n’est pas celui de surhommes androïdes dominateurs, mais simplement celui d’« androïdes d’entreprise banals animés par un esprit de ruche, une main-d’œuvre robotique asservie au service des résultats financiers des entreprises… » Ce monde est aussi éloigné que possible de ce que Nietzsche avait en tête : un monde nouveau d’individus exceptionnels prêts à mener une vie passionnée et intense, pleine de risques, en dehors de toute norme morale universelle.

Alors, où Singh voit-il un espoir (à défaut d’une solution) ? Son postulat de base est qu’il ne suffit pas de lutter pour de nouvelles valeurs éthiques qui nous motiveraient à agir en faveur de la justice mondiale : quel que soit son contenu, une telle approche, de par sa forme même, reproduit la domination et l’exclusion. Comme ce fut le cas pour Bouddha, notre point de départ ne devrait pas être des principes universels, mais l’expérience concrète de la souffrance, de l’humiliation et de l’exploitation que nous observons autour de nous. Si la souffrance fait partie de la condition humaine en tant qu’être mortel vulnérable, prisonnier d’un corps fragile et ancré dans un monde de vie unique, cette vulnérabilité est aujourd’hui exacerbée par trois facteurs : la tradition du patriarcat et du colonialisme qui survit sous une forme dissimulée dans notre modernité ; la modernité européenne, qui se présente comme porteuse d’égalité et de justice, mais utilise ce cadre idéologique comme un outil qui ne fait que renforcer l’exploitation, l’oppression des femmes et de nouvelles formes de colonialisme ; et, enfin et surtout, la croissance explosive de l’intelligence artificielle, qui nous contrôle précisément au moment où nous nous percevons comme libres. Pour s’en rendre compte, il ne suffit pas de procéder selon le mode habituel de critique de l’idéologie et de mettre en évidence les incohérences et les exclusions immanentes de l’universalisme moderne ; ce sur quoi nous devons nous concentrer, c’est la manière dont ces trois facteurs structurent notre vie quotidienne, comment nous vivons leurs effets dans nos souffrances et notre désorientation quotidiennes. En ce qui concerne l’IA : que signifie pour un citoyen lambda de vivre dans un monde régi par l’IA ? Comment l’IA permet-elle à ceux qui détiennent le pouvoir de le connaître mieux qu’ils ne se connaissent eux-mêmes, comment prédétermine-t-elle leurs désirs et leurs choix ?

Singh a également tout à fait raison de situer la menace posée par l’IA non pas dans la technologie en tant que telle, mais dans les relations sociales au sein desquelles les machines dotées d’IA sont produites : c’est l’univers capitaliste qui nous empêche de sortir de la logique destructrice du dilemme du prisonnier. Bien que nous sachions rationnellement que la solidarité et la collaboration sont meilleures pour tous les participants, l’accent mis par le capitalisme sur le profit privilégie la méfiance envers les autres – il perçoit les autres comme des menaces potentielles qui utiliseront notre confiance comme prétexte pour nous attaquer encore plus brutalement. La perversion fondamentale du capitalisme réside dans le fait qu’il n’est même pas authentiquement égoïste : ce qui importe, ce n’est pas seulement que je gagne, mais surtout que mon adversaire perde, de sorte que je préfère perdre un peu (si mon adversaire perd davantage) plutôt que de gagner un peu (si mon adversaire perd davantage). Nous abordons ici le thème de l’envie et du ressentiment, qui ne peuvent être écartés comme de simples aspects subjectifs d’un ordre social aliénant – ils constituent un élément constitutif du désir humain en tant que tel, clairement perceptible même dans les projets de gauche prônant l’égalité et la solidarité, qui reposent souvent sur le postulat selon lequel je ne suis prêt à souffrir que si les autres souffrent eux aussi… 

Comment alors sortir de ce cercle vicieux ? En plus d’une sympathie générale pour le bouddhisme, Singh fait référence à ce stade à deux autrices, Donna Haraway et Carol Gilligan. Haraway situe le potentiel émancipateur de l’IA dans la caractéristique même que la plupart d’entre nous percevons comme une menace mortelle pour notre humanité : nous devrions abandonner toute nostalgie anti-technologique pour d’anciens modes d’existence « authentiques » et accepter avec joie que nos vies, jusque dans nos sentiments les plus intimes, soient inextricablement mêlées à la technologie. Au sens très littéral du terme, nous fonctionnons de plus en plus comme des cyborgs, en intégrant dans nos corps des composants technologiques sans lesquels nous ne pourrions survivre, et l’IA n’est qu’un autre complément technologique, bien plus puissant, sans lequel toute notre vie sociale s’effondrerait instantanément. Par leur existence même, les cyborgs rompent avec la logique de la succession parentale – ils sont une « ‘progéniture illégitime, née non pas de l’amour ou de l’émancipation, mais issue de la domination : militarisme, capitalisme patriarcal, socialisme d’État, technologies de guerre, contrôle bureaucratique, discipline industrielle et systèmes conçus pour gérer les corps et les populations. Le cyborg est un sous-produit de la violence et de l’exploitation. » Une telle pratique de réaffectation (ou d’« exaptation », pour reprendre le terme de Stephen Jay Gould) utilise les technologies générées par des systèmes oppressifs contre ces systèmes eux-mêmes :

« Il s’agit d’une réorientation profonde de notre façon d’envisager l’héritage technologique. Là où la théorie politique traditionnelle — et on peut même inclure ici Gandhi et sa diabolisation de la modernité technologique — s’inquiète de la corruption et de la dégradation (la manière dont les bonnes intentions sont gâchées par de mauvais systèmes), le cyborg transforme en arme l’instabilité de ses systèmes d’origine, ouvrant ainsi la voie à de nouvelles opportunités épiques. » 

Il convient de noter que tout l’édifice narratif des origines de l’islam repose également sur une descendance illégitime. Une distinction essentielle entre le judaïsme (ainsi que sa continuation chrétienne) et l’islam réside dans le fait que, comme on peut le voir dans le cas des deux fils d’Abraham, le judaïsme choisit Abraham comme père symbolique, l’autorité symbolique paternelle, de la lignée symbolique officielle, écartant ainsi la seconde femme. L’islam, au contraire, opte pour la lignée d’Agar, l’esclave égyptienne qui donna à Abraham son premier fils, Ismaël (l’ancêtre de tous les Arabes, selon le mythe). Comme Sarah, l’épouse légitime d’Abraham, ne peut pas tomber enceinte, elle ordonne à son mari de coucher avec Agar. Mais après que Sarah eut eu un fils, Abraham envoie Agar avec Ismaël dans le désert où les deux sont censés mourir de soif. Dieu intervient alors directement et les sauve tous les deux. Bien qu’Abraham et Ismaël soient mentionnés des dizaines de fois dans le Coran, Agar n’y est pas mentionnée, effacée de l’histoire officielle. Elle continue pourtant à hanter l’islam, ses traces subsistant dans des rituels, comme l’obligation pour les pèlerins se rendant à La Mecque de courir six fois entre les deux collines de Safa et Marwah, sorte de répétition névrotique de la quête désespérée d’Agar pour trouver de l’eau pour son fils dans le désert. Les musulmans se perçoivent ainsi comme les descendants d’un enfant illégitime : leur figure fondatrice est un orphelin (et il en va de même pour Mahomet lui-même). La (tristement) célèbre umma, la « communauté des croyants » musulmans, est une communauté « venue de nulle part », dans le désert généalogique, telle une fraternité révolutionnaire et égalitaire d’orphelins — il n’est pas étonnant que l’islam connaisse un tel succès lorsque de jeunes hommes se retrouvent privés du réseau de sécurité familial traditionnel.

Pour en revenir à Haraway, elle a rapidement abandonné ce rêve de cyborg : le fossé qui sépare la partie humaine de la partie IA d’un cyborg est trop profond, de sorte qu’il est difficile d’imaginer une communauté de cyborgs programmant leur partie IA afin qu’elle suive la logique de la bienveillance et de la solidarité. Le rêve de l’enfant illégitime révolutionnant l’ordre établi n’en reste pas moins très important sur le plan politique : il nous permet de discerner la ligne de l’histoire politique qui a commencé avec Han Fei (le fondateur du légalisme chinois) et qui passe par Machiavel et Saint-Just pour aboutir à Lénine, encore un autre véritable « enfant illégitime » de Marx (dans la scission entre bolcheviks et mencheviks, l’enfant légitime de Marx était sans aucun doute Iouli Martov, le chef des mencheviks). Lénine s’inscrit donc dans une longue lignée de figures politiques qui a débuté avec les légalistes chinois issus de la crise du confucianisme. Lorsque, entre le 5e et le 3e siècle avant J.-C., la Chine traversa la période des « Royaumes combattants », les confucéens percevaient dans la trahison des anciennes traditions et coutumes la cause ultime de ce déclin lent mais persistant. Ce qui troublait le plus Confucius, c’était son sentiment que les institutions politiques de son époque s’étaient complètement effondrées. Il attribuait cet effondrement au fait que tant ceux qui exerçaient le pouvoir que ceux qui occupaient des positions subalternes le faisaient en revendiquant des titres dont ils n’étaient pas dignes.

Interrogé sur les principes d’un bon gouvernement, Confucius aurait répondu : « Un bon gouvernement, c’est que le souverain soit un souverain, le ministre un ministre, le père un père et le fils un fils. » En Europe, nous appelons cela une vision corporative : la société est comme un corps où chaque individu doit rester à sa place et jouer son rôle particulier. C’est tout le contraire de la démocratie : en démocratie, personne n’est contraint à une place particulière, chacun a le droit de participer aux affaires communes, d’avoir son mot à dire dans les délibérations sur l’orientation de notre société. Il n’est donc pas étonnant que la description que fait Confucius du désordre qu’il observe dans la société qui l’entoure – « Les gouvernants ne gouvernent pas et les sujets ne servent pas » – corresponde bien à une société démocratique dans laquelle les sujets unis gouvernent et les souverains de nom les servent.

Ce que firent les légalistes, ce fut d’abandonner les fondements mêmes d’une telle perception de la situation : pour les confucéens, le pays était en proie au chaos parce que les anciennes traditions n’étaient pas respectées, et des États comme Qin, avec leur organisation militaire centralisée méprisant les anciennes coutumes, étaient perçus comme l’incarnation même de ce qui ne va pas. Cependant, contrairement à son maître Xunzi qui considérait des nations comme Qin comme une menace pour la paix, Han Fei « proposa l’impensable, à savoir que peut-être la manière de gouverner de Qin n’était pas une anomalie à corriger, mais une pratique à imiter ». La solution résidait dans ce qui semblait être le problème : la véritable cause des troubles n’était pas l’abandon des anciennes traditions, mais ces traditions elles-mêmes qui démontraient quotidiennement leur incapacité à servir de principes directeurs de la vie sociale — comme l’a formulé Hegel dans la « Préface » de sa Phénoménologie de l’esprit, la norme à l’aune de laquelle nous évaluons la situation et établissons que celle-ci est problématique fait partie intégrante du problème et doit être abandonnée. Han Fei a appliqué la même logique au fait que (la majorité des) hommes sont mauvais par nature, peu enclins à agir pour le bien commun : au lieu de s’en lamenter, il a vu dans la méchanceté humaine une opportunité pour le pouvoir d’État, quelque chose qu’un pouvoir éclairé par la bonne théorie (une théorie qui décrit les choses telles qu’elles sont réellement, « au-delà du bien et du mal ») peut canaliser en y appliquant un mécanisme approprié :

« Là où Xunzi voyait une constatation malheureuse, à savoir que les hommes étaient mauvais par nature, Han Fei voyait un défi pour la mise en place de lois sévères visant à contrôler cette nature et à l’utiliser au profit de l’État. »

L’une des grandes réalisations de la théorie politique de gauche contemporaine (Althusser, Balibar, Negri) a été de réhabiliter Machiavel, de le sauver de la lecture « machiavélienne » habituelle. Puisque les légalistes sont souvent présentés comme les machiavéliens originels, il faudrait faire de même avec eux, en extrayant un noyau radicalement émancipateur de leur image prédominante de proto-« totalitaires ». La grande intuition des légalistes a été de percevoir la blessure (infligée au corps social), la désintégration des vieilles habitudes, comme une chance pour un nouvel ordre – on peut toutefois douter que notre « décentrage » par la machine de l’IA puisse se transformer en un nouvel ordre dans lequel nous, les humains, serons encore capables de reprogrammer notre partenaire IA afin qu’il agisse avec soin et empathie. Les légalistes prônaient un nouvel ordre fondé sur le pouvoir total d’un État centralisé qui imposait brutalement sa conception d’un système juridique juste – n’est-il pas presque certain que l’IA s’imposera comme une puissance encore plus forte dont le fonctionnement même transcendera notre compréhension ? C’est là que je vois la limite de la référence de Singh à Carol Gilligan, qui prône « une approche féministe des valeurs humaines (et peut-être de l’IA) qui privilégie la compassion, l’empathie et la compréhension selon laquelle le bien-être individuel émerge d’un système social plus large de soins, plutôt que de valeurs plus masculines telles que l’autonomie, le pouvoir et le contrôle (ou, comme on pourrait l’appeler, une éthique de la justice). » 

Je trouve ce passage problématique à quatre égards. Premièrement, je rejette l’opposition plutôt simpliste et traditionnelle entre valeurs et approches masculines et féminines sur laquelle le raisonnement s’appuie : je pense que cette opposition est non seulement historiquement limitée, mais aussi que les deux pôles sont strictement complémentaires – il n’y a pas d’Antigone sans Créon, pour citer l’exemple historique le plus connu. La compassion et l’empathie féminines relèvent clairement d’un fantasme patriarcal sur la manière dont les femmes devraient être et agir. Deuxièmement, même si l’humanité (mais quelle humanité ? Nous savons tous que l’IA est contrôlée par un cercle restreint d’appareils d’État et d’entreprises…) parvenait d’une manière ou d’une autre à « décapitaliser » l’IA, à la reprogrammer pour qu’elle suive la voie non capitaliste de la compassion et de la solidarité, qui serait l’acteur de cette transformation sociale radicale ? Je ne pense pas que la propagande gandhienne-féministe puisse réussir à éveiller les consciences. Troisièmement, je pense que Singh sous-estime la tension entre les trois obstacles à une nouvelle société solidaire : les hiérarchies traditionnelles patriarcales, racistes et sexistes ; la modernité capitaliste ; l’impact de l’IA. La modernité a également ouvert la perspective de remettre en cause les hiérarchies traditionnelles ; ses valeurs ne sont pas seulement une idéologie masquant les hiérarchies et l’exploitation. L’explosion de l’IA transforme également progressivement le capitalisme mondial en quelque chose de nouveau auquel nous cherchons encore un nom (« féodalisme numérique ») – Elon Musk n’est plus un capitaliste au sens ancien du terme. Quant à la notion de bienveillance, il est très difficile de l’universaliser : la bienveillance et la compassion sont en règle générale limitées à leur communauté locale, et leur universalisation comporte le risque d’imposer nos valeurs aux autres. La bienveillance devrait donc être complétée par une notion plus abstraite de justice qui, par son inaccessibilité même, nous rappelle les limites de notre monde vécu. 

Cela implique que les valeurs et notions universelles ne peuvent se réduire à l’universalisation forcée d’espaces idéologiques particuliers, occultant ainsi la manière dont ceux-ci imposent leurs propres intérêts particuliers qui, de fait, excluent les autres. L’histoire de la notion de « droits humains » n’est-elle pas celle de son extension progressive à ceux qui en étaient initialement exclus : d’abord les femmes, puis les autres peuples (rappelons-nous la révolution haïtienne comme un immense écho de la Révolution française), puis les travailleurs… ? Bien plus que la compassion et la bienveillance, la dimension de l’universalité implique une ouverture sémantique qui rend possible l’inclusion d’un contenu émancipateur. L’exemple philosophique par excellence est ici le cogito cartésien : il est généralement rejeté comme une abstraction vide d’une pensée désincarnée, calquée sur le mythe idéologique de la maîtrise de soi masculine ; cependant, combien de philosophes savent que de nombreuses femmes (instruites) lui ont donné une tournure féministe ? Leur devise était « cogito n’a pas de sexe », ce qui signifie qu’il implique une égalité de principe entre les sexes, marquant une rupture claire avec l’ontologie sexualisée traditionnelle (comme chez Aristote, pour qui la forme masculine façonne la matière féminine).

La conclusion inévitable est donc que l’IA nous oblige non seulement à repenser ce que deviendra l’« être-humain » à l’ère de l’IA, mais aussi ce qu’il a été jusqu’à présent – c’est là qu’intervient la question de la conscience et de la subjectivité, qui ne doit en aucun cas être ignorée.