L’affaire DeepSeek et le futur de l’IA, une conversation avec Gary Marcus

Que signifie DeepSeek pour OpenAI et pour les États-Unis ?

En un mot : la course à la « suprématie de l’IA » est pour l’instant terminée et les États-Unis ne l’ont pas emportée. 

On se concentre sur DeepSeek, mais au cours des dernières semaines, on compte au moins quatre innovations impressionnantes venant de laboratoires ou d’entreprises chinoises qui annihilent toute prétention à une avance décisive des États-Unis.

Commençons par le cas DeepSeek. Comment le comprenez-vous ? 

Selon les informations dont on dispose, DeepSeek était apparemment conçue à l’origine pour le trading quantitatif plutôt que pour les LLM. Ils ont toutefois réussi à produire un modèle quasiment à la pointe de la technologie en ne mobilisant qu’environ 1/50e des coûts de formation des modèles précédents, ce qui la place instantanément dans la cour des grandes sociétés américaines comme OpenAI, Google et Anthropic, à la fois en termes de performances et d’innovation. Quelques semaines plus tard, ils ont présenté une alternative compétitive (bien qu’insuffisante ¹) à l’o1 d’OpenAI, appelée r1. Parce qu’elle est plus ouverte dans son processus interne que o1, de nombreux chercheurs la préfèrent déjà à o1 d’OpenAI, qui avait été présentée en grande pompe en septembre 2024. 

Quelles sont les autres innovations importantes venant de Chine dans les derniers jours ?

ByteDance, la maison mère de TikTok, vient de lâcher une troisième bombe : un nouveau modèle cinq fois moins cher que DeepSeek et plus de 200 fois plus efficace que le modèle o1 ². Hier, un laboratoire de Hong Kong a ajouté une quatrième avancée, en réalisant une version passable mais moins puissante de r1 avec encore moins de données d’entraînement ³.

La course à la « suprématie de l’IA » est pour l’instant terminée et les États-Unis ne l’ont pas emportée.

Gary Marcus

On parle d’un «  moment Spoutnik  ». Est-ce que la Chine est en train d’emporter la course pour l’IA ? 

Je ne le crois pas. Ces avancées ne signifient pas pour autant que la Chine a gagné la course à l’IA, ni même qu’elle a pris la tête. Les entreprises américaines intégreront ces nouveaux résultats et continueront à produire leurs propres innovations.

Si l’on regarde les choses de manière réaliste, on peut considérer que nous convergeons rapidement vers une égalité. Il y a toutefois une victoire tactique pour la Chine, qui semble parvenir aux mêmes résultats des grandes entreprises américaines, sans les centaines de milliers de semi-conducteurs de haut de gamme Nvidia H100.

La course est-elle donc plus ouverte ?

Je le pense. D’autres pays, également en Europe, pourraient également rattraper leur retard, car les LLM sont devenus beaucoup moins chers et, par conséquent, la nécessité de disposer de vastes réseaux de matériel spécialisé s’est quelque peu estompée. Il n’y a pratiquement plus de fossé ; les nouvelles pistes techniques ont une durée de vie très courte, qui se mesure en mois, voire en semaines, et non en années.

Si l’on regarde les choses de manière réaliste, on peut considérer que nous convergeons rapidement vers une égalité en matière d’IA.

Gary Marcus

Êtes-vous surpris par cette innovation ? Il y a deux ans vous sembliez déjà pointer dans cette direction. Dans un article que nous avions traduit vous proposiez une critique systématique au modèle de développement de Sam Altman.

Il y a un an je faisais une série de prévisions dans un tweet que tout le monde peut lire. Je pariais sur le fait que d’ici la fin de l’année 2024, on aurait vu l’émergence de 7 à 10 modèles d’intelligence artificielle au niveau de GPT-4, sans avancée majeure ni version GPT-5 révolutionnaire, voire une version GPT-5 décevante. Le marché devait être marqué par des guerres de prix, une absence de véritable avantage concurrentiel significatif pour les entreprises qui semblaient à l’avance, et l’absence de solution robuste aux problèmes d’hallucination des modèles. L’adoption par les entreprises devrait être modeste et durable, mais les profits resteront limités, répartis entre les 7 à 10 acteurs principaux du secteur. Ces prévisions semblent aujourd’hui correctes – et je remarque que nous n’avons toujours pas de GPT-5.

Quel sera l’effet de ces évolutions pour OpenAI et la nouvelle initiative Stargate annoncée par Donald Trump le lendemain de son investiture ?

Concernant la première question, les récentes avancées de la Chine sont une très mauvaise nouvelle pour OpenAI. Il y a deux ans, OpenAI dominait le monde de l’IA, ayant tout juste lancé ChatGPT et conclu un accord majeur avec Microsoft. À cette époque, aucun autre acteur n’avait un modèle approchant le niveau de GPT-4. La couverture médiatique autour d’OpenAI était omniprésente, et l’adoption par les clients se faisait rapidement. OpenAI pouvait fixer ses prix presque à sa guise, bénéficiant de l’intérêt mondial et de l’absence de concurrence sérieuse. Sam Altman jouissait d’une admiration quasi unanime. Beaucoup imaginaient des revenus quasi infinis et des profits colossaux pour l’entreprise.

Quand on y repense aujourd’hui on se rend compte que ce qui rendait OpenAI unique est bien moins évident.

En quel sens ? Vous pensez qu’OpenAI décroche ?

Il n’est plus clair qu’ils représentent l’état de l’art, et si OpenAI dispose encore d’une avance technique décisive, cela ne saute pas aux yeux. Les concurrents ont, pour la plupart, rattrapé leur retard, et dans bien des cas, ils proposent des prix plus compétitifs. Les clients envisagent désormais des alternatives, et OpenAI n’est plus perçu comme le fournisseur incontournable. La relation entre OpenAI et Microsoft s’est détériorée. La crédibilité de Sam Altman s’est érodée ; son dernier projet d’infrastructure est ouvertement tourné en dérision… Des dizaines d’employés, y compris au moins deux cofondateurs et le CTO, ont quitté l’entreprise, certains pour rejoindre des rivaux comme Anthropic, d’autres pour lancer leurs propres initiatives.

Si OpenAI dispose encore d’une avance technique décisive, cela ne saute pas aux yeux. La relation entre OpenAI et Microsoft s’est détériorée. La crédibilité de Sam Altman s’est érodée ; son dernier projet d’infrastructure est ouvertement tourné en dérision…

Gary Marcus

GPT-5 n’est toujours pas arrivé, et lorsque OpenAI lance de nouveaux modèles, ses concurrents les rattrapent rapidement. Il n’y a absolument aucun avantage compétitif évident. Une rumeur que j’ai entendue à Davos et qui concorde avec certains articles du Wall Street Journal et une autre source bien informée consultée récemment, suggère qu’OpenAI éprouve désormais des difficultés à développer GPT-5, se concentrant plutôt sur l’interface utilisateur dans une tentative de trouver un avantage différent, moins technique.

Pendant ce temps, les revenus — de l’ordre de 5 milliards de dollars — restent modestes par rapport aux dépenses, qui ont été bien plus importantes ; aucune application phare et qui justifierait les coûts n’a véritablement émergé. Les économies ne tiennent tout simplement plus, et à ce stade, DeepSeek semble plus ouvert et innovant qu’OpenAI.

Ces prises de conscience concernant DeepSeek se propagent déjà. Altman a réduit ses prix à deux reprises au cours des derniers jours, et nous savons déjà, d’après son propre témoignage, qu’OpenAI perdait de l’argent sur ChatGPT Pro. Comme l’a observé Grady Booch sur X : « Maintenant, il perdra de l’argent encore plus vite. »

Je l’ai déjà dit, et je le répète : OpenAI pourrait bien devenir le WeWork de l’intelligence artificielle.

Quelles en sont les implications pour Nvidia ? Avec une perte de 600 milliards, nous avons assisté hier à la plus grande destruction de valeur boursière de l’histoire en une seule journée. Pensez-vous qu’il s’agit d’une secousse de stabilisation ou du début d’un effondrement plus important ?

Nvidia pourrait bientôt subir un sérieux revers, et ce pour deux raisons. Premièrement, les résultats de DeepSeek suggèrent que les modèles de langage (LLM) pourraient être entraînés de manière beaucoup plus efficace à l’avenir. Prenons une analogie. Nvidia s’est enrichi en vendant des « pelles » — il faut l’avouer, exceptionnellement bien conçues — en pleine ruée vers l’or. Or nous pourrions soudainement nous retrouver dans un monde où ces pelles extrêmement raffinées seraient bien moins nécessaires. DeepSeek semble montrer qu’il est possible de se passer des puces haut de gamme de Nvidia. Des dispositifs transportés sous haute sécurité et échangés sur le marché noir pourraient soudainement passer du statut d’incontournables à celui de simples « options intéressantes ». Enfin, la construction d’infrastructures d’une valeur de 500 milliards de dollars en centres de données et capacités énergétiques, destinées à accueillir ces vastes collections de puces, commence à paraître bien moins sensée.

OpenAI pourrait devenir le WeWork de l’intelligence artificielle.

Gary Marcus

Si tout cela est vrai — et on est peut-être loin d’avoir tous les éléments nécessaires à une analyse profonde de cette séquence — ne faudrait-il pas en déduire que le CHIPS Act, conçu par Joe Biden et Jake Sullivan pour ralentir la Chine dans la course à l’IA, pourrait s’avérer être l’un des plus grands revers de l’histoire ?

J’ai tenté d’avertir plusieurs personnes au sein de l’administration Biden de cette possibilité à l’été 2023. Sans aucun impact. Ils ont fini par redoubler d’efforts, notamment à travers l’un des derniers décrets exécutifs de Biden.

Mon inquiétude était que le CHIPS Act inciterait la Chine à développer ses propres puces. À la Maison Blanche, on avait effectivement anticipé ce risque, et la Chine a déjà investi des milliards dans cet objectif. Cependant, beaucoup à Washington semblaient considérer les contrôles à l’exportation comme une tactique urgente de retardement, espérant peut-être que cela permettrait aux États-Unis de gagner quelques années cruciales et d’assurer un avantage permanent.

Je n’ai jamais adhéré à cet argument, car je pensais qu’arriver en premier à GPT-5 offrirait peut-être un avantage pour générer des textes standardisés de meilleure qualité, mais certainement pas pour acquérir une supériorité militaire. Arriver en premier n’allait tout simplement pas importer sur le long terme, pas plus que le fait qu’une entreprise américaine ait atteint le niveau GPT-4 en premier n’aura eu d’importance à moyen ou long terme. Comme nous l’avons vu cette semaine, cet avantage a été de courte durée.

Comment comprenez-vous la position de l’administration Biden ? Y a-t-il une continuité avec l’administration Trump ?

L’administration Biden était emportée par une sorte d’engouement : elle semblait prête à miser énormément pour un avantage à court terme, même si cela signifiait tendre les relations avec Pékin ou stimuler l’innovation future de la Chine dans la fabrication de semi-conducteurs. Le soutien de Trump au programme Stargate s’inscrit apparemment dans le même raisonnement magique concernant les modèles de langage, basé sur l’espoir d’une suprématie qui pourrait ne jamais se concrétiser.

Cependant, comme nous l’avons vu ces dernières semaines, l’avantage initial de la Silicon Valley dans les modèles de langage de grande taille s’est rapidement évaporé, malgré les contrôles à l’exportation.

Mon inquiétude était que le CHIPS Act inciterait la Chine à développer ses propres puces. À la Maison Blanche, on avait effectivement anticipé ce risque, et la Chine a déjà investi des milliards dans cet objectif.

Gary Marcus

Pourquoi à votre avis ?

Ce qui s’est passé n’est pas — comme certains l’avaient imaginé — que la Chine aurait rapidement produit des équivalents aux puces Nvidia H100 — un projet de longue haleine, encore loin d’être achevé —, mais parce qu’elle a trouvé des moyens de les contourner.

Nous avons involontairement poussé leur niveau technique vers le haut. Dans le Financial Times, Angela Zhang a expliqué : « Les avancées de la Chine en matière d’efficacité ne sont pas le fruit du hasard. Elles répondent directement à l’escalade des restrictions à l’exportation imposées par les États-Unis et leurs alliés. En limitant l’accès de la Chine à des puces d’IA avancées, les États-Unis ont involontairement stimulé son innovation. »

Et peut-être aussi affaibli notre plus grande entreprise de semi-conducteurs, Nvidia. En échange de bien peu, si ce n’est une brève hausse de son action en bourse.

Bien sûr, comme l’a souligné Miles Brundage dans un entretien cette semaine en défendant les contrôles à l’exportation, la partie est loin d’être terminée, et il est possible que disposer d’un grand nombre de H100 ou de puces Blackwell reste très important. 

N’y a-t-il pas un argument pour défendre les contrôles à l’exportation ? Cette semaine, Miles Brundage disait justement : « Il est clair qu’il existe de nombreuses façons d’extraire davantage de performances des puces, et DeepSeek, par nécessité, a été contraint de découvrir certaines de ces techniques peut-être plus rapidement que les entreprises américaines ne l’auraient fait. Mais cela ne signifie pas qu’ils ne bénéficieraient pas d’en avoir beaucoup plus. Cela ne signifie pas qu’ils peuvent immédiatement passer de o1 à o3 ou o5 comme OpenAI a pu le faire, parce qu’ils disposent d’une flotte de puces beaucoup plus importante. » Qu’en pensez-vous ?

Je suis d’accord avec Brundage sur le fait que l’approvisionnement en puces reste important, mais il est également clair que les règles du jeu ont changé.

Son point de vue est valable, et je recommande de lire l’intégralité de son interview, qui constitue une excellente défense des contrôles à l’exportation et offre un équilibre par rapport à mes arguments. Cela dit, je pense qu’il sous-estime les avancées logicielles et surestime l’importance de la quantité de matériel ; je vous invite à juger par vous-même.

La Chine a rattrapé son retard si rapidement pour de nombreuses raisons. L’une d’elles, qui mérite une enquête du Congrès, est la décision de Meta de rendre ses LLM open source.

Gary Marcus

Qu’est-ce que cela implique pour les consommateurs ? 

Les grands gagnants pourraient être les consommateurs : dans la mesure où les LLM sont utiles malgré leurs problèmes de fiabilité, ils vont devenir beaucoup moins chers.

Cela dit, moins cher ne signifie pas forcément mieux. Si la course aux LLM reste non réglementée aux États-Unis et que ces modèles continuent d’être détachés de la réalité, les cycles de développement précipités et la compétition mondiale intense pourraient bien aggraver les risques de désinformation, de biais dans les réponses, de violations de la vie privée et d’abus par des acteurs malveillants. Nous pourrions tous y perdre — et perdre plus rapidement.

Au-delà de la question des semiconducteurs, comment la Chine a-t-elle réussi à rattraper son retard aussi rapidement ?

La Chine a rattrapé son retard si rapidement pour de nombreuses raisons. L’une d’elles, qui mérite une enquête du Congrès, est la décision de Meta de rendre ses LLM open source. La question que le Congrès devrait se poser est la suivante : à quel point cette décision a-t-elle été déterminante dans la capacité de la Chine à rattraper son retard ? Aurions-nous toujours une avance si cela n’avait pas été fait ? DeepSeek aurait apparemment débuté dans les LLM en réentraînant le modèle Llama de Meta.

Le fait de miser autant sur Sam Altman, comme l’a fait la Maison Blanche la semaine dernière, et comme d’autres avant elle, pourrait également s’avérer être une erreur avec le recul. De nombreuses questions ont été soulevées concernant sa crédibilité ; des figures majeures telles que Sutskever, Murati et Amodei ont quitté OpenAI, et Altman a offert peu de vision technique. Bien qu’il puisse être un maître en communication et en vente, Musk a raison de dire que les États-Unis ne devraient pas être aussi dépendants de lui et n’auraient pas dû lui accorder un soutien aussi important avec si peu de garanties.

Dans un tweet brutal et viral qui résume bien ma pensée sur ce sujet, le journaliste Ryan Grim a écrit hier que le gouvernement américain — à l’exception notable de Lina Khan — avait à plusieurs reprises commis des erreurs en cédant aux grandes entreprises et en ne faisant pas assez pour encourager l’innovation indépendante.

Je pense qu’il faut entendre son argument : 

« Le contrat social de la Silicon Valley, imposé au public par Obama, puis Trump, puis Biden (à l’exception de Lina Khan), et désormais Trump à nouveau, était clair : nous allons laisser ces hommes devenir les personnes les plus riches de l’histoire de l’humanité, et, en échange, ils développeront une industrie technologique qui assurera l’hégémonie des États-Unis pour un siècle. Ils ont rempli la première partie, puis ils ont construit des monopoles pour essayer d’écarter la concurrence au lieu de continuer à innover au plus haut niveau, avant d’être dépassés par des entreprises chinoises, à la fois dans l’intelligence artificielle et les réseaux sociaux. Ils sont les perdants que nous pensions qu’ils étaient — et désormais, nous le sommes aussi. »

Y a-t-il un espoir pour que les États-Unis reprennent une avance nette ?

Le seul espoir pour les États-Unis de reprendre une avance claire est qu’une agence gouvernementale, une entreprise américaine ou un laboratoire académique pense en dehors du cadre des modèles de langage de grande taille (LLM). Les dynamiques autour des LLM sont désormais trop bien comprises pour que quiconque puisse obtenir un avantage décisif dans ce domaine. De plus, comme je l’ai soutenu depuis des années, notamment dans l’article que vous aviez eu la gentillesse de publier, les LLM sont trop opaques, trop complexes et trop difficiles à déboguer et à vérifier. La solution se trouve ailleurs ; miser notre avenir sur cette seule idée est une erreur.

La course vers l’intelligence artificielle générale (AGI) ne sera pas remportée par le pays disposant du plus grand nombre de puces, mais par celui qui favorise le mieux la véritable innovation. Cela pourrait être les États-Unis, la Chine ou peut-être un autre pays moins enfermé dans l’orthodoxie des LLM et plus disposé à parier gros sur de nouvelles idées.

Les LLM sont trop opaques, trop complexes et trop difficiles à déboguer et à vérifier. La solution se trouve ailleurs ; miser notre avenir sur cette seule idée est une erreur.

Gary Marcus

Dans quelle direction regardez-vous pour prévoir les prochaines étapes ?

Mon pari est que, toutes choses égales par ailleurs, l’état dans lequel nous nous trouverons dans trois ans se décline en trois points.

D’abord les avancées seront plus incrémentales qu’auparavant et rapidement égalées. GPT-5 ou un modèle tout aussi impressionnant finira par émerger, peut-être sous la direction d’OpenAI, d’une entreprise chinoise, ou même d’un concurrent comme Google. Quelle que soit l’issue, l’avantage sera de courte durée.

Ensuite, les modèles continueront de devenir plus efficaces et moins coûteux, mais les problèmes d’hallucinations et de fiabilité persisteront.

Enfin, contrairement aux rumeurs entretenues par la Silicon Valley, aucun pays n’atteindra l’AGI d’ici fin 2027.

Je suis convaincu d’une chose : la course interminable autour des LLM drainera des ressources qui pourraient être consacrées au développement d’idées plus originales.