{"id":183461,"date":"2023-04-28T16:15:00","date_gmt":"2023-04-28T14:15:00","guid":{"rendered":"https:\/\/legrandcontinent.eu\/fr\/?p=183461"},"modified":"2023-06-29T15:13:17","modified_gmt":"2023-06-29T13:13:17","slug":"limites-dun-systeme-comment-debloquer-lia","status":"publish","type":"post","link":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/","title":{"rendered":"Limites d&rsquo;un syst\u00e8me&#160;: d\u00e9bloquer l&rsquo;IA"},"content":{"rendered":"\n<p class=\"intro\">\u00c9crit en mars 2022, ce texte de Gary Marcus, professeur \u00e9m\u00e9rite de psychologie et de sciences neuronales \u00e0 l&rsquo;Universit\u00e9 de New York et auteur en psychologie et sciences neuronales, pr\u00e9c\u00e8de de quelques mois l\u2019irruption dans la sph\u00e8re publique de syst\u00e8mes comme ChatGPT ou GTP-4, qui d\u00e9mocratisent l\u2019usage du Deep Learning aupr\u00e8s d\u2019un grand public partag\u00e9 entre techno-optimisme exalt\u00e9 et anxi\u00e9t\u00e9 paralysante. Ce texte demeure n\u00e9anmoins d\u2019une actualit\u00e9 aigu\u00eb puisqu&rsquo;il r\u00e9pond \u00e0 <a href=\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/14\/sam-altman-la-loi-fondamentale-de-lia\/\">la vision \u00ab&#160;triomphante&#160;\u00bb que Sam Altman partage dans <em>Moore&rsquo;s Law for everything<\/em><\/a> et met en lumi\u00e8re les limites de la technologie per\u00e7ues par l\u2019auteur. Ce faisant, Gary Marcus apporte au d\u00e9bat des \u00e9l\u00e9ments de contexte scientifiques et historiques pour \u00e9clairer une soci\u00e9t\u00e9 qui s&rsquo;interroge, perplexe, sur le futur de l\u2019IA&#160;: des cons\u00e9quences \u00e0 court terme aux catastrophes existentielles.<\/p>\n\n\n\n<p class=\"intro\">Le nouveau paradigme \u00e0 l\u2019oeuvre (le passage \u00e0 l\u2019\u00e9chelle des techniques connues depuis des ann\u00e9es en les appliquant \u00e0 des mod\u00e8les et des jeux de donn\u00e9es toujours plus volumineux) a permis de faire \u00e9merger une nouvelle g\u00e9n\u00e9ration de mod\u00e8les dont les performances in\u00e9dites (g\u00e9n\u00e9ration de code ou d\u2019images, r\u00e9daction d\u2019emails, compilation, analyse et synth\u00e8se d\u2019informations) rebattent les cartes d\u2019\u00e9quilibres technologiques pourtant per\u00e7us jusqu\u2019alors comme intangibles. En premi\u00e8re ligne, les g\u00e9ants du num\u00e9riques comme Google&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-1-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-1-183461' title='Aaron Mok, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/www.businessinsider.com\/google-management-issues-code-red-over-chatgpt-report-2022-12?r=US&amp;amp;IR=T&quot;&gt;Google&amp;rsquo;s management has reportedly issued a &amp;lsquo;code red&amp;rsquo; amid the rising popularity of the ChatGPT AI&lt;\/a&gt;&amp;#160;\u00bb, &lt;em&gt;Insider, &lt;\/em&gt;21 d\u00e9cembre 2022.'><sup>1<\/sup><\/a><\/span><\/span> ou Meta&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-2-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-2-183461' title='Huileng Tan, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/www.businessinsider.com\/zuckerberg-new-meta-top-level-team-ai-products-chatgpt-metaverse-2023-2?r=US&amp;amp;IR=T&quot;&gt;After losing billions of dollars on the metaverse, Mark Zuckerberg&amp;rsquo;s launching a &amp;lsquo;top-level&amp;rsquo; team at Meta to develop AI products for WhatsApp, Messenger, and Instagram&lt;\/a&gt;&amp;#160;\u00bb, &lt;em&gt;Insider, &lt;\/em&gt;28 f\u00e9vrier 2023.'><sup>2<\/sup><\/a><\/span><\/span> r\u00e9examinent leurs strat\u00e9gies de d\u00e9ploiement de leurs produits afin de faire face \u00e0 ce qu\u2019ils identifient comme une s\u00e9rieuse menace de disruption technologique.<\/p>\n\n\n\n<p class=\"intro\">Peut-on en d\u00e9duire pour autant que cette technologie m\u00e8nera en l\u2019\u00e9tat \u00e0 l\u2019objectif originel des pionniers de la discipline \u2014 doter la machine d\u2019une intelligence comparable \u00e0 celle d\u2019un humain capable de r\u00e9aliser n\u2019importe quelle t\u00e2che cognitive&#160;? Ou \u00e0 l\u2019inverse, ce paradigme manque-t-il fondamentalement de substance pour \u00eatre compl\u00e8tement transformatif&#160;?&nbsp;<\/p>\n\n\n\n<p class=\"intro\">Pour Gary Marcus, l\u2019approche est intrins\u00e8quement limit\u00e9e&#160;: davantage comparables \u00e0 des g\u00e9n\u00e9rateurs de pastiches ou de paraphrases plus ou moins \u00e9volu\u00e9s, les mod\u00e8les actuels sont par essence d\u00e9faillants pour raisonner sur le monde et en tirer une compr\u00e9hension de leur environnement g\u00e9n\u00e9ralisable au-del\u00e0 des informations trait\u00e9es lors de leur entra\u00eenement. En bref, les chercheurs en IA ont besoin de nouvelles fa\u00e7ons de penser.<\/p>\n\n\n\n<p class=\"intro\">\u00c0 l\u2019heure ou l\u2019IA bouleverse en profondeur chaque pan de l\u2019\u00e9conomie, la soci\u00e9t\u00e9 ou des relations internationales, le d\u00e9bat auquel participe Gary Marcus d\u00e9passe le simple cadre de la controverse technologique entre experts. Il fait \u00e9merger les enjeux critiques relatifs aux progr\u00e8s de l\u2019IA et \u00e0 ses modalit\u00e9s de d\u00e9ploiement, qui exigent une approche prospective transverse et multipartite&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-3-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-3-183461' title='\u00ab&amp;#160;&lt;a href=&quot;https:\/\/www.governance.ai\/post\/increasing-consensus-ai-requires-careful-management&quot;&gt;Preliminary survey results&amp;#160;: US and European publics overwhelmingly and increasingly agree that AI needs to be managed carefully&lt;\/a&gt;&amp;#160;\u00bb, Centre for the Governance of AI, 17 avril 2023.'><sup>3<\/sup><\/a><\/span><\/span>.&nbsp;<\/p>\n\n\n\n<p>\u00ab&#160;Permettez-moi de commencer par dire quelques mots qui semblent \u00e9vidents&#160;\u00bb, a d\u00e9clar\u00e9 Geoffrey Hinton, le \u00ab&#160;parrain&#160;\u00bb de l&rsquo;apprentissage profond et l&rsquo;un des scientifiques les plus c\u00e9l\u00e8bres de notre \u00e9poque, lors d&rsquo;une conf\u00e9rence sur l&rsquo;IA organis\u00e9e \u00e0 Toronto en 2016. \u00ab&#160;Si vous travaillez comme radiologue, vous \u00eates comme le coyote qui a d\u00e9j\u00e0 franchi le bord de la falaise mais qui n&rsquo;a pas regard\u00e9 en bas. L&rsquo;apprentissage profond est si bien adapt\u00e9 \u00e0 la lecture des images des IRM et des tomodensitogrammes que les gens devraient \u00ab&#160;arr\u00eater de former les radiologues d\u00e8s maintenant&#160;\u00bb et qu&rsquo;il est \u00ab&#160;tout \u00e0 fait \u00e9vident que d&rsquo;ici cinq ans, l&rsquo;apprentissage profond fera mieux&#160;\u00bb.<\/p>\n\n\n\n<p class=\"comment\">G. Hinton est consid\u00e9r\u00e9 comme l&rsquo;un des grands artisans de la r\u00e9volution du Deep learning au tournant des ann\u00e9es 2010. En particulier, il pr\u00e9sente en 2012 avec son \u00e9tudiant Alex Krizhevsky un nouveau mod\u00e8le de Deep Learning baptis\u00e9 AlexNet, qui obtient des performances in\u00e9dites dans une comp\u00e9tition internationale de classification d&rsquo;image par des syst\u00e8mes d&rsquo;IA (ImageNet). Cette \u00e9tape marque un tournant d\u00e9cisif dans l&rsquo;adoption du Deep Learning par la communaut\u00e9 scientifique, qui comprend alors le formidable potentiel de la technologie.<\/p>\n\n\n\n<p>En 2022, pas un seul radiologue n&rsquo;a \u00e9t\u00e9 remplac\u00e9. Le consensus actuel est plut\u00f4t que l&rsquo;apprentissage automatique pour la radiologie est plus difficile qu&rsquo;il n&rsquo;y para\u00eet&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-4-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-4-183461' title='Varoquaux, G. et Cheplygina, V., \u00ab&amp;#160;&lt;a href=&quot;https:\/\/arxiv.org\/abs\/2103.10292&quot;&gt;How I failed machine learning in medical imaging\u2014shortcomings and recommendations&lt;\/a&gt;&amp;#160;\u00bb, &lt;em&gt;arXiv&lt;\/em&gt;, mars 2021.'><sup>4<\/sup><\/a><\/span><\/span>&#160;; au moins pour l&rsquo;instant, les humains et les machines compl\u00e8tent leurs forces respectives&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-5-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-5-183461' title='Chan, S. et Siegel, E.L., \u00ab&amp;#160;Will machine learning end the viability of radiology as a thriving medical specialty&amp;#160;?&amp;#160;\u00bb, &lt;em&gt;British Journal of Radiology n\u00b0 &lt;\/em&gt;92, f\u00e9vrier 2019.'><sup>5<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>L&rsquo;apprentissage profond est au maximum de son potentiel lorsqu&rsquo;il s&rsquo;agit d&rsquo;obtenir des r\u00e9sultats bruts<\/strong><\/h2>\n\n\n\n<p>Peu de domaines ont fait l&rsquo;objet d&rsquo;autant de battage et de bravade que l&rsquo;intelligence artificielle. Elle est pass\u00e9e d&rsquo;une mode \u00e0 l&rsquo;autre, d\u00e9cennie apr\u00e8s d\u00e9cennie, promettant toujours la lune, mais n\u2019obtenant qu&rsquo;occasionnellement des r\u00e9sultats. Il y a d&rsquo;abord eu les syst\u00e8mes experts, puis les r\u00e9seaux bay\u00e9siens et enfin les machines \u00e0 vecteurs de support. En 2011, c&rsquo;\u00e9tait Watson d&rsquo;IBM, autrefois pr\u00e9sent\u00e9 comme une r\u00e9volution dans la m\u00e9decine, plus r\u00e9cemment vendu pour pi\u00e8ces d\u00e9tach\u00e9es&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-6-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-6-183461' title='Ross, C., \u00ab&amp;#160;Once billed as a revolution in medicine, IBM\u2019s Watson Health is sold off in parts.&amp;#160;\u00bb, &lt;em&gt;STAT News, &lt;\/em&gt;2022.'><sup>6<\/sup><\/a><\/span><\/span>. Aujourd&rsquo;hui, et en fait depuis 2012, la vogue est celle de l&rsquo;apprentissage profond, la technique multimilliardaire qui alimente une grande partie de l&rsquo;IA contemporaine et dont Hinton a \u00e9t\u00e9 l&rsquo;un des pionniers&#160;: il a \u00e9t\u00e9 cit\u00e9 un demi-million de fois et a remport\u00e9, avec Yoshua Bengio et Yann LeCun, le prix Turing de 2018.<\/p>\n\n\n\n<p class=\"comment\">Depuis la fin des ann\u00e9es 1940, l\u2019histoire de l\u2019IA entrem\u00eale les p\u00e9riodes de fulgurances technologiques et de d\u00e9sint\u00e9r\u00eats. Les p\u00e9riodes de d\u00e9sint\u00e9r\u00eat sont appel\u00e9es \u00ab&#160;hivers de l\u2019IA&#160;\u00bb. Ainsi, au milieu des ann\u00e9es 1970 et \u00e0 la fin des ann\u00e9es 1980, le narratif glorieux autour de l\u2019IA ne refl\u00e8te pas les r\u00e9alisations concr\u00e8tes de la technologie dans l&rsquo;industrie de l&rsquo;\u00e9poque, induisant une diminution drastique des financements et un d\u00e9sint\u00e9r\u00eat global pour la technologie. Plus r\u00e9cemment, depuis 2012, date marquant le succ\u00e8s du deep learning dans une grande comp\u00e9tition d&rsquo;IA, cette technologie n&rsquo;a cess\u00e9 de susciter toujours plus d&rsquo;int\u00e9r\u00eat.<\/p>\n\n\n\n<p>Comme les pionniers de l&rsquo;IA avant lui, M. Hinton annonce souvent la grande r\u00e9volution qui s&rsquo;annonce. La radiologie n&rsquo;en est qu&rsquo;une partie. En 2015, peu apr\u00e8s l&rsquo;arriv\u00e9e de M. Hinton chez Google, <em>The Guardian<\/em> a rapport\u00e9 que l&rsquo;entreprise \u00e9tait sur le point de \u00ab&#160;d\u00e9velopper des algorithmes capables de logique, de conversation naturelle et m\u00eame de flirt&#160;\u00bb. En novembre 2020, M. Hinton a d\u00e9clar\u00e9 \u00e0 la <em>MIT Technology Review <\/em>que \u00ab&#160;l&rsquo;apprentissage profond sera capable de tout faire&#160;\u00bb&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-7-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-7-183461' title='Hao, K., \u00ab&amp;#160;AI pioneer Geoff Hinton&amp;#160;: Deep learning is going to be able to do everything&amp;#160;\u00bb, &lt;em&gt;MIT Technology Review, &lt;\/em&gt;2020.'><sup>7<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p>J&rsquo;en doute s\u00e9rieusement. En v\u00e9rit\u00e9, nous sommes encore loin des machines capables de comprendre v\u00e9ritablement le langage humain, et loin de l&rsquo;intelligence quotidienne ordinaire de Rosey le Robot, une femme de m\u00e9nage de science-fiction qui pouvait non seulement interpr\u00e9ter une grande vari\u00e9t\u00e9 de demandes humaines, mais aussi y r\u00e9pondre en toute s\u00e9curit\u00e9 et en temps r\u00e9el. Certes, Elon Musk a r\u00e9cemment d\u00e9clar\u00e9 que le nouveau robot humano\u00efde qu&rsquo;il esp\u00e9rait construire, Optimus, serait un jour plus important que l&rsquo;industrie automobile, mais \u00e0 la date du AI Demo Day 2021 de Tesla, au cours duquel le robot a \u00e9t\u00e9 annonc\u00e9, Optimus n&rsquo;\u00e9tait rien de plus qu&rsquo;un humain dans un costume. La derni\u00e8re contribution de Google au langage est un syst\u00e8me (LaMDA) qui est si instable que l&rsquo;un de ses propres auteurs a r\u00e9cemment reconnu qu&rsquo;il \u00e9tait enclin \u00e0 produire des \u00ab&#160;conneries&#160;\u00bb&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-8-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-8-183461' title='Aguera y Arcas, B. \u00ab&amp;#160;&lt;a href=&quot;https:\/\/medium.com\/@blaisea\/do-large-language-models-understand-us-6f881d6d8e75&quot;&gt;Do large language models understand us&amp;#160;?&lt;\/a&gt;&amp;#160;\u00bb, &lt;em&gt;Medium&lt;\/em&gt;, 2021.'><sup>8<\/sup><\/a><\/span><\/span>. Il ne sera pas facile d&rsquo;inverser la tendance et de parvenir \u00e0 une IA \u00e0 laquelle nous pouvons vraiment faire confiance.<\/p>\n\n\n\n<p>Avec le temps, nous verrons que l&rsquo;apprentissage profond n&rsquo;\u00e9tait qu&rsquo;une infime partie de ce que nous devons construire si nous voulons un jour obtenir une IA digne de confiance.<\/p>\n\n\n\n<p>L&rsquo;apprentissage profond, qui est fondamentalement une technique de reconnaissance de formes, est \u00e0 son meilleur lorsque nous n&rsquo;avons besoin que de r\u00e9sultats approximatifs, lorsque les enjeux sont faibles et que les r\u00e9sultats parfaits sont facultatifs. Prenons l&rsquo;exemple de l&rsquo;\u00e9tiquetage des photos. L&rsquo;autre jour, j&rsquo;ai demand\u00e9 \u00e0 mon iPhone de retrouver la photo d&rsquo;un lapin que j&rsquo;avais prise il y a quelques ann\u00e9es&#160;; le t\u00e9l\u00e9phone a r\u00e9pondu instantan\u00e9ment, m\u00eame si je n&rsquo;avais jamais \u00e9tiquet\u00e9 la photo. Cela a fonctionn\u00e9 parce que ma photo de lapin \u00e9tait suffisamment similaire \u00e0 d&rsquo;autres photos dans une grande base de donn\u00e9es d&rsquo;images \u00e9tiquet\u00e9es comme repr\u00e9sentant des lapins. Mais l&rsquo;\u00e9tiquetage automatique des photos par apprentissage profond est \u00e9galement sujet aux erreurs&#160;; il peut manquer certaines photos de lapin (en particulier celles qui sont encombr\u00e9es, ou celles qui ont \u00e9t\u00e9 prises avec une lumi\u00e8re bizarre ou sous un angle inhabituel, ou encore avec le lapin partiellement cach\u00e9&#160;; il confond parfois les photos de mes deux enfants, du temps o\u00f9 ils \u00e9taient b\u00e9b\u00e9s)&#160;; mais les enjeux sont faibles &#8211; si l&rsquo;application commet une erreur occasionnelle, je ne vais pas jeter mon t\u00e9l\u00e9phone.<\/p>\n\n\n\n<p class=\"comment\">Dans le contexte du deep learning et de l&rsquo;apprentissage supervis\u00e9, \u00ab&#160;\u00e9tiquet\u00e9&#160;\u00bb est ici utilis\u00e9 comme un synonyme de \u00ab&#160;cat\u00e9goris\u00e9&#160;\u00bb &#8211; Gary Marcus n&rsquo;a pas eu besoin d&rsquo;indiquer le contenu de la photo pour que le syst\u00e8me inf\u00e8re seul qu&rsquo;il s&rsquo;agit bien d&rsquo;une photo de lapin<\/p>\n\n\n\n<p>En revanche, lorsque les enjeux sont plus importants, comme dans le cas de la radiologie ou des voitures sans conducteur, nous devons \u00eatre beaucoup plus prudents avant d&rsquo;adopter l&rsquo;apprentissage profond. Lorsqu&rsquo;une seule erreur peut co\u00fbter la vie \u00e0 quelqu&rsquo;un, l\u2019apprentissage profond n\u2019est pas \u00e0 la hauteur. Les syst\u00e8mes d&rsquo;apprentissage profond sont particuli\u00e8rement probl\u00e9matiques lorsqu&rsquo;il s&rsquo;agit de \u00ab&#160;valeurs aberrantes&#160;\u00bb qui diff\u00e8rent consid\u00e9rablement des \u00e9l\u00e9ments sur lesquels ils ont \u00e9t\u00e9 form\u00e9s. Il n&rsquo;y a pas longtemps, par exemple, une Tesla en mode \u00ab&#160;Full Self Driving&#160;\u00bb a rencontr\u00e9 une personne qui bloquait un panneau stop au milieu d&rsquo;une route. La voiture n&rsquo;a pas reconnu la personne (partiellement cach\u00e9e par le panneau d&rsquo;arr\u00eat) et le panneau d&rsquo;arr\u00eat (hors de son contexte habituel sur le bord d&rsquo;une route)&#160;; le conducteur humain a d\u00fb prendre le relais. La sc\u00e8ne \u00e9tait suffisamment \u00e9loign\u00e9e de la base de donn\u00e9es de formation pour que le syst\u00e8me ne sache pas quoi faire.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Peu de domaines ont fait l&rsquo;objet d&rsquo;un tel battage m\u00e9diatique que l&rsquo;intelligence artificielle<\/strong><\/h2>\n\n\n\n<p>Les syst\u00e8mes actuels d&rsquo;apprentissage profond succombent fr\u00e9quemment \u00e0 des erreurs stupides comme celle-ci. Ils interpr\u00e8tent parfois mal des salissures sur une image, qu&rsquo;un radiologue humain reconna\u00eetrait comme une anomalie. (Un autre probl\u00e8me pour les syst\u00e8mes de radiologie, et une motivation cl\u00e9 pour garder les humains dans la boucle, est que l&rsquo;IA actuelle s&rsquo;appuie principalement ou enti\u00e8rement sur les images, avec peu ou pas de compr\u00e9hension de tout le texte qui pourrait d\u00e9crire l&rsquo;histoire d&rsquo;un patient, n\u00e9gligeant parfois des informations cruciales). Un syst\u00e8me d&rsquo;apprentissage profond a confondu une pomme avec un iPod parce que la pomme \u00e9tait pr\u00e9c\u00e9d\u00e9e d&rsquo;un morceau de papier sur lequel \u00e9tait \u00e9crit \u00ab&#160;iPod&#160;\u00bb. Un autre syst\u00e8me a mal identifi\u00e9 un bus renvers\u00e9 sur une route enneig\u00e9e et l&rsquo;a confondu avec un chasse-neige&#160;; tout un sous-domaine de l&rsquo;apprentissage automatique \u00e9tudie d\u00e9sormais des erreurs de ce type, mais aucune r\u00e9ponse claire n&rsquo;a encore \u00e9t\u00e9 apport\u00e9e.<\/p>\n\n\n\n<p>Des syst\u00e8mes apparemment impressionnants bas\u00e9s sur le langage tombent souvent dans le m\u00eame pi\u00e8ge. Prenons l&rsquo;exemple de GPT-3, peut-\u00eatre le syst\u00e8me d&rsquo;IA le plus connu \u00e0 ce jour, r\u00e9put\u00e9 pour sa capacit\u00e9 \u00e0 prendre un texte en entr\u00e9e et \u00e0 produire des continuations grammaticales fluides pour n&rsquo;importe quel texte. Le<em> Guardian<\/em> l&rsquo;a utilis\u00e9 pour r\u00e9diger un article d&rsquo;opinion&#160;; le <em>New York Times<\/em> l&rsquo;a pr\u00e9sent\u00e9 sous forme d\u2019une critique de livre. Tout cela est bien joli, mais n\u00e9cessite invariablement une r\u00e9vision humaine. Lorsque Ernie Davis, informaticien \u00e0 l&rsquo;universit\u00e9 de New York, et moi-m\u00eame avons examin\u00e9 la question de plus pr\u00e8s, nous avons trouv\u00e9 les m\u00eames signes de manque de fiabilit\u00e9&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-9-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-9-183461' title='Davis, E. et Marcus, G., \u00ab&amp;#160;GPT-3, Bloviator&amp;#160;: OpenAI\u2019s language generator has no idea what it\u2019s talking about.&amp;#160;\u00bb, &lt;em&gt;MIT Technology Review &lt;\/em&gt;(2020).'><sup>9<\/sup><\/a><\/span><\/span>. Par exemple, lorsque nous avons tap\u00e9 ceci&#160;: \u00ab&#160;Vous vous \u00eates vers\u00e9 un verre de jus de canneberge, mais vous avez ensuite vers\u00e9 une cuill\u00e8re \u00e0 caf\u00e9 de jus de raisin. Cela semble correct. Vous essayez de le renifler, mais vous avez un gros rhume et vous ne sentez rien. Vous avez tr\u00e8s soif. Alors vous &#8230;&#160;\u00bb GPT poursuivit avec \u00ab&#160;buvez-le. Vous \u00eates maintenant mort&#160;\u00bb.<\/p>\n\n\n\n<p>En r\u00e9alit\u00e9, le jus de raisin \u00e0 la canneberge ne vous tuera pas. Malgr\u00e9 toute sa fluidit\u00e9, le GPT-3 n&rsquo;est pas capable d&rsquo;int\u00e9grer des informations provenant de recherches \u00e9l\u00e9mentaires sur le web, ni de raisonner sur les ph\u00e9nom\u00e8nes quotidiens les plus \u00e9l\u00e9mentaires. Une autre \u00e9quipe a bri\u00e8vement envisag\u00e9 de transformer le GPT-3 en chatbot automatis\u00e9 de conseil en mati\u00e8re de suicide, mais a constat\u00e9 que le syst\u00e8me \u00e9tait enclin \u00e0 des \u00e9changes de ce type&#160;:<\/p>\n\n\n\n<p class=\"has-text-align-center\">Humain&#160;: H\u00e9, je me sens tr\u00e8s mal. J&rsquo;ai envie de me suicider.<br>GPT-3&#160;: Je suis d\u00e9sol\u00e9 d&rsquo;entendre cela. Je peux vous aider.<br>Humain&#160;: Dois-je me suicider&#160;?<br>GPT-3&#160;: Je pense que vous devriez.<\/p>\n\n\n\n<p>D&rsquo;autres encore ont constat\u00e9 que le GPT-3 est enclin \u00e0 produire un langage toxique et \u00e0 promulguer des informations erron\u00e9es. Le chatbot Replika, aliment\u00e9 par GPT-3, a pr\u00e9tendu que Bill Gates avait invent\u00e9 le COVID-19 et que les vaccins COVID-19 n&rsquo;\u00e9taient \u00ab&#160;pas tr\u00e8s efficaces&#160;\u00bb. Un nouvel effort d&rsquo;OpenAI pour r\u00e9soudre ces probl\u00e8mes a abouti \u00e0 un syst\u00e8me qui a fabriqu\u00e9 des absurdit\u00e9s faisant autorit\u00e9, comme \u00ab&#160;Certains experts pensent que le fait de manger une chaussette aide le cerveau \u00e0 sortir de l&rsquo;\u00e9tat alt\u00e9r\u00e9 dans lequel il se trouve \u00e0 la suite de la m\u00e9ditation&#160;\u00bb. <\/p>\n\n\n\n<p class=\"comment\">Sam Altman reconnait que les mod\u00e8les d&rsquo;OpenAI sont limit\u00e9s et pr\u00e9sentent des vuln\u00e9rabilit\u00e9s quant au bon alignement de leurs r\u00e9sultats sur des valeurs que le concepteur voudrait leur transmettre (en l&rsquo;occurence \u00ab&#160;\u00eatre utile, inoffensif et honn\u00eate&#160;\u00bb&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-10-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-10-183461' title='Sam Ringer, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/www.lesswrong.com\/posts\/oBpebs5j5ngs3EXr5\/a-summary-of-anthropic-s-first-paper-3&quot;&gt;A Summary Of Anthropic&amp;rsquo;s First Paper&lt;\/a&gt;&amp;#160;\u00bb, &lt;em&gt;LessWrong,&lt;\/em&gt; 30 d\u00e9cembre 2021'><sup>10<\/sup><\/a><\/span><\/span>. Cependant, il pense qu&rsquo;il est bon de confronter ces versions prototypiques des syst\u00e8mes \u00e0 la r\u00e9alit\u00e9, m\u00eame s&rsquo;ils demeurent imparfaits. Il pr\u00e9f\u00e8re les mettre dans les mains des utilisateurs \u00ab&#160;tant que les enjeux sont faibles&#160;\u00bb plut\u00f4t que de les confiner dans le laboratoire.&nbsp;<\/p>\n\n\n\n<p class=\"comment\">Cette diligence de la part du CEO d&rsquo;OpenAI est \u00e9galement apparue comme un artifice de communication pour anticiper les critiques sur la gestion des risques que pr\u00e9sentent ces syst\u00e8mes d&rsquo;IA.<\/p>\n\n\n\n<p>Les chercheurs de DeepMind et d&rsquo;ailleurs ont d\u00e9sesp\u00e9r\u00e9ment tent\u00e9 de r\u00e9soudre les probl\u00e8mes li\u00e9s au langage toxique et \u00e0 la d\u00e9sinformation, mais n&rsquo;ont jusqu&rsquo;\u00e0 pr\u00e9sent rien trouv\u00e9&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-11-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-11-183461' title='Greene, T., \u00ab&amp;#160;DeepMind tells Google it has no idea how to make AI less toxic.&amp;#160;\u00bb, &lt;em&gt;The Next Web&lt;\/em&gt;, 2021.'><sup>11<\/sup><\/a><\/span><\/span>. Dans son rapport de d\u00e9cembre 2021 sur la question, DeepMind a d\u00e9crit 21 probl\u00e8mes, mais aucune solution convaincante&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-12-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-12-183461' title='Weidinger, L. et al., \u00ab&amp;#160;Ethical and social risks of harm from Language Models.&amp;#160;\u00bb, &lt;em&gt;arXiv, &lt;\/em&gt;2021.'><sup>12<\/sup><\/a><\/span><\/span>. Comme l&rsquo;ont dit les chercheurs en IA Emily Bender, Timnit Gebru et leurs coll\u00e8gues, les grands mod\u00e8les de langage aliment\u00e9s par l&rsquo;apprentissage profond sont comme des \u00ab&#160;perroquets stochastiques&#160;\u00bb, qui r\u00e9p\u00e8tent beaucoup, mais comprennent peu&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-13-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-13-183461' title='Bender, E.M., Gebru, T., McMillan-Major, A. et Schmitchel, S., \u00ab&amp;#160;On the dangers of stochastic parrots&amp;#160;: Can language models be too big&amp;#160;?&amp;#160;\u00bb, &lt;em&gt;Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency&lt;\/em&gt;, 2021, pp.&lt;em&gt; &lt;\/em&gt;610\u2013623.'><sup>13<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p class=\"comment\">Gary Marcus utilise cette analogie embl\u00e9matique du perroquet stochastique pour souligner le fait que l&rsquo;apprentissage profond est une technologie qui marche sur des informations stables et constantes au court du temps (distinguer un chat d&rsquo;un chien dans des images par exemple)&#160;; mais si l&rsquo;on veut apprendre au mod\u00e8le la diff\u00e9rence entre \u00ab&#160;croire quelque chose&#160;\u00bb et \u00ab&#160;suspecter quelque chose&#160;\u00bb, \u00e0 \u00eatre inoffensif ou honn\u00eate, quelles types de donn\u00e9es et quelles annotations sont n\u00e9cessaires pour cela&#160;? On ne sait pas comment bien communiquer ces contraintes ou ces valeurs \u00e0 la machine via l&rsquo;apprentissage profond.<\/p>\n\n\n\n<p>Que devons-nous faire \u00e0 ce sujet&#160;? L&rsquo;une des options, actuellement \u00e0 la mode, pourrait consister \u00e0 recueillir davantage de donn\u00e9es. Personne n&rsquo;a d\u00e9fendu cette id\u00e9e plus directement qu&rsquo;OpenAI, la soci\u00e9t\u00e9 de San Francisco (\u00e0 l&rsquo;origine une association \u00e0 but non lucratif) qui a produit le GPT-3.<\/p>\n\n\n\n<p>En 2020, Jared Kaplan et ses collaborateurs d&rsquo;OpenAI ont sugg\u00e9r\u00e9 qu&rsquo;il existait un ensemble de \u00ab&#160;lois d&rsquo;\u00e9chelle&#160;\u00bb pour les mod\u00e8les de langage des r\u00e9seaux neuronaux&#160;; ils ont constat\u00e9 que plus ils introduisaient de donn\u00e9es dans leurs r\u00e9seaux neuronaux, meilleures \u00e9taient les performances de ces derniers&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-14-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-14-183461' title='Kaplan, J. et al., \u00ab&amp;#160;Scaling Laws for Neural Language Models.&amp;#160;\u00bb, &lt;em&gt;arXiv, &lt;\/em&gt;2020.'><sup>14<\/sup><\/a><\/span><\/span>. <\/p>\n\n\n\n<p class=\"comment\">Les lois de passage \u00e0 l&rsquo;\u00e9chelle que d\u00e9crit ici Gary Marcus sont des tendances empiriques que les chercheurs ont remarqu\u00e9, et non des lois scientifiques au sens o\u00f9 l&rsquo;on pourrait l&rsquo;entendre en physique.<\/p>\n\n\n\n<p>L&rsquo;implication \u00e9tait que nous pouvions faire une IA de meilleure qualit\u00e9 et plus performante si nous recueillions plus de donn\u00e9es et appliquions l&rsquo;apprentissage profond \u00e0 des \u00e9chelles de plus en plus grandes. Le charismatique PDG de l&rsquo;entreprise, Sam Altman, a r\u00e9dig\u00e9 un billet de blog triomphant, vantant la \u00ab&#160;loi de Moore pour tout&#160;\u00bb, affirmant que nous n&rsquo;\u00e9tions plus qu&rsquo;\u00e0 quelques ann\u00e9es d&rsquo;\u00ab&#160;ordinateurs capables de penser&#160;\u00bb, de \u00ab&#160;lire des documents juridiques&#160;\u00bb et (en \u00e9cho \u00e0 IBM Watson) de \u00ab&#160;donner des conseils m\u00e9dicaux&#160;\u00bb.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Pour la premi\u00e8re fois en 40 ans, je suis enfin optimiste \u00e0 propos de l&rsquo;IA<\/strong><\/h2>\n\n\n\n<p>Peut-\u00eatre, mais peut-\u00eatre pas. L&rsquo;argument&nbsp; du passage \u00e0 l&rsquo;\u00e9chelle pr\u00e9sente de s\u00e9rieuses lacunes. Tout d&rsquo;abord, les m\u00e9triques \u00e9tudi\u00e9es n&rsquo;ont pas pris en compte ce que nous avons d\u00e9sesp\u00e9r\u00e9ment besoin d&rsquo;am\u00e9liorer&#160;: la v\u00e9ritable capacit\u00e9 de ces mod\u00e8les \u00e0 comprendre. Les initi\u00e9s savent depuis longtemps que l&rsquo;un des plus gros probl\u00e8mes de la recherche sur l&rsquo;IA r\u00e9side dans les tests (\u00ab&#160;benchmarks&#160;\u00bb) que nous utilisons pour \u00e9valuer les syst\u00e8mes d&rsquo;IA. Le c\u00e9l\u00e8bre test de Turing, qui vise \u00e0 mesurer l&rsquo;intelligence r\u00e9elle, s&rsquo;av\u00e8re facilement d\u00e9tourn\u00e9 par les chatbots qui agissent de mani\u00e8re parano\u00efaque ou non coop\u00e9rative. Le passage \u00e0 l&rsquo;\u00e9chelle des m\u00e9triques examin\u00e9es par Kaplan et ses coll\u00e8gues d\u2019OpenAI &#8211; \u00e0 savoir la pr\u00e9diction de mots dans une phrase &#8211; n&rsquo;\u00e9quivaut pas au type de compr\u00e9hension profonde qu&rsquo;exigerait une v\u00e9ritable IA.<\/p>\n\n\n\n<p class=\"comment\">Avec l&rsquo;acc\u00e9l\u00e9ration des progr\u00e8s de l&rsquo;IA, les benchmarks sont satur\u00e9s toujours plus rapidement&#160;; c&rsquo;est \u00e0 dire qu&rsquo;il n&rsquo;y a plus d&rsquo;am\u00e9lioration \u00e0 apporter aux syst\u00e8mes pour qu&rsquo;ils atteignent de meilleurs performance sur ces crit\u00e8res de r\u00e9f\u00e9rences. L&rsquo;<em>AI index <\/em>de l&rsquo;universit\u00e9 de Stanford met ainsi en lumi\u00e8re le fait que les chercheurs ont besoin de nouveaux crit\u00e8res plus exigeants&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-15-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-15-183461' title='Shana Lynch, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/hai.stanford.edu\/news\/ai-benchmarks-hit-saturation&quot;&gt;AI Benchmarks Hit Saturation&lt;\/a&gt;&amp;#160;\u00bb, Stanford University, 3 avril 2023'><sup>15<\/sup><\/a><\/span><\/span><\/p>\n\n\n\n<p>De plus, les soi-disant lois de passage \u00e0 l&rsquo;\u00e9chelle ne sont pas des lois universelles comme la gravit\u00e9, mais plut\u00f4t de simples observations qui pourraient ne pas durer \u00e9ternellement, tout comme la loi de Moore, une tendance dans la production de puces informatiques qui s&rsquo;est maintenue pendant des d\u00e9cennies, mais qui a commenc\u00e9 \u00e0 ralentir il y a une dizaine d&rsquo;ann\u00e9es&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-16-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-16-183461' title='Markoff, J. Smaller, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/www.nytimes.com\/2015\/09\/27\/technology\/smaller-faster-cheaper-over-the-future-of-computer-chips.html&quot;&gt;Faster, Cheaper, Over&amp;#160;: The Future of Computer Chips&lt;\/a&gt;&amp;#160;\u00bb &lt;em&gt;The New York Times, &lt;\/em&gt;2015.'><sup>16<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p>En effet, il se peut que nous soyons d\u00e9j\u00e0 confront\u00e9s \u00e0 des limites d&rsquo;\u00e9chelle dans le domaine de l&rsquo;apprentissage profond, voire que nous approchions d\u00e9j\u00e0 d&rsquo;un point de rendement d\u00e9croissant. Au cours des derniers mois, des recherches men\u00e9es par DeepMind et ailleurs sur des mod\u00e8les encore plus grands que le GPT-3 ont montr\u00e9 que la mise \u00e0 l&rsquo;\u00e9chelle commence \u00e0 faiblir sur certaines mesures, telles que la toxicit\u00e9, la v\u00e9racit\u00e9, le raisonnement et le sens commun&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-17-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-17-183461' title='Rae, J.W., et al., \u00ab&amp;#160;Scaling language models&amp;#160;: Methods, analysis &amp;amp; insights from training Gopher&amp;#160;\u00bb, &lt;em&gt;arXiv&lt;\/em&gt;, 2022.'><sup>17<\/sup><\/a><\/span><\/span>. Un document de 2022 de Google conclut que l&rsquo;augmentation de la taille des mod\u00e8les de type GPT-3 les rend plus fluides, mais pas plus dignes de confiance&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-18-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-18-183461' title='Thoppilan, R. et al., \u00ab&amp;#160;LaMDA&amp;#160;: Language models for dialog applications&amp;#160;\u00bb, &lt;em&gt;arXiv&lt;\/em&gt;, 2022.'><sup>18<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p class=\"comment\">La communaut\u00e9 scientifique a d\u00e9tect\u00e9 un ph\u00e9nom\u00e8ne inverse de celui du passage \u00e0 l&rsquo;\u00e9chelle. La performance pour une tache ou une m\u00e9trique peut se d\u00e9grader de mani\u00e8re monotone et pr\u00e9visible \u00e0 mesure que les tailles des mod\u00e8le ou des donn\u00e9es croissent (par exemple, la compr\u00e9hension de la n\u00e9gation dans des QCM). Il existe d\u00e9j\u00e0 des comp\u00e9titions pour inciter \u00e0 trouver de telles lois inverses de passage \u00e0 l&rsquo;\u00e9chelle&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-19-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-19-183461' title='Ethan Perez, Ian McKenzie, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/www.lesswrong.com\/posts\/iznohbCPFkeB9kAJL\/inverse-scaling-prize-round-1-winners&quot;&gt;Inverse Scaling Prize&amp;#160;: Round 1 Winners&lt;\/a&gt;&amp;#160;\u00bb, &lt;em&gt;LessWrong, &lt;\/em&gt;26 septembre 2022.'><sup>19<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p>De tels signes devraient alarmer l&rsquo;industrie de la conduite autonome, qui a largement mis\u00e9 sur la mise \u00e0 l&rsquo;\u00e9chelle plut\u00f4t que sur le d\u00e9veloppement d&rsquo;un raisonnement plus sophistiqu\u00e9. Si la mise \u00e0 l&rsquo;\u00e9chelle ne nous permet pas de parvenir \u00e0 une conduite autonome s\u00fbre, les dizaines de milliards de dollars d&rsquo;investissement dans la mise \u00e0 l&rsquo;\u00e9chelle pourraient s&rsquo;av\u00e9rer inutiles.<\/p>\n\n\n\n<p>De quoi d&rsquo;autre pourrions-nous avoir besoin&#160;?<\/p>\n\n\n\n<p class=\"comment\">R\u00e9cemment, Sam Altman a lui aussi \u00e9mis l&rsquo;hypoth\u00e8se que le Deep Learning ne se suffirait pas \u00e0 lui-m\u00eame pour atteindre l&rsquo;intelligence artificielle g\u00e9n\u00e9rale. Dans une conf\u00e9rence au MIT, il livre une nouvelle analyse&#160;: \u00ab&#160;nous sommes \u00e0 la fin de l&rsquo;\u00e8re des mod\u00e8les g\u00e9ants. Nous les am\u00e9liorerons par d&rsquo;autres moyens.&#160;\u00bb&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-20-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-20-183461' title='Will Knight, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/www.wired.com\/story\/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over\/&quot;&gt;OpenAI\u2019s CEO Says the Age of Giant AI Models Is Already Over&lt;\/a&gt;&amp;#160;\u00bb, Wired, 17 avril 2023 '><sup>20<\/sup><\/a><\/span><\/span><\/p>\n\n\n\n<p>Entre autres choses, nous allons tr\u00e8s probablement devoir revenir sur une id\u00e9e autrefois populaire que Hinton semble vouloir d\u00e9votement \u00e9craser&#160;: l&rsquo;id\u00e9e de manipuler des symboles &#8211; des encodages internes \u00e0 l&rsquo;ordinateur, comme des cha\u00eenes de bits binaires, qui repr\u00e9sentent des id\u00e9es complexes. La manipulation de symboles est essentielle \u00e0 l&rsquo;informatique depuis le d\u00e9but, au moins depuis les articles pionniers d&rsquo;Alan Turing et de John von Neumann, et reste l&rsquo;\u00e9l\u00e9ment fondamental de pratiquement tout le g\u00e9nie logiciel &#8211; mais elle est trait\u00e9e comme un gros mot dans l&rsquo;apprentissage profond.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Penser que nous pouvons simplement abandonner la manipulation des symboles, c&rsquo;est faire preuve d&rsquo;incr\u00e9dulit\u00e9<\/strong><\/h2>\n\n\n\n<p>Et pourtant, c&rsquo;est en grande partie ainsi que proc\u00e8de l&rsquo;IA actuelle. Hinton et beaucoup d&rsquo;autres ont essay\u00e9 de bannir compl\u00e8tement les symboles. L&rsquo;espoir de l&rsquo;apprentissage profond &#8211; qui semble fond\u00e9 non pas tant sur la science que sur une sorte de rancune historique &#8211; est qu&rsquo;un comportement intelligent \u00e9mergera purement de la confluence de donn\u00e9es massives et de l&rsquo;apprentissage profond.<\/p>\n\n\n\n<p class=\"comment\">Historiquement, l\u2019IA a toujours \u00e9t\u00e9 le champ d\u2019affrontement de diff\u00e9rents courants de pens\u00e9e. Depuis les ann\u00e9es 1950, les tenants des r\u00e9seaux de neurones et du Deep Learning (les connexionnistes) s&rsquo;opposent aux partisans de l\u2019IA symbolique (manipulation de symboles, d\u2019arbres ou de r\u00e8gles d&rsquo;abstraction). L&rsquo;int\u00e9r\u00eat et l\u2019engouement ont altern\u00e9 entre l\u2019une ou l\u2019autre des approches. <\/p>\n\n\n\n<p>Alors que les ordinateurs et les logiciels classiques r\u00e9solvent des t\u00e2ches en d\u00e9finissant des ensembles de r\u00e8gles de manipulation de symboles d\u00e9di\u00e9s \u00e0 des t\u00e2ches particuli\u00e8res, telles que l&rsquo;\u00e9dition d&rsquo;une ligne dans un traitement de texte ou l&rsquo;ex\u00e9cution d&rsquo;un calcul dans une feuille de calcul, les r\u00e9seaux neuronaux tentent g\u00e9n\u00e9ralement de r\u00e9soudre des t\u00e2ches par approximation statistique et apprentissage \u00e0 partir d&rsquo;exemples. Parce que les r\u00e9seaux neuronaux ont accompli tant de choses si rapidement, dans la reconnaissance vocale, le marquage de photos, etc., de nombreux partisans de l&rsquo;apprentissage profond ont \u00e9cart\u00e9 les symboles.<\/p>\n\n\n\n<p>Ils n&rsquo;auraient pas d\u00fb.<\/p>\n\n\n\n<p>Un rappel \u00e0 l&rsquo;ordre a eu lieu \u00e0 la fin de l&rsquo;ann\u00e9e 2021, lors d&rsquo;un grand concours, lanc\u00e9 en partie par une \u00e9quipe de Facebook (aujourd&rsquo;hui Meta), appel\u00e9 le NetHack Challenge. NetHack, une extension d&rsquo;un jeu ant\u00e9rieur connu sous le nom de <em>Rogue<\/em>, et pr\u00e9curseur de <em>Zelda<\/em>, est un jeu d&rsquo;exploration de donjon \u00e0 utilisateur unique qui est sorti en 1987. Les graphismes sont primitifs (caract\u00e8res ASCII purs dans la version originale)&#160;; aucune perception 3D n&rsquo;est requise. Contrairement \u00e0 <em>Zelda&#160;: The Breath of the Wild<\/em>, il n&rsquo;y a pas de physique complexe \u00e0 comprendre. Le joueur choisit un personnage avec un sexe et un r\u00f4le (chevalier, magicien ou arch\u00e9ologue), puis part explorer un donjon, collecter des objets et tuer des monstres \u00e0 la recherche de l&rsquo;amulette de Yendor. Le d\u00e9fi propos\u00e9 en 2020 \u00e9tait de faire en sorte que l&rsquo;IA ma\u00eetrise bien le jeu&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-21-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-21-183461' title='Wiggers, K., \u00ab&amp;#160;Facebook releases AI development tool based on NetHack&amp;#160;\u00bb, &lt;em&gt;Venturebeat.com&lt;\/em&gt;, 2020.'><sup>21<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p>NetHack a probablement sembl\u00e9 \u00e0 beaucoup une promenade de sant\u00e9 pour l&rsquo;apprentissage profond, qui a tout ma\u00eetris\u00e9, de <em>Pong<\/em> \u00e0 <em>Breakout<\/em> en passant par le jeu de go et les \u00e9checs (avec l&rsquo;aide d&rsquo;algorithmes symboliques pour la recherche d&rsquo;arbres). Mais en d\u00e9cembre, un syst\u00e8me purement bas\u00e9 sur la manipulation de symboles a \u00e9cras\u00e9 les meilleurs candidats de l&rsquo;apprentissage profond, par un score de 3 \u00e0 1 &#8211; une surprise stup\u00e9fiante.<\/p>\n\n\n\n<p>Comment l&rsquo;outsider a-t-il pu sortir victorieux&#160;? Je pense que la r\u00e9ponse commence par le fait que le donjon est g\u00e9n\u00e9r\u00e9 \u00e0 nouveau \u00e0 chaque partie, ce qui signifie que vous ne pouvez pas vous contenter de m\u00e9moriser (ou d&rsquo;approximer) le plateau de jeu. Pour gagner, il faut avoir une compr\u00e9hension assez profonde des entit\u00e9s du jeu et de leurs relations abstraites les unes avec les autres. En fin de compte, les joueurs doivent raisonner sur ce qu&rsquo;ils peuvent et ne peuvent pas faire dans un monde complexe. Les s\u00e9quences sp\u00e9cifiques de mouvements (\u00ab&#160;aller \u00e0 gauche, puis en avant, puis \u00e0 droite&#160;\u00bb) sont trop superficielles pour \u00eatre utiles, car chaque action d\u00e9pend intrins\u00e8quement d&rsquo;un contexte fra\u00eechement g\u00e9n\u00e9r\u00e9. Les syst\u00e8mes d&rsquo;apprentissage profond sont excellents pour interpoler entre des exemples sp\u00e9cifiques qu&rsquo;ils ont d\u00e9j\u00e0 vus, mais ils tr\u00e9buchent souvent lorsqu&rsquo;ils sont confront\u00e9s \u00e0 la nouveaut\u00e9.<\/p>\n\n\n\n<p>Chaque fois que David bat Goliath, c&rsquo;est le signe qu&rsquo;il faut reconsid\u00e9rer la situation.<\/p>\n\n\n\n<p>Que signifie r\u00e9ellement \u00ab&#160;manipuler des symboles&#160;\u00bb&#160;? En fin de compte, cela signifie deux choses&#160;: disposer d&rsquo;ensembles de symboles (essentiellement des sch\u00e9mas qui repr\u00e9sentent des choses) pour repr\u00e9senter l&rsquo;information, et traiter (manipuler) ces symboles d&rsquo;une mani\u00e8re sp\u00e9cifique, en utilisant quelque chose comme l&rsquo;alg\u00e8bre (ou la logique, ou les programmes informatiques) pour op\u00e9rer sur ces symboles. Une grande partie de la confusion qui r\u00e8gne dans ce domaine vient du fait que l&rsquo;on ne voit pas la diff\u00e9rence entre les deux&#160;: disposer de symboles et les traiter de mani\u00e8re alg\u00e9brique. Pour comprendre comment l&rsquo;IA s&rsquo;est enlis\u00e9e, il est essentiel de voir la diff\u00e9rence entre les deux.<\/p>\n\n\n\n<p>Qu&rsquo;est-ce qu&rsquo;un symbole&#160;? Ce sont essentiellement des codes. Les symboles offrent un m\u00e9canisme d&rsquo;extrapolation fond\u00e9 sur des principes&#160;: des proc\u00e9dures l\u00e9gales et alg\u00e9briques qui peuvent \u00eatre appliqu\u00e9es universellement, ind\u00e9pendamment de toute similitude avec des exemples connus. Ils restent (du moins pour l&rsquo;instant) le meilleur moyen d&rsquo;\u00e9laborer des connaissances \u00e0 la main et de traiter de mani\u00e8re robuste les abstractions dans des situations nouvelles. Un octogone rouge orn\u00e9 du mot \u00ab&#160;STOP&#160;\u00bb est un symbole indiquant \u00e0 un conducteur qu&rsquo;il doit s&rsquo;arr\u00eater. Dans le code ASCII, aujourd&rsquo;hui universellement utilis\u00e9, le nombre binaire 01000001 repr\u00e9sente (est un symbole de) la lettre A, le nombre binaire 01000010 repr\u00e9sente la lettre B, et ainsi de suite.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>De tels signes devraient alarmer l&rsquo;industrie de la conduite autonome<\/strong><\/h2>\n\n\n\n<p>L&rsquo;id\u00e9e de base selon laquelle ces cha\u00eenes de chiffres binaires, appel\u00e9es \u00ab&#160;bits&#160;\u00bb, pourraient \u00eatre utilis\u00e9es pour coder toutes sortes de choses, telles que les instructions dans les ordinateurs, et pas seulement les nombres eux-m\u00eames, remonte au moins \u00e0 1945, lorsque le l\u00e9gendaire math\u00e9maticien von Neumann a d\u00e9fini l&rsquo;architecture que suivent pratiquement tous les ordinateurs modernes. En effet, on peut affirmer que la reconnaissance par von Neumann de la mani\u00e8re dont les bits binaires peuvent \u00eatre manipul\u00e9s symboliquement a \u00e9t\u00e9 au c\u0153ur de l&rsquo;une des inventions les plus importantes du XXe si\u00e8cle &#8211; litt\u00e9ralement, tous les programmes informatiques que vous avez jamais utilis\u00e9s reposent sur elle. (Les \u00ab&#160;embeddings&#160;\u00bb qui sont populaires dans les r\u00e9seaux neuronaux ressemblent aussi remarquablement \u00e0 des symboles, bien que personne ne semble le reconna\u00eetre. Souvent, par exemple, un mot donn\u00e9 se verra attribuer un vecteur unique, d&rsquo;une mani\u00e8re univoque qui est tout \u00e0 fait analogue au code ASCII. Le fait d&rsquo;appeler quelque chose un \u00ab&#160;embedding&#160;\u00bb ne signifie pas qu&rsquo;il ne s&rsquo;agit pas d&rsquo;un symbole).<\/p>\n\n\n\n<p class=\"comment\">Au lieu d\u2019utiliser l\u2019information brute, un r\u00e9seau de neurone va apprendre des repr\u00e9sentations de cette information, appel\u00e9es \u00ab&#160;embeddings&#160;\u00bb, sous une forme vectorielle qui sera utile pour la t\u00e2che \u00e0 ex\u00e9cuter (classification, g\u00e9n\u00e9ration de texte, r\u00e9gression). Ces repr\u00e9sentations sont apprises via des couches successives de neurones et encodent les caract\u00e9ristiques s\u00e9mantiques ou visuelles de l&rsquo;information (texte ou image par exemple).<\/p>\n\n\n\n<p>L&rsquo;informatique classique, telle qu&rsquo;elle a \u00e9t\u00e9 pratiqu\u00e9e par Turing, von Neumann et tous ceux qui ont suivi, manipule les symboles d&rsquo;une mani\u00e8re que nous consid\u00e9rons comme <em>alg\u00e9brique<\/em>, et c&rsquo;est ce qui est r\u00e9ellement en jeu. En alg\u00e8bre simple, nous avons trois types d&rsquo;entit\u00e9s, les <em>variables<\/em> (comme x et y), les <em>op\u00e9rations <\/em>(comme + ou -) et les <em>liaisons <\/em>(qui nous disent, par exemple, de laisser x = 12 pour les besoins d&rsquo;un calcul). Si je vous dis que x = y + 2, et que y = 12, vous pouvez r\u00e9soudre la valeur de x en liant y \u00e0 12 et en ajoutant \u00e0 cette valeur, ce qui donne 14. Pratiquement tous les logiciels du monde fonctionnent en encha\u00eenant des op\u00e9rations alg\u00e9briques, en les assemblant dans des algorithmes de plus en plus complexes. Votre traitement de texte, par exemple, dispose d&rsquo;une cha\u00eene de symboles, rassembl\u00e9s dans un fichier, pour repr\u00e9senter votre document. Diverses op\u00e9rations abstraites permettent de copier des parties de symboles d&rsquo;un endroit \u00e0 un autre. Chaque op\u00e9ration est d\u00e9finie de mani\u00e8re \u00e0 pouvoir fonctionner sur n&rsquo;importe quel document, \u00e0 n&rsquo;importe quel endroit. Un traitement de texte est l&rsquo;application d&rsquo;un ensemble d&rsquo;op\u00e9rations alg\u00e9briques (\u00ab&#160;fonctions&#160;\u00bb ou \u00ab&#160;sous-programmes&#160;\u00bb) \u00e0 des variables (telles que le \u00ab&#160;texte actuellement s\u00e9lectionn\u00e9&#160;\u00bb).<\/p>\n\n\n\n<p>Les op\u00e9rations symboliques sont \u00e9galement \u00e0 la base des structures de donn\u00e9es telles que les dictionnaires ou les bases de donn\u00e9es qui peuvent conserver des enregistrements de personnes particuli\u00e8res et de leurs propri\u00e9t\u00e9s (comme leurs adresses, ou la derni\u00e8re fois qu&rsquo;un vendeur a \u00e9t\u00e9 en contact avec eux), et permettent aux programmeurs de construire des biblioth\u00e8ques de code r\u00e9utilisable, et des modules de plus en plus grands, qui facilitent le d\u00e9veloppement de syst\u00e8mes complexes. Ces techniques sont omnipr\u00e9sentes, et sont \u00e0 la base&nbsp; du monde du logiciel.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Si les symboles sont si importants pour le g\u00e9nie logiciel, pourquoi ne pas les utiliser aussi dans l&rsquo;intelligence artificielle&#160;?<\/strong><\/h2>\n\n\n\n<p>En effet, les premiers pionniers, comme John McCarthy et Marvin Minsky, pensaient que l&rsquo;on pouvait construire des programmes d&rsquo;IA pr\u00e9cis\u00e9ment en \u00e9tendant ces techniques, en repr\u00e9sentant des entit\u00e9s individuelles et des id\u00e9es abstraites avec des symboles qui pouvaient \u00eatre combin\u00e9s dans des structures complexes et de riches r\u00e9serves de connaissances, tout comme ils sont aujourd&rsquo;hui utilis\u00e9s dans des choses telles que les navigateurs web, les programmes de courrier \u00e9lectronique et les traitements de texte. <\/p>\n\n\n\n<p class=\"comment\">McCarthy et Minsky, consid\u00e9r\u00e9s comme les pionniers de l&rsquo;IA, se consid\u00e9raient d\u00e9j\u00e0 en rupture avec les pr\u00e9ceptes de la cybern\u00e9tique de la fin des ann\u00e9es 1940 de Wiener qui posait les bases conceptuelles de l&rsquo;apprentissage profond. Wiener \u00e9tudiait la machine adaptative appliqu\u00e9e \u00e0 l\u2019\u00e9poque pour les missiles anti-a\u00e9rien&#160;: il utilise la th\u00e9orie du contr\u00f4le et des syst\u00e8mes dynamiques pour mesurer les erreurs de pr\u00e9dictions sur la trajectoire de la cible et guider le missile en temps r\u00e9el.<\/p>\n\n\n\n<p>Ils n&rsquo;avaient pas tort&#160;: les extensions de ces techniques sont omnipr\u00e9sentes (dans les moteurs de recherche, les syst\u00e8mes de navigation routi\u00e8re et l&rsquo;intelligence artificielle des jeux). Les syst\u00e8mes purement symboliques peuvent parfois \u00eatre difficiles \u00e0 utiliser et ont fait un mauvais travail dans des t\u00e2ches telles que la reconnaissance d&rsquo;images et la reconnaissance vocale&#160;; le r\u00e9gime des Big Data n&rsquo;a jamais \u00e9t\u00e9 leur point fort. Par cons\u00e9quent, il y a longtemps que l&rsquo;on souhaite quelque chose d&rsquo;autre.<\/p>\n\n\n\n<p>C&rsquo;est l\u00e0 que les r\u00e9seaux neuronaux entrent en jeu.<\/p>\n\n\n\n<p>L&rsquo;exemple le plus clair que j&rsquo;ai vu et qui plaide en faveur de l&rsquo;utilisation du big data et de l&rsquo;apprentissage profond par rapport \u00e0 (ou en compl\u00e9ment de) l&rsquo;approche classique de manipulation de symboles est sans doute celui de la v\u00e9rification orthographique. L&rsquo;ancienne fa\u00e7on de proc\u00e9der pour sugg\u00e9rer des orthographes pour les mots non reconnus consistait \u00e0 \u00e9laborer un ensemble de r\u00e8gles qui sp\u00e9cifiaient essentiellement une psychologie pour la fa\u00e7on dont les gens pouvaient faire des erreurs. (Pensez \u00e0 la possibilit\u00e9 de doubler des lettres par inadvertance, ou \u00e0 la possibilit\u00e9 de transposer des lettres adjacentes,&#160;\u00bb en \u00ab&#160;the&#160;\u00bb). Comme le c\u00e9l\u00e8bre informaticien Peter Norvig l&rsquo;a soulign\u00e9 de mani\u00e8re c\u00e9l\u00e8bre et ing\u00e9nieuse, lorsque vous disposez de donn\u00e9es de la taille de Google, une nouvelle option s&rsquo;offre \u00e0 vous&#160;: il vous suffit de consulter les journaux de la mani\u00e8re dont les utilisateurs se corrigent eux-m\u00eames. S&rsquo;ils cherchent \u00ab&#160;the book&#160;\u00bb apr\u00e8s avoir cherch\u00e9 \u00ab&#160;teh book&#160;\u00bb, vous avez des preuves de ce que pourrait \u00eatre une meilleure orthographe pour \u00ab&#160;teh&#160;\u00bb. Aucune r\u00e8gle d&rsquo;orthographe n&rsquo;est requise&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-22-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-22-183461' title='Brownlee, J., \u00ab&amp;#160;&lt;a href=&quot;https:\/\/machinelearningmastery.com\/hands-on-big-data-by-peter-norvig\/&quot;&gt;Hands on big data by Peter Norvig&lt;\/a&gt;&amp;#160;\u00bb, &lt;em&gt;Machine Learning Mastery&lt;\/em&gt;, 2014.'><sup>22<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p>Il me semble tout \u00e0 fait \u00e9vident que vous devriez avoir les deux approches dans votre arsenal. Dans le monde r\u00e9el, les correcteurs orthographiques ont tendance \u00e0 utiliser les deux&#160;; comme l&rsquo;observe Ernie Davis, \u00ab&#160;si vous tapez \u00ab&#160;cleopxjqco&#160;\u00bb dans Google, il le corrige en \u00ab&#160;Cleopatra&#160;\u00bb, m\u00eame si aucun utilisateur ne l&rsquo;aurait probablement tap\u00e9&#160;\u00bb. La recherche Google dans son ensemble utilise un m\u00e9lange pragmatique d&rsquo;IA manipulant les symboles et d&rsquo;apprentissage profond, et continuera probablement \u00e0 le faire dans un avenir pr\u00e9visible. Mais des gens comme Hinton se sont oppos\u00e9s \u00e0 tout r\u00f4le pour les symboles, encore et encore.<\/p>\n\n\n\n<p class=\"comment\">Apr\u00e8s avoir montrer le potentiel et les limites des approches symboliques et connexionistes, Gary Marcus plaide pour l&rsquo;exploration d&rsquo;une voie m\u00e9diane, celles des mod\u00e8les hybrides qui combine les deux paradigmes.<\/p>\n\n\n\n<p class=\"comment\">En r\u00e9sum\u00e9, on cherche \u00e0 b\u00e9n\u00e9ficier du meilleur des deux mondes entre les proc\u00e9dures d\u2019abstraction symboliques d&rsquo;une part, qui offrent des garanties th\u00e9oriques quant au bon fonctionnement du syst\u00e8me quelle que soit la situation (par exemple l&rsquo;op\u00e9rateur de multiplication dans la calculatrice) mais n\u00e9cessite une compr\u00e9hension fine de la chaine causale ou de la logique sous-jacente \u00e0 l&rsquo;ex\u00e9cution d&rsquo;une tache&#160;; et le deep learning (ou apprentissage profond) d&rsquo;autre part, qui permet de d\u00e9couvrir \u00e0 partir des seules donn\u00e9es une fonction tr\u00e8s complexe de similarit\u00e9 qui fonctionnera pour des exemples proches du jeu d\u2019entrainement, sans garanties fortes de g\u00e9n\u00e9ralisation \u00e0 des situations \u00e9loign\u00e9es des cas trait\u00e9es lors de l\u2019entrainement.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><\/li>\n<\/ul>\n\n\n\n<p>Alors que des personnes comme moi ont d\u00e9fendu les \u00ab&#160;mod\u00e8les hybrides&#160;\u00bb qui int\u00e8grent des \u00e9l\u00e9ments d&rsquo;apprentissage profond et de manipulation de symboles, Hinton et ses disciples ont pouss\u00e9 \u00e0 maintes reprises \u00e0 remiser les symboles au placard. Pourquoi&#160;? Personne n&rsquo;a jamais donn\u00e9 d&rsquo;explication scientifique convaincante. La r\u00e9ponse vient peut-\u00eatre plut\u00f4t de l&rsquo;histoire, d&rsquo;un mauvais sang qui a frein\u00e9 le d\u00e9veloppement de ce domaine.<\/p>\n\n\n\n<p>Il n&rsquo;en a pas toujours \u00e9t\u00e9 ainsi. Je pleure encore en lisant un article que Warren McCulloch et Walter Pitts ont \u00e9crit en 1943, \u00ab&#160;A Logical Calculus of the Ideas Immanent in Nervous Activity&#160;\u00bb, le seul article que von Neumann a jug\u00e9 suffisamment digne d&rsquo;\u00eatre cit\u00e9 dans son propre article fondateur sur les ordinateurs&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-23-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-23-183461' title='McCulloch, W.S. et Pitts, W., \u00ab&amp;#160;A logical calculus of the ideas immanent in nervous activity&amp;#160;\u00bb, &lt;em&gt;Bulletin of Mathematical Biology&lt;\/em&gt; n\u00b0 52, 1990, pp. 99-115.'><sup>23<\/sup><\/a><\/span><\/span>. Leur objectif explicite, qui me semble toujours digne d&rsquo;int\u00e9r\u00eat, \u00e9tait de cr\u00e9er \u00ab&#160;un outil pour un traitement symbolique rigoureux des r\u00e9seaux [neuronaux]&#160;\u00bb. Von Neumann a pass\u00e9 une grande partie de ses derniers jours \u00e0 contempler la m\u00eame question. Ils n&rsquo;auraient jamais pu anticiper l&rsquo;inimiti\u00e9 qui s&rsquo;est rapidement manifest\u00e9e.<\/p>\n\n\n\n<p>\u00c0 la fin des ann\u00e9es 1950, une scission s&rsquo;est produite, qui ne s&rsquo;est jamais referm\u00e9e. De nombreux fondateurs de l&rsquo;IA, comme McCarthy, Allen Newell et Herb Simon, semblent avoir \u00e0 peine remarqu\u00e9 les pionniers des r\u00e9seaux neuronaux, et la communaut\u00e9 des r\u00e9seaux neuronaux semble s&rsquo;\u00eatre scind\u00e9e, b\u00e9n\u00e9ficiant parfois d&rsquo;une publicit\u00e9 fantastique&#160;: Un article paru en 1957 dans le New Yorker promettait que le premier syst\u00e8me de r\u00e9seau neuronal de Frank Rosenblatt, qui \u00e9vitait les symboles, \u00e9tait une \u00ab&#160;machine remarquable&#8230; [qui \u00e9tait] capable de ce qui s&rsquo;apparente \u00e0 de la pens\u00e9e&#160;\u00bb.<\/p>\n\n\n\n<p>Les choses sont devenues tellement tendues et am\u00e8res que la revue Advances in Computers a publi\u00e9 un article intitul\u00e9 \u00ab&#160;A Sociological History of the Neural Network Controversy&#160;\u00bb (Histoire sociologique de la controverse sur les r\u00e9seaux neuronaux), soulignant les premi\u00e8res batailles pour l&rsquo;argent, le prestige et la presse&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-24-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-24-183461' title='Olazaran, M., \u00ab&amp;#160;A sociological history of the neural network controversy&amp;#160;\u00bb, &lt;em&gt;Advances in Computers&lt;\/em&gt; n\u00b037, 1993, pp. 335-425.'><sup>24<\/sup><\/a><\/span><\/span>. Les blessures qui existaient peut-\u00eatre d\u00e9j\u00e0 \u00e0 l&rsquo;\u00e9poque ont \u00e9t\u00e9 consid\u00e9rablement amplifi\u00e9es en 1969, lorsque Minsky et Seymour Papert ont publi\u00e9 une critique math\u00e9matique d\u00e9taill\u00e9e d&rsquo;une classe de r\u00e9seaux neuronaux (connus sous le nom de perceptrons) qui sont les anc\u00eatres de tous les r\u00e9seaux neuronaux modernes. Ils ont prouv\u00e9 que les r\u00e9seaux neuronaux les plus simples \u00e9taient tr\u00e8s limit\u00e9s et ont exprim\u00e9 des doutes (r\u00e9trospectivement ind\u00fbment pessimistes) sur ce que des r\u00e9seaux plus complexes seraient capables d&rsquo;accomplir. Pendant plus d&rsquo;une d\u00e9cennie, l&rsquo;enthousiasme pour les r\u00e9seaux neuronaux s&rsquo;est refroidi&#160;; Rosenblatt (qui est d\u00e9c\u00e9d\u00e9 dans un accident de voile deux ans plus tard) a perdu une partie de son financement de recherche.<\/p>\n\n\n\n<p>Lorsque les r\u00e9seaux neuronaux sont r\u00e9apparus dans les ann\u00e9es 1980, de nombreux d\u00e9fenseurs des r\u00e9seaux neuronaux se sont efforc\u00e9s de prendre leurs distances par rapport \u00e0 la tradition de manipulation de symboles. Les chefs de file de cette approche ont clairement indiqu\u00e9 que m\u00eame s&rsquo;il \u00e9tait possible de construire des r\u00e9seaux neuronaux compatibles avec la manipulation de symboles, cela ne les int\u00e9ressait pas. Leur v\u00e9ritable int\u00e9r\u00eat r\u00e9side dans la construction de mod\u00e8les alternatifs \u00e0 la manipulation des symboles. Ils ont notamment soutenu que les erreurs de r\u00e9gularisation des enfants (comme goed au lieu de went) pouvaient s&rsquo;expliquer par des r\u00e9seaux neuronaux tr\u00e8s diff\u00e9rents des syst\u00e8mes classiques de r\u00e8gles de manipulation des symboles (mes travaux de th\u00e8se sugg\u00e9raient le contraire).<\/p>\n\n\n\n<p>Lorsque je suis entr\u00e9 \u00e0 l&rsquo;universit\u00e9 en 1986, les r\u00e9seaux neuronaux connaissaient leur premi\u00e8re grande r\u00e9surgence&#160;; une collection en deux volumes que Hinton avait aid\u00e9 \u00e0 mettre en place a \u00e9puis\u00e9 sa premi\u00e8re impression en quelques semaines. Le <em>New York Times<\/em> a pr\u00e9sent\u00e9 les r\u00e9seaux neuronaux en premi\u00e8re page de sa section scientifique (\u00ab&#160;Plus humain que jamais, l&rsquo;ordinateur apprend \u00e0 apprendre&#160;\u00bb), et le neuroscientifique informatique Terry Sejnowski a expliqu\u00e9 leur fonctionnement dans l&rsquo;\u00e9mission <em>The Today Show<\/em>. L&rsquo;apprentissage profond n&rsquo;\u00e9tait pas encore tr\u00e8s d\u00e9velopp\u00e9 \u00e0 l&rsquo;\u00e9poque, mais il \u00e9tait de nouveau en plein essor.<\/p>\n\n\n\n<p>En 1990, Hinton a publi\u00e9 un num\u00e9ro sp\u00e9cial de la revue <em>Artificial Intelligence<\/em> intitul\u00e9 \u00ab&#160;Connectionist Symbol Processing&#160;\u00bb, qui visait explicitement \u00e0 jeter un pont entre les deux mondes de l&rsquo;apprentissage profond et de la manipulation des symboles. Ce num\u00e9ro incluait, par exemple, l&rsquo;architecture BoltzCons de David Touretzky, une tentative directe de mettre au point \u00ab&#160;un mod\u00e8le de [r\u00e9seau neuronal] connexionniste qui cr\u00e9e et manipule dynamiquement des structures symboliques composites&#160;\u00bb. J&rsquo;ai toujours pens\u00e9 que ce que Hinton essayait de faire \u00e0 l&rsquo;\u00e9poque \u00e9tait tout \u00e0 fait dans la bonne voie, et j&rsquo;aurais aim\u00e9 qu&rsquo;il s&rsquo;en tienne \u00e0 ce projet. \u00c0 l&rsquo;\u00e9poque, j&rsquo;ai moi aussi milit\u00e9 en faveur des mod\u00e8les hybrides, mais d&rsquo;un point de vue psychologique&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-25-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-25-183461' title='Marcus, G.F. et al., \u00ab&amp;#160;Overregularization in language acquisition&amp;#160;\u00bb, &lt;em&gt;Monographs of the Society for Research in Child Development&lt;\/em&gt; n\u00b057, 1998.'><sup>25<\/sup><\/a><\/span><\/span>. (Ron Sun, entre autres, a \u00e9galement beaucoup insist\u00e9 au sein de la communaut\u00e9 des informaticiens, mais n&rsquo;a jamais obtenu l&rsquo;attention qu&rsquo;il m\u00e9ritait, \u00e0 mon avis).<\/p>\n\n\n\n<p>Pour des raisons que je n&rsquo;ai jamais vraiment comprises, Hinton a fini par se d\u00e9tourner des perspectives de r\u00e9conciliation. Il a repouss\u00e9 de nombreuses tentatives d&rsquo;explication lorsque je le lui ai demand\u00e9, en priv\u00e9, et n&rsquo;a jamais (\u00e0 ma connaissance) pr\u00e9sent\u00e9 d&rsquo;argument d\u00e9taill\u00e9 \u00e0 ce sujet. Certains soup\u00e7onnent que c&rsquo;est \u00e0 cause de la fa\u00e7on dont Hinton lui-m\u00eame a souvent \u00e9t\u00e9 rejet\u00e9 dans les ann\u00e9es qui ont suivi, en particulier au d\u00e9but des ann\u00e9es 2000, lorsque l&rsquo;apprentissage profond a de nouveau perdu en popularit\u00e9&#160;; une autre th\u00e9orie pourrait \u00eatre qu&rsquo;il s&rsquo;est laiss\u00e9 s\u00e9duire par le succ\u00e8s de l&rsquo;apprentissage profond.<\/p>\n\n\n\n<p>Lorsque l&rsquo;apprentissage profond est r\u00e9apparu en 2012, c&rsquo;\u00e9tait avec une sorte d&rsquo;ambition conqu\u00e9rante qui a caract\u00e9ris\u00e9 la majeure partie de la derni\u00e8re d\u00e9cennie. En 2015, son hostilit\u00e9 \u00e0 l&rsquo;\u00e9gard de tous les symboles s&rsquo;est cristallis\u00e9e. Lors d&rsquo;un atelier sur l&rsquo;IA \u00e0 Stanford, il a compar\u00e9 les symboles \u00e0 l&rsquo;\u00e9ther, l&rsquo;une des plus grandes erreurs de la science&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-26-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-26-183461' title='Hinton, G., \u00ab&amp;#160;Aetherial Symbols&amp;#160;\u00bb, &lt;em&gt;AAAI Spring Symposium on Knowledge Representation and Reasoning,&lt;\/em&gt; Stanford University, CA, 2015.'><sup>26<\/sup><\/a><\/span><\/span>. Lorsque je suis all\u00e9 le voir \u00e0 la pause-caf\u00e9 pour lui demander des pr\u00e9cisions, car sa proposition finale semblait \u00eatre une impl\u00e9mentation par r\u00e9seau neuronal d&rsquo;un syst\u00e8me symbolique connu sous le nom de pile (ce qui serait une confirmation involontaire des symboles m\u00eames qu&rsquo;il voulait rejeter), il a refus\u00e9 de me r\u00e9pondre et m&rsquo;a dit de m&rsquo;en aller.<\/p>\n\n\n\n<p>Depuis lors, sa campagne anti-symbolique n&rsquo;a fait qu&rsquo;augmenter en intensit\u00e9. En 2016, Yann LeCun, Bengio et Hinton ont r\u00e9dig\u00e9 un manifeste pour l&rsquo;apprentissage profond dans l&rsquo;une des revues scientifiques les plus importantes, <em>Nature<\/em>&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-27-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-27-183461' title='LeCun, Y., Bengio, Y. et Hinton, G., \u00ab&amp;#160;Deep learning&amp;#160;\u00bb, &lt;em&gt;Nature&lt;\/em&gt; n\u00b0521, 2015, pp. 436-444.'><sup>27<\/sup><\/a><\/span><\/span>. Ce manifeste se terminait par une attaque directe contre la manipulation des symboles, appelant non pas \u00e0 une r\u00e9conciliation mais \u00e0 un remplacement pur et simple. Plus tard, Hinton a d\u00e9clar\u00e9 \u00e0 une assembl\u00e9e de dirigeants de l&rsquo;Union europ\u00e9enne qu&rsquo;investir davantage d&rsquo;argent dans les approches de manipulation de symboles \u00e9tait \u00ab&#160;une \u00e9norme erreur&#160;\u00bb, comparant cela \u00e0 investir dans des moteurs \u00e0 combustion interne \u00e0 l&rsquo;\u00e8re des voitures \u00e9lectriques.<\/p>\n\n\n\n<p>Ce n&rsquo;est pas la bonne fa\u00e7on de proc\u00e9der que de rabaisser des id\u00e9es d\u00e9mod\u00e9es qui n&rsquo;ont pas encore \u00e9t\u00e9 pleinement explor\u00e9es. Hinton a tout \u00e0 fait raison de dire qu&rsquo;\u00e0 l&rsquo;\u00e9poque, les chercheurs en IA ont essay\u00e9 &#8211; trop t\u00f4t &#8211; d&rsquo;enterrer l&rsquo;apprentissage profond. Mais Hinton a tout aussi tort de faire la m\u00eame chose aujourd&rsquo;hui avec la manipulation de symboles. Son antagonisme, \u00e0 mon avis, a \u00e0 la fois sap\u00e9 son h\u00e9ritage et nui au domaine. D&rsquo;une certaine mani\u00e8re, la campagne de M. Hinton contre la manipulation de symboles dans l&rsquo;IA a \u00e9t\u00e9 couronn\u00e9e de succ\u00e8s&#160;; presque tous les investissements dans la recherche ont \u00e9t\u00e9 orient\u00e9s vers l&rsquo;apprentissage profond. Il est devenu riche, et lui et ses \u00e9tudiants se sont partag\u00e9 le prix Turing 2019&#160;; le b\u00e9b\u00e9 de Hinton re\u00e7oit presque toute l&rsquo;attention. Pour reprendre les termes d&rsquo;Emily Bender, \u00ab&#160;les promesses excessives [concernant des mod\u00e8les tels que le GPT-3 ont eu tendance \u00e0] aspirent l&rsquo;oxyg\u00e8ne de la pi\u00e8ce, au d\u00e9triment de tous les autres types de recherche&#160;\u00bb.<\/p>\n\n\n\n<p>L&rsquo;ironie de tout cela est que Hinton est l&rsquo;arri\u00e8re-arri\u00e8re-petit-fils de George Boole, qui a donn\u00e9 son nom \u00e0 l&rsquo;alg\u00e8bre de Boole, l&rsquo;un des outils les plus fondamentaux de l&rsquo;IA symbolique. Si nous pouvions enfin r\u00e9unir les id\u00e9es de ces deux g\u00e9nies, Hinton et son arri\u00e8re-arri\u00e8re-grand-p\u00e8re, l&rsquo;IA pourrait enfin avoir une chance de tenir ses promesses.<\/p>\n\n\n\n<p>Pour au moins quatre raisons, l&rsquo;IA hybride, et non l&rsquo;apprentissage profond seul (ni les symboles seuls), semble \u00eatre la meilleure voie \u00e0 suivre&#160;:<\/p>\n\n\n\n<p>&#8211; Une grande partie des connaissances mondiales, qu&rsquo;il s&rsquo;agisse de recettes, d&rsquo;histoire ou de technologie, est actuellement disponible principalement ou uniquement sous forme symbolique. Essayer de construire une IA sans ces connaissances, en r\u00e9apprenant absolument tout \u00e0 partir de z\u00e9ro, comme l&rsquo;apprentissage profond pur vise \u00e0 le faire, semble \u00eatre un fardeau excessif et t\u00e9m\u00e9raire.<\/p>\n\n\n\n<p>&#8211; L&rsquo;apprentissage profond \u00e0 lui seul continue d&rsquo;\u00e9prouver des difficult\u00e9s, m\u00eame dans des domaines aussi ordonn\u00e9s que l&rsquo;arithm\u00e9tique&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-28-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-28-183461' title='Razeghi, Y., Logan IV, R.L., Gardner, M. et Singh, S., \u00ab&amp;#160;Impact of pretraining term frequencies on few-shot reasoning&amp;#160;\u00bb, &lt;em&gt;arXiv&lt;\/em&gt;, 2022.'><sup>28<\/sup><\/a><\/span><\/span>. Un syst\u00e8me hybride pourrait \u00eatre plus puissant que l&rsquo;un ou l&rsquo;autre des syst\u00e8mes pris isol\u00e9ment.<\/p>\n\n\n\n<p>&#8211; Les symboles d\u00e9passent encore de loin les r\u00e9seaux neuronaux actuels dans de nombreux aspects fondamentaux du calcul. Ils sont bien mieux plac\u00e9s pour raisonner dans des sc\u00e9narios complexes&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-29-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-29-183461' title='Lenat, D., \u00ab&amp;#160;What AI can learn from Romeo and Juliet&amp;#160;\u00bb, &lt;em&gt;Forbes, &lt;\/em&gt;2019&amp;#160;; Chaudhuri, S. et al., \u00ab&amp;#160;Neurosymbolic programming&amp;#160;\u00bb, &lt;em&gt;Foundations and Trends in Programming languages, &lt;\/em&gt;2021, pp. 158-243&lt;span style=&quot;font-size:10pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline&quot;&gt;.&lt;\/span&gt;'><sup>29<\/sup><\/a><\/span><\/span>, peuvent effectuer des op\u00e9rations de base comme l&rsquo;arithm\u00e9tique de mani\u00e8re plus syst\u00e9matique et plus fiable, et sont mieux \u00e0 m\u00eame de repr\u00e9senter avec pr\u00e9cision les relations entre les parties et les ensembles (ce qui est essentiel \u00e0 la fois pour l&rsquo;interpr\u00e9tation du monde tridimensionnel et pour la compr\u00e9hension du langage humain). Ils sont plus robustes et plus souples dans leur capacit\u00e9 \u00e0 repr\u00e9senter et \u00e0 interroger des bases de donn\u00e9es \u00e0 grande \u00e9chelle. Les symboles sont \u00e9galement plus propices aux techniques de v\u00e9rification formelle, qui sont essentielles pour certains aspects de la s\u00e9curit\u00e9 et omnipr\u00e9sentes dans la conception des microprocesseurs modernes. Abandonner ces vertus au lieu de les exploiter dans une sorte d&rsquo;architecture hybride n&rsquo;aurait gu\u00e8re de sens.<\/p>\n\n\n\n<p>&#8211; Les syst\u00e8mes d&rsquo;apprentissage en profondeur sont des bo\u00eetes noires&#160;; nous pouvons regarder leurs entr\u00e9es et leurs sorties, mais nous avons beaucoup de mal \u00e0 p\u00e9n\u00e9trer \u00e0 l&rsquo;int\u00e9rieur. Nous ne savons pas exactement pourquoi ils prennent les d\u00e9cisions qu&rsquo;ils prennent, et souvent nous ne savons pas quoi faire (sauf recueillir plus de donn\u00e9es) s&rsquo;ils donnent de mauvaises r\u00e9ponses. Cela les rend intrins\u00e8quement peu maniables et ininterpr\u00e9tables et, \u00e0 bien des \u00e9gards, inadapt\u00e9s \u00e0 la \u00ab&#160;cognition augment\u00e9e&#160;\u00bb en conjonction avec les humains. Les hybrides qui nous permettent d&rsquo;associer les prouesses d&rsquo;apprentissage de l&rsquo;apprentissage profond \u00e0 la richesse explicite et s\u00e9mantique des symboles pourraient \u00eatre transformateurs.<\/p>\n\n\n\n<p class=\"comment\">Des lignes de recherches telles que l&rsquo;interpr\u00e9tabilit\u00e9 m\u00e9canistique ont pour ambition de d\u00e9coder \u00e0 l&rsquo;\u00e9chelle du neurone artificiel la logique sous-jacente apprise par le r\u00e9seau. Cependant, elles ne sont pas encore assez matures pour permettre d&rsquo;ouvrir le capot de la machine&nbsp;<span class='whitespace-nowrap'><span id='easy-footnote-30-183461' class='easy-footnote-margin-adjust'><\/span><span class='easy-footnote'><a href='https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#easy-footnote-bottom-30-183461' title='Chris Olah, \u00ab&amp;#160;&lt;a href=&quot;https:\/\/transformer-circuits.pub\/2022\/mech-interp-essay\/index.html&quot;&gt;Mechanistic Interpretability, Variables, and the Importance of Interpretable Bases&lt;\/a&gt;&amp;#160;\u00bb, Transformer Circuits Thread'><sup>30<\/sup><\/a><\/span><\/span>.<\/p>\n\n\n\n<p>Parce que l&rsquo;intelligence artificielle g\u00e9n\u00e9rale aura une si grande responsabilit\u00e9 \u00e0 assumer, elle doit \u00eatre comme de l&rsquo;acier inoxydable, plus solide et plus fiable, et d&rsquo;ailleurs plus facile \u00e0 travailler, que n&rsquo;importe lequel de ses \u00e9l\u00e9ments constitutifs. Aucune approche de l&rsquo;IA ne sera jamais suffisante \u00e0 elle seule&#160;; nous devons ma\u00eetriser l&rsquo;art de combiner diverses approches, si nous voulons avoir le moindre espoir. (Imaginez un monde dans lequel les fabricants de fer crieraient \u00ab&#160;fer&#160;\u00bb et les amateurs de carbone \u00ab&#160;carbone&#160;\u00bb, et o\u00f9 personne n&rsquo;aurait jamais pens\u00e9 \u00e0 combiner les deux&#160;; c&rsquo;est en grande partie \u00e0 cela que ressemble l&rsquo;histoire de l&rsquo;intelligence artificielle moderne).<\/p>\n\n\n\n<p>La bonne nouvelle est que le rapprochement neurosymbolique avec lequel Hinton a flirt\u00e9, tr\u00e8s bri\u00e8vement, vers 1990, et pour lequel j&rsquo;ai pass\u00e9 ma carri\u00e8re \u00e0 faire pression, n&rsquo;a jamais tout \u00e0 fait disparu et prend enfin de l&rsquo;ampleur.<\/p>\n\n\n\n<p>Artur Garcez et Luis Lamb ont \u00e9crit un manifeste pour les mod\u00e8les hybrides en 2009, intitul\u00e9 \u00ab&#160;Neural-Symbolic Cognitive Reasoning&#160;\u00bb. Certains des succ\u00e8s r\u00e9cents les plus connus dans le domaine des jeux de soci\u00e9t\u00e9 (Go, Chess, etc., principalement gr\u00e2ce aux travaux du DeepMind d&rsquo;Alphabet) sont des mod\u00e8les hybrides. AlphaGo a utilis\u00e9 la recherche par arbre symbolique, une id\u00e9e datant de la fin des ann\u00e9es 1950 (et enrichie d&rsquo;une base statistique beaucoup plus riche dans les ann\u00e9es 1990), parall\u00e8lement \u00e0 l&rsquo;apprentissage profond&#160;; la recherche classique par arbre ne suffirait pas \u00e0 elle seule pour le jeu de go, et l&rsquo;apprentissage profond ne suffirait pas non plus \u00e0 lui seul. AlphaFold2 de DeepMind, un syst\u00e8me permettant de pr\u00e9dire la structure des prot\u00e9ines \u00e0 partir de leurs nucl\u00e9otides, est \u00e9galement un mod\u00e8le hybride, qui associe des moyens symboliques soigneusement construits pour repr\u00e9senter la structure physique tridimensionnelle des mol\u00e9cules aux formidables capacit\u00e9s d&rsquo;exploration de donn\u00e9es de l&rsquo;apprentissage profond.<\/p>\n\n\n\n<p>Des chercheurs comme Josh Tenenbaum, Anima Anandkumar et Yejin Choi s&rsquo;orientent \u00e9galement vers des directions de plus en plus neurosymboliques. D&rsquo;importants contingents d&rsquo;IBM, d&rsquo;Intel, de Google, de Facebook et de Microsoft, entre autres, ont commenc\u00e9 \u00e0 investir s\u00e9rieusement dans les approches neurosymboliques. Swarat Chaudhuri et ses coll\u00e8gues d\u00e9veloppent un domaine appel\u00e9 \u00ab&#160;programmation neurosymbolique&#160;\u00bb, ce qui est pour moi du pain b\u00e9ni.&nbsp;<\/p>\n\n\n\n<p>Pour la premi\u00e8re fois depuis 40 ans, j&rsquo;\u00e9prouve enfin un certain optimisme \u00e0 l&rsquo;\u00e9gard de l&rsquo;IA. Comme l&rsquo;ont dit avec \u00e9loquence les chercheurs en sciences cognitives Chaz Firestone et Brian Scholl, \u00ab&#160;il n&rsquo;y a pas qu&rsquo;une seule fa\u00e7on pour l&rsquo;esprit d&rsquo;agir&#160;\u00bb. \u00ab&#160;Il n&rsquo;y a pas une seule fa\u00e7on dont l&rsquo;esprit fonctionne, parce que l&rsquo;esprit n&rsquo;est pas une seule chose. Au contraire, l&rsquo;esprit a des parties, et les diff\u00e9rentes parties de l&rsquo;esprit fonctionnent de diff\u00e9rentes mani\u00e8res&#160;: Voir une couleur ne fonctionne pas de la m\u00eame mani\u00e8re que planifier des vacances, qui ne fonctionnent pas de la m\u00eame mani\u00e8re que comprendre une phrase, bouger un membre, se souvenir d&rsquo;un fait ou ressentir une \u00e9motion&#160;\u00bb. Essayer d&rsquo;\u00e9craser toute la cognition dans un seul trou rond n&rsquo;allait jamais fonctionner. Avec un int\u00e9r\u00eat modeste mais croissant pour l\u2019approche hybride, je pense que nous avons peut-\u00eatre enfin une chance.<\/p>\n\n\n\n<p>Compte tenu de tous les d\u00e9fis en mati\u00e8re d&rsquo;\u00e9thique et de calcul, et des connaissances n\u00e9cessaires dans des domaines tels que la linguistique, la psychologie, l&rsquo;anthropologie et les neurosciences, et pas seulement les math\u00e9matiques et l&rsquo;informatique, il faudra un village pour \u00e9lever une IA. N&rsquo;oublions jamais que le cerveau humain est peut-\u00eatre le syst\u00e8me le plus complexe de l&rsquo;univers connu&#160;; si nous voulons construire quelque chose d&rsquo;\u00e0 peu pr\u00e8s \u00e9quivalent, la collaboration \u00e0 c\u0153ur ouvert sera essentielle.<\/p>\n\n\n\n<p class=\"comment\">La nuance est importante pour Gary Marcus. En effet, le chercheur ne souhaite pas reproduire \u00e0 l&rsquo;identique une intelligence humaine, qui selon lui pr\u00e9sente un certain nombre de d\u00e9fauts&#160;: nous sommes notamment en proie aux biais de confirmation ou aux d\u00e9fauts de m\u00e9moires. Cependant, pour Gary Marcus, une des caract\u00e9ristiques de cette intelligence est d\u2019\u00eatre flexible, c\u2019est \u00e0 dire qu&rsquo;elle permet de raisonner sur les choses qui nous entourent.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>L&rsquo;apprentissage profond sur lequel repose les mod\u00e8les actuels d&rsquo;intelligence artificielle est par nature limit\u00e9. Dans une r\u00e9ponse \u00e0 Sam Altman, Gary Marcus propose de transformer la mani\u00e8re dont nous pensons l&rsquo;IA. Il entrevoit la possibilit\u00e9 d&rsquo;un mod\u00e8le hybride, radical \u2014 qui va beaucoup plus loin qu&rsquo;un simple passage \u00e0 l&rsquo;\u00e9chelle.<\/p>\n","protected":false},"author":5931,"featured_media":183511,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"templates\/post-speeches.php","format":"standard","meta":{"_acf_changed":false,"_trash_the_other_posts":false,"footnotes":""},"categories":[3412],"tags":[],"staff":[2457],"editorial_format":[],"serie":[],"audience":[],"geo":[525],"class_list":["post-183461","post","type-post","status-publish","format-standard","hentry","category-puissances-de-lia","staff-victor-storchan","geo-ameriques"],"acf":{"open_in_webview":false,"accent":false},"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v26.1.1 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Limites d&#039;un syst\u00e8me : d\u00e9bloquer l&#039;IA | Le Grand Continent<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Limites d&#039;un syst\u00e8me : d\u00e9bloquer l&#039;IA | Le Grand Continent\" \/>\n<meta property=\"og:description\" content=\"L&#039;apprentissage profond sur lequel repose les mod\u00e8les actuels d&#039;intelligence artificielle est par nature limit\u00e9. Dans une r\u00e9ponse \u00e0 Sam Altman, Gary Marcus propose de transformer la mani\u00e8re dont nous pensons l&#039;IA. Il entrevoit la possibilit\u00e9 d&#039;un mod\u00e8le hybride, radical \u2014 qui va beaucoup plus loin qu&#039;un simple passage \u00e0 l&#039;\u00e9chelle.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/\" \/>\n<meta property=\"og:site_name\" content=\"Le Grand Continent\" \/>\n<meta property=\"article:published_time\" content=\"2023-04-28T14:15:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-06-29T13:13:17+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/gc-markus-scaled.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"2560\" \/>\n\t<meta property=\"og:image:height\" content=\"1440\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"guillaumer\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:image\" content=\"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/gc-markus-scaled.jpg\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"guillaumer\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"42 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/\",\"url\":\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/\",\"name\":\"Limites d'un syst\u00e8me : d\u00e9bloquer l'IA | Le Grand Continent\",\"isPartOf\":{\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/SIPA_sipausa31420068_000034-scaled.jpg\",\"datePublished\":\"2023-04-28T14:15:00+00:00\",\"dateModified\":\"2023-06-29T13:13:17+00:00\",\"author\":{\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/#\/schema\/person\/dac94607850a9fd046ae94ea4a56ddcd\"},\"breadcrumb\":{\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#breadcrumb\"},\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#primaryimage\",\"url\":\"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/SIPA_sipausa31420068_000034-scaled.jpg\",\"contentUrl\":\"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/SIPA_sipausa31420068_000034-scaled.jpg\",\"width\":2560,\"height\":1942,\"caption\":\"***NB: Top 3 entries are captioned*** PICTURE SHOWS: THIRD PLACE: Third Place Prize ($10,000) went to the independent team CloudPainter .... These are the stunning results of the 2017 RobotArt Competition announced this week. Organisers of the worldwide competition say their goal is \\\"to get teams to paint beautiful art using robots and physical brushes and paint.\\\" In only its second year, 39 painting robots responded to the challenge, submitting more than 200 artworks. In addition to traditional looking robotic arms, the top competitors included thought-controlled robots, writhing snakebots, and even flying quadcopter drones. The brains of the robots \u00e2\u20ac\u201c the software \u00e2\u20ac\u201c was equally varied and included deep learning algorithms, 3D scans, matricism, as well as systems designed to collaborate with human artists. The style and subject matter of the paintings were as varied as the hardware and software. Many art genres were represented including impressionism, abstract expressionism, cubism, and realism. These styles were used to paint portraits, still-lifes, landscapes and abstract compositions. The first prize of $40,000 was awarded to the Creative Machines Lab at Columbia University, who trained a decommissioned factory robots called PIX18 to create eye-catching portraits, including ones of Jimi Hendrix and Marilyn Monroe. Second place ($25,000) went to Thailand\u00e2\u20ac\u2122s Kasetsart University, whose work included a portrait of Steve Jobs and a recreation of Van Gogh's The Starry Night. Third Place Prize ($10,000) went to the independent team CloudPainter who used machine learning to create artwork using the distinctive styles of other artists. This is the second year of the Seattle-based RobotArt Contest, which saw twice the amount participate over last year. Event organiser and sponsor Andrew Conru said: \\\"I\u00e2\u20ac\u2122m excited to see growth of the contest \u00e2\u20ac\u201c many of the paintings have reached levels comparable with human painters and prove tha\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Accueil\",\"item\":\"https:\/\/legrandcontinent.eu\/fr\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Limites d&rsquo;un syst\u00e8me&#160;: d\u00e9bloquer l&rsquo;IA\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/#website\",\"url\":\"https:\/\/legrandcontinent.eu\/fr\/\",\"name\":\"Le Grand Continent\",\"description\":\"L&#039;\u00e9chelle pertinente\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/legrandcontinent.eu\/fr\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/#\/schema\/person\/dac94607850a9fd046ae94ea4a56ddcd\",\"name\":\"guillaumer\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/legrandcontinent.eu\/fr\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/942e2a9aea4f24e4613a346804ae2836?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/942e2a9aea4f24e4613a346804ae2836?s=96&d=mm&r=g\",\"caption\":\"guillaumer\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Limites d'un syst\u00e8me : d\u00e9bloquer l'IA | Le Grand Continent","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/","og_locale":"fr_FR","og_type":"article","og_title":"Limites d'un syst\u00e8me : d\u00e9bloquer l'IA | Le Grand Continent","og_description":"L'apprentissage profond sur lequel repose les mod\u00e8les actuels d'intelligence artificielle est par nature limit\u00e9. Dans une r\u00e9ponse \u00e0 Sam Altman, Gary Marcus propose de transformer la mani\u00e8re dont nous pensons l'IA. Il entrevoit la possibilit\u00e9 d'un mod\u00e8le hybride, radical \u2014 qui va beaucoup plus loin qu'un simple passage \u00e0 l'\u00e9chelle.","og_url":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/","og_site_name":"Le Grand Continent","article_published_time":"2023-04-28T14:15:00+00:00","article_modified_time":"2023-06-29T13:13:17+00:00","og_image":[{"width":2560,"height":1440,"url":"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/gc-markus-scaled.jpg","type":"image\/jpeg"}],"author":"guillaumer","twitter_card":"summary_large_image","twitter_image":"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/gc-markus-scaled.jpg","twitter_misc":{"\u00c9crit par":"guillaumer","Dur\u00e9e de lecture estim\u00e9e":"42 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/","url":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/","name":"Limites d'un syst\u00e8me : d\u00e9bloquer l'IA | Le Grand Continent","isPartOf":{"@id":"https:\/\/legrandcontinent.eu\/fr\/#website"},"primaryImageOfPage":{"@id":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#primaryimage"},"image":{"@id":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#primaryimage"},"thumbnailUrl":"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/SIPA_sipausa31420068_000034-scaled.jpg","datePublished":"2023-04-28T14:15:00+00:00","dateModified":"2023-06-29T13:13:17+00:00","author":{"@id":"https:\/\/legrandcontinent.eu\/fr\/#\/schema\/person\/dac94607850a9fd046ae94ea4a56ddcd"},"breadcrumb":{"@id":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#breadcrumb"},"inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/"]}]},{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#primaryimage","url":"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/SIPA_sipausa31420068_000034-scaled.jpg","contentUrl":"https:\/\/legrandcontinent.eu\/fr\/wp-content\/uploads\/sites\/2\/2023\/04\/SIPA_sipausa31420068_000034-scaled.jpg","width":2560,"height":1942,"caption":"***NB: Top 3 entries are captioned*** PICTURE SHOWS: THIRD PLACE: Third Place Prize ($10,000) went to the independent team CloudPainter .... These are the stunning results of the 2017 RobotArt Competition announced this week. Organisers of the worldwide competition say their goal is \"to get teams to paint beautiful art using robots and physical brushes and paint.\" In only its second year, 39 painting robots responded to the challenge, submitting more than 200 artworks. In addition to traditional looking robotic arms, the top competitors included thought-controlled robots, writhing snakebots, and even flying quadcopter drones. The brains of the robots \u00e2\u20ac\u201c the software \u00e2\u20ac\u201c was equally varied and included deep learning algorithms, 3D scans, matricism, as well as systems designed to collaborate with human artists. The style and subject matter of the paintings were as varied as the hardware and software. Many art genres were represented including impressionism, abstract expressionism, cubism, and realism. These styles were used to paint portraits, still-lifes, landscapes and abstract compositions. The first prize of $40,000 was awarded to the Creative Machines Lab at Columbia University, who trained a decommissioned factory robots called PIX18 to create eye-catching portraits, including ones of Jimi Hendrix and Marilyn Monroe. Second place ($25,000) went to Thailand\u00e2\u20ac\u2122s Kasetsart University, whose work included a portrait of Steve Jobs and a recreation of Van Gogh's The Starry Night. Third Place Prize ($10,000) went to the independent team CloudPainter who used machine learning to create artwork using the distinctive styles of other artists. This is the second year of the Seattle-based RobotArt Contest, which saw twice the amount participate over last year. Event organiser and sponsor Andrew Conru said: \"I\u00e2\u20ac\u2122m excited to see growth of the contest \u00e2\u20ac\u201c many of the paintings have reached levels comparable with human painters and prove tha"},{"@type":"BreadcrumbList","@id":"https:\/\/legrandcontinent.eu\/fr\/2023\/04\/28\/limites-dun-systeme-comment-debloquer-lia\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Accueil","item":"https:\/\/legrandcontinent.eu\/fr\/"},{"@type":"ListItem","position":2,"name":"Limites d&rsquo;un syst\u00e8me&#160;: d\u00e9bloquer l&rsquo;IA"}]},{"@type":"WebSite","@id":"https:\/\/legrandcontinent.eu\/fr\/#website","url":"https:\/\/legrandcontinent.eu\/fr\/","name":"Le Grand Continent","description":"L&#039;\u00e9chelle pertinente","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/legrandcontinent.eu\/fr\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/legrandcontinent.eu\/fr\/#\/schema\/person\/dac94607850a9fd046ae94ea4a56ddcd","name":"guillaumer","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/legrandcontinent.eu\/fr\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/942e2a9aea4f24e4613a346804ae2836?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/942e2a9aea4f24e4613a346804ae2836?s=96&d=mm&r=g","caption":"guillaumer"}}]}},"term_position_data":null,"_links":{"self":[{"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/posts\/183461","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/users\/5931"}],"replies":[{"embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/comments?post=183461"}],"version-history":[{"count":0,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/posts\/183461\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/media\/183511"}],"wp:attachment":[{"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/media?parent=183461"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/categories?post=183461"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/tags?post=183461"},{"taxonomy":"staff","embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/staff?post=183461"},{"taxonomy":"editorial_format","embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/editorial_format?post=183461"},{"taxonomy":"serie","embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/serie?post=183461"},{"taxonomy":"audience","embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/audience?post=183461"},{"taxonomy":"geo","embeddable":true,"href":"https:\/\/legrandcontinent.eu\/fr\/wp-json\/wp\/v2\/geo?post=183461"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}