/w=3840,quality=90,fit=scale-down)
Raphael Thys
© CC BY-SA 2.0
Le « scientifique en chef » en matière d’IA chez Meta, titulaire du prestigieux prix Turing pour ses travaux pionniers sur le deep learning, a souhaité mettre les points sur les « i » à propos de ChatGPT et de son concepteur OpenAI.
« Cela n’a rien de révolutionnaire, même si c’est ainsi que c’est perçu par le public ». À l’occasion d’une conférence en ligne à laquelle a pu assister ZDnet, Yann LeCun a tenu à tempérer les ardeurs qui agitent le Web depuis le lancement de ChatGPT, à la fin novembre.
Sa parole est intéressante, car Yann LeCun est loin d’être n’importe qui. Les travaux du chercheur français, désormais scientifique en chef pour l’IA chez Meta, sont en effet aux origines de la technique du deep learning, ou apprentissage profond, qui a révolutionné l’intelligence artificielle à partir de la fin des années 2000. Des recherches qui lui ont même valu le prestigieux prix Turing, le « Nobel de l’informatique ».
« Bien ficelé, mais pas particulièrement innovant »
ChatGPT repose, lui aussi, sur le deep learning pour fonctionner. Mais ne représente pas, selon LeCun, une avancée technique majeure. « En matière de techniques sous-jacentes, ChatGPT n’est pas particulièrement innovant » a-t-il notamment rappelé durant la conférence, tout en admettant que ChatGPT « est bien ficelé, bien réalisé ».
Comme le rappelle aussi LeCun, OpenAI est en effet loin d’être le seul à travailler sur des IA de ce genre, ni forcément en avance sur d’autres laboratoires de recherche. Meta, son employeur, a, lui aussi, conçu un « grand modèle de langage », qui répond au doux nom d’OPT-175B. D’une taille comparable à GPT-3, le modèle qui anime ChatGPT, il a d’ailleurs été livré gratuitement à la communauté scientifique. Google travaille, lui aussi, à des technologies similaires, et a déjà fait la démonstration publique de son bot LaMDA il y a presque deux ans.
« Et il n’y a pas que Google et Meta : une demi-douzaine de start-up dispose d’une technologie fondamentalement très similaire », a précisé LeCun, d’après ZDnet. Avant de rappeler que la technologie derrière le modèle GPT-3 vient à la fois de travaux sur l’apprentissage auto-supervisé, une technologie que LeCun « préconise depuis longtemps, avant même qu’OpenAI n’existe »… Mais aussi des « transformeurs », technique de deep learning introduite par des chercheurs de Google en 2017. Sans compter l’usage d’un feedback humain (RLHF) inauguré par DeepMind -désormais propriété de Google – en 2017.
« ChatGPT et d’autres grands modèles de langage ne sont pas sortis de nulle part, ils sont le résultat de décennies de contributions de diverses personnes » résume LeCun sur Twitter.
The title is blunt, but the article conveys what I said on the @collectivei Q&A about progress in AI.ChatGPT & other LLMs didn't come out of a vacuum & are the results of decades of contributions from various people.No AI lab is significantly ahead of the others. https://t.co/WtLMrQVnVm
Mais que font Google et Meta ?
Reste toutefois une question : si cette technologie est prête, notamment chez des entreprises comme Google ou Meta, pourquoi la laissent-ils au placard ? Selon LeCun, la réponse est assez simple : OpenAI est une entreprise naissante dont l’équation économique est très différente de celle de groupes plus établis. Questionné à ce sujet par un internaute, il répond sur Twitter : « De grandes entreprises auraient pu faire une démonstration publique, mais ne l’ont pas fait, car elles ont moins à gagner qu’une petite entreprise à la recherche d’investisseurs, et beaucoup plus à perdre (à cause de la mauvaise presse). »
Et il est vrai qu’en matière de mauvaise presse, Meta en connaît en effet un rayon. L’entreprise de Mark Zuckerberg a toutefois lancé une expérimentation avec BlenderBot, mais ce robot est uniquement disponible aux États-Unis et a été critiqué à son lancement pour avoir repris des théories complotistes. Quant à Google, il craint visiblement de lâcher un monstre qui nuirait à sa réputation… Et à son porte-monnaie.
Cela devrait vite changer : LeCun n’hésite pas à dire que Meta multipliera les services d’IA générative à l’avenir. Et chez Google, c’est le branle-bas de combat pour vite contrer les initiatives d’OpenAI. ChatGPT n’est peut-être pas révolutionnaire, mais a fait bouger les lignes en quelques semaines.
Sur le même sujet