Les modèles de langage autorégressif ne sont pas condamnés: comment les requêtes de raisonnement en chaîne et attentive empêchent l'incohérence

Yann LeCun, scientifique en chef de l'IA chez Meta et l'un des pionniers de l'IA moderne, a récemment fait valoir que les modèles de grande langue autorégressifs (LLM) sont fondamentalement défectueux.

Yann LeCun, Chief AI Scientist at Meta and one of the pioneers of modern AI, recently shared his thoughts on a fundamental limitation he sees in autoregressive Large Language Models (LLMs). According to LeCun, the probability of generating a correct response decreases exponentially with each token, making them impractical for long-form, reliable AI interactions.

Yann LeCun, scientifique en chef de l'IA chez Meta et l'un des pionniers de l'IA moderne, a récemment partagé ses réflexions sur une limitation fondamentale qu'il voit dans les modèles de grande langue autorégressifs (LLM). Selon LeCun, la probabilité de générer une réponse correcte diminue de façon exponentielle avec chaque jeton, ce qui les rend impraticables pour les interactions AI fiables longues.

While I deeply respect LeCun’s work and approach to AI development and resonate with many of his insights, I believe this particular claim overlooks some key aspects of how LLMs function in practice. In this post, I’ll explain why autoregressive models are not inherently divergent and doomed, and how techniques like Chain-of-Thought (CoT) and Attentive Reasoning Queries (ARQs)—a method we’ve developed to achieve high-accuracy customer interactions with Parlant—effectively prove otherwise.

Bien que je respecte profondément le travail et l'approche de LeCun au développement de l'IA et résonne avec bon nombre de ses idées, je crois que cette affirmation particulière néglige certains aspects clés du fonctionnement des LLM dans la pratique. Dans cet article, je vais expliquer pourquoi les modèles autorégressifs ne sont pas intrinsèquement divergents et condamnés, et comment des techniques telles que la chaîne de pensées (COT) et les requêtes de raisonnement attentif (ARQ) - une méthode que nous avons développée pour réaliser un client de haute performance Les interactions avec Parlant - prouvent efficacement le contraire.

What is Autoregression?

Qu'est-ce que l'autorégression?

At its core, an LLM is a probabilistic model trained to generate text one token at a time. Given an input context, the model predicts the most likely next token, feeds it back into the original sequence, and repeats the process iteratively until a stop condition is met. This allows the model to generate anything from short responses to entire articles.

À la base, un LLM est un modèle probabiliste formé pour générer du texte un jeton à la fois. Compte tenu d'un contexte d'entrée, le modèle prédit le token le plus probable, le renforce dans la séquence d'origine et répète le processus de manière itérative jusqu'à ce qu'une condition d'arrêt soit remplie. Cela permet au modèle de générer quoi que ce soit à partir de réponses courtes aux articles entiers.

For a deeper dive into autoregression, check out our recent technical blog post.

Pour une plongée plus profonde dans l'autorégression, consultez notre récent article de blog technique.

Do Generation Errors Compound Exponentially?

Les erreurs de génération se composent-elles de façon exponentielle?

LeCun’s argument can be unpacked as follows:

L'argument de LeCun peut être déballé comme suit:

Let P be the probability of making a generation error at each token.

Soit P la probabilité de faire une erreur de génération à chaque jeton.

For an output of length n, the probability of maintaining coherence is (1-E)^n.

Pour une sortie de longueur n, la probabilité de maintenir la cohérence est (1-e) ^ n.

This leads to LeCun’s conclusion that for sufficiently long responses, the likelihood of maintaining coherence exponentially approaches zero, suggesting that autoregressive LLMs are inherently flawed.

Cela conduit à la conclusion de LeCun que pour des réponses suffisamment longues, la probabilité de maintenir la cohérence s'approche de façon exponentielle zéro, ce qui suggère que les LLM autorégressives sont intrinsèquement défectueuses.

But here’s the problem: E is not constant.

Mais voici le problème: E n'est pas constant.

To put it simply, LeCun’s argument assumes that the probability of making a mistake in each new token is independent. However, LLMs don’t work that way.

Pour le dire simplement, l'argument de LeCun suppose que la probabilité de faire une erreur dans chaque nouveau jeton est indépendante. Cependant, les LLM ne fonctionnent pas de cette façon.

As an analogy to what allows LLMs to overcome this problem, imagine you’re telling a story: if you make a mistake in one sentence, you can still correct it in the next one to keep the narrative coherent. The same applies to LLMs, especially when techniques like Chain-of-Thought (CoT) prompting guide them toward better reasoning by helping them reassess their own outputs along the way.

En analogie avec ce qui permet aux LLMS de surmonter ce problème, imaginez que vous racontez une histoire: si vous faites une erreur en une phrase, vous pouvez toujours le corriger dans le prochain pour garder le récit cohérent. Il en va de même pour les LLM, en particulier lorsque des techniques telles que la chaîne de réflexion (CO) les invitent à les guider vers un meilleur raisonnement en les aidant à réévaluer leurs propres résultats en cours de route.

Why This Assumption is Flawed

Pourquoi cette hypothèse est défectueuse

LLMs exhibit self-correction properties that prevent them from spiraling into incoherence.

Les LLM présentent des propriétés d'auto-correction qui les empêchent de spirale en incohérence.

Take Chain-of-Thought (CoT) prompting, which encourages the model to generate intermediate reasoning steps. CoT allows the model to consider multiple perspectives, improving its ability to converge to an acceptable answer. Similarly, Chain-of-Verification (CoV) and structured feedback mechanisms like ARQs guide the model in reinforcing valid outputs and discarding erroneous ones.

Prenez une invitation à la chaîne de pensées (COT), qui encourage le modèle à générer des étapes de raisonnement intermédiaires. Le COT permet au modèle de considérer plusieurs perspectives, améliorant sa capacité à converger vers une réponse acceptable. De même, la chaîne de vérification (COV) et les mécanismes de rétroaction structurés comme les ARQ guident le modèle pour renforcer les sorties valides et éliminer les ARQ erronées.

A small mistake early on in the generation process doesn’t necessarily doom the final answer. Figuratively speaking, an LLM can double-check its work, backtrack, and correct errors on the go.

Une petite erreur au début du processus de génération ne condamne pas nécessairement la réponse finale. Au sens figuré, un LLM peut revérifier ses travaux, revenir en arrière et corriger les erreurs en déplacement.

Attentive Reasoning Queries (ARQs) are a Game-Changer

Les requêtes de raisonnement attentif (ARQ) changent la donne

At Parlant, we’ve taken this principle further in our work on Attentive Reasoning Queries (a research paper describing our results is currently in the works, but the implementation pattern can be explored in our open-source codebase). ARQs introduce reasoning blueprints that help the model maintain coherence throughout long completions by dynamically refocusing attention on key instructions at strategic points in the completion process, continuously preventing LLMs from diverging into incoherence. Using them, we’ve been able to maintain a large test suite that exhibits close to 100% consistency in generating correct completions for complex tasks.

Chez Parlant, nous avons approfondi ce principe dans nos travaux sur les requêtes de raisonnement attentif (un document de recherche décrivant nos résultats est actuellement en cours, mais le modèle de mise en œuvre peut être exploré dans notre base de code open source). Les ARQ introduisent des plans de raisonnement qui aident le modèle à maintenir la cohérence tout au long de l'achèvement en recentrant dynamiquement l'attention sur les instructions clés à des points stratégiques du processus d'achèvement, empêchant continuellement les LLM de diverger vers l'incohérence. En les utilisant, nous avons pu maintenir une grande suite de test qui présente une cohérence proche de 100% pour générer des compléments corrects pour des tâches complexes.

This technique allows us to achieve much higher accuracy in AI-driven reasoning and instruction-following, which has been critical for us in enabling reliable and aligned customer-facing applications.

Cette technique nous permet d'atteindre une précision beaucoup plus élevée dans le raisonnement et le suivi des instructions basés sur l'IA, ce qui a été critique pour nous pour permettre des applications fiables et alignées sur le client.

Autoregressive Models Are Here to Stay

Les modèles autorégressifs sont là pour rester

We think autoregressive LLMs are far from doomed. While long-form coherence is a challenge, assuming an exponentially compounding error rate ignores key mechanisms that mitigate divergence—from Chain-of-Thought reasoning to structured reasoning like ARQs.

Nous pensons que les LLM autorégressives sont loin d'être condamnées. Bien que la cohérence de la forme longue est un défi, en supposant qu'un taux d'erreur de composition exponentielle ignore les mécanismes clés qui atténuent la divergence - du raisonnement de la chaîne de réflexion au raisonnement structuré comme les ARQ.

If you’re interested in AI alignment and increasing the accuracy of chat agents using LLMs, feel free to explore Parlant’s open-source effort. Let’s continue refining how LLMs generate and structure knowledge.

Si vous êtes intéressé par l'alignement de l'IA et l'augmentation de la précision des agents de chat à l'aide de LLMS, n'hésitez pas à explorer l'effort open-source de Parlant. Continuons à affiner comment les LLM génèrent et structurent les connaissances.