MEM0: un nouveau système axé sur la mémoire pour les LLM pour conserver des informations sur les sessions

Les modèles de grands langues peuvent générer des réponses courantes, imiter le ton et même suivre des instructions complexes; Cependant, ils ont du mal à conserver des informations sur plusieurs sessions.

Large language models (LLMs) are revolutionizing natural language processing (NLP) with their ability to generate fluent responses, emulate tone, and follow complex instructions. However, these models still struggle with a critical limitation: they have difficulty retaining information across multiple sessions.

Les modèles de grands langues (LLM) révolutionnent le traitement du langage naturel (PNL) avec leur capacité à générer des réponses courantes, à imiter le ton et à suivre des instructions complexes. Cependant, ces modèles ont encore des difficultés avec une limitation critique: ils ont du mal à conserver des informations sur plusieurs séances.

This limitation becomes increasingly pressing as LLMs are integrated into applications that require long-term engagement with users. From personal assistance and health management to tutoring and more specialized tasks, the seamless flow of conversation is paramount. In real-life conversations, people recall preferences, infer behaviors, and construct mental maps over time. A person who mentioned their dietary restrictions last week expects those to be taken into account the next time food is discussed. Similarly, a user who described their hometown yesterday anticipates the LLM to recognize it and use it in later greetings. Without mechanisms to store and retrieve such details across conversations, AI agents fail to offer the consistency and reliability expected from them, ultimately undermining user trust.

Cette limitation devient de plus en plus pressante car les LLM sont intégrées dans des applications qui nécessitent un engagement à long terme avec les utilisateurs. De l'assistance personnelle et de la gestion de la santé au tutorat et aux tâches plus spécialisées, le flux de conversation transparent est primordial. Dans les conversations réelles, les gens rappellent les préférences, déduisent les comportements et construisent des cartes mentales au fil du temps. Une personne qui a mentionné ses restrictions alimentaires la semaine dernière s'attend à ce qu'elles soient prises en compte la prochaine fois que la nourriture sera discutée. De même, un utilisateur qui a décrit sa ville natale hier prévoit que le LLM le reconnaît et l'utilise dans les salutations ultérieures. Sans mécanismes pour stocker et récupérer ces détails entre les conversations, les agents de l'IA ne parviennent pas à offrir la cohérence et la fiabilité attendues d'eux, sapant finalement la confiance des utilisateurs.

The central challenge with today’s LLMs lies in their inability to persist relevant information beyond the boundaries of a conversation’s context window. These models rely on a limited capacity for tokens, which are units of language used by the model, with some models having a capacity of as high as 128K or 200K tokens. However, when long interactions span days or weeks, even these expanded windows become insufficient. More critically, the quality of attention—the model’s ability to focus on and process specific tokens—degrades over more distant tokens, rendering it harder for the model to locate or utilize earlier context effectively. For instance, a user may personally introduce themselves, switch to a completely different topic like astronomy, and only much later return to the original subject to ask for the personally mentioned fact. Without a robust memory system, the AI will likely ignore the previously mentioned details and instead answer based on the last 10 messages, which in this case would be about astronomy, leading to an incorrect reply. This creates friction and inconvenience, especially in scenarios where continuity and accuracy are crucial. The issue is not just about the model forgetting information, but also about it potentially retrieving the wrong information from irrelevant parts of the conversation history due to token overflow and thematic drift.

Le défi central avec les LLM d'aujourd'hui réside dans leur incapacité à persister des informations pertinentes au-delà des limites de la fenêtre de contexte d'une conversation. Ces modèles reposent sur une capacité limitée de jetons, qui sont des unités de langage utilisées par le modèle, certains modèles ayant une capacité de jetons de 128K ou 200K. Cependant, lorsque de longues interactions s'étendent sur des jours ou des semaines, même ces fenêtres élargies deviennent insuffisantes. Plus critique, la qualité de l'attention - la capacité du modèle à se concentrer et à traiter des jetons spécifiques - se déglade sur des jetons plus éloignés, ce qui le rend plus dur pour le modèle de localiser ou d'utiliser efficacement le contexte antérieur. Par exemple, un utilisateur peut se présenter personnellement, passer à un sujet complètement différent comme l'astronomie, et ne remettre que beaucoup plus tard au sujet d'origine pour demander le fait personnellement mentionné. Sans un système de mémoire robuste, l'IA ignorera probablement les détails mentionnés précédemment et répondra plutôt sur les 10 derniers messages, qui dans ce cas serait une question d'astronomie, conduisant à une réponse incorrecte. Cela crée une friction et des inconvénients, en particulier dans les scénarios où la continuité et la précision sont cruciales. Le problème ne concerne pas seulement le modèle d'informations d'oubli, mais aussi de récupérer potentiellement les mauvaises informations à partir de parties non pertinentes de l'historique de la conversation en raison du débordement des jetons et de la dérive thématique.

Several attempts have been made to address this memory gap. Some systems, like those from Google AI and Stanford, rely on retrieval-augmented generation (RAG) techniques. These systems use a separate component to search for and retrieve relevant text chunks from a large knowledge base or prior conversations using similarity searches. Another category of systems employs full-context approaches, where the entire conversation history is simply re-fed into the model at the beginning of each turn. Finally, there are proprietary memory solutions like OpenAI’s Memory API and open-source alternatives like PEGASO, which try to store past exchanges in specialized vector databases or structured formats. However, these methods often lead to inefficiencies. For instance, RAG systems can retrieve excessive irrelevant information, while full-context approaches increase latency and token costs. Proprietary and open-source solutions may struggle to consolidate updates to existing memories in a meaningful way, and they lack effective mechanisms to detect conflicting data or prioritize newer updates. This fragmentation of memories hinders the models’ ability to reason reliably over time.

Plusieurs tentatives ont été faites pour combler cet écart de mémoire. Certains systèmes, comme ceux de Google AI et de Stanford, comptent sur les techniques de génération (RAG) de la récupération. Ces systèmes utilisent un composant distinct pour rechercher et récupérer des morceaux de texte pertinents à partir d'une grande base de connaissances ou de conversations antérieures à l'aide de recherches de similitude. Une autre catégorie de systèmes utilise des approches de contexte complet, où tout l'historique de conversation est simplement réduit dans le modèle au début de chaque tour. Enfin, il existe des solutions de mémoire propriétaires comme l'API de mémoire d'Openai et des alternatives open source comme Pegaso, qui tentent de stocker des échanges passés dans des bases de données vectorielles spécialisées ou des formats structurés. Cependant, ces méthodes conduisent souvent à des inefficacités. Par exemple, les systèmes de chiffon peuvent récupérer des informations excessives non pertinentes, tandis que les approches de contexte complet augmentent les coûts de latence et de jetons. Les solutions propriétaires et open source peuvent avoir du mal à consolider les mises à jour des souvenirs existants de manière significative, et ils manquent de mécanismes efficaces pour détecter les données contradictoires ou hiérarchiser les nouvelles mises à jour. Cette fragmentation des souvenirs entrave la capacité des modèles à raisonner de manière fiable dans le temps.

To address these limitations, a research team from Mem0.ai developed a novel memory-focused system called Mem0. This architecture introduces a more dynamic mechanism to extract, consolidate, and retrieve information from conversations as they unfold. The design of Mem0 enables the system to systematically identify useful facts from ongoing interactions, assess their relevance and uniqueness, and integrate them into a persistent memory store that can be consulted in future sessions. In essence, Mem0 is capable of "listening" to conversations, extracting key facts, and updating a central memory with these facts. The researchers also proposed a graph-enhanced version of the system, denoted as Mem0g, which builds upon the base system by structuring information in relational formats, connecting facts through entities and their properties.

Pour répondre à ces limitations, une équipe de recherche de MEM0.ai a développé un nouveau système axé sur la mémoire appelée MEM0. Cette architecture introduit un mécanisme plus dynamique pour extraire, consolider et récupérer des informations à partir de conversations au fur et à mesure qu'ils se déroulent. La conception de MEM0 permet au système d'identifier systématiquement des faits utiles à partir d'interactions en cours, d'évaluer leur pertinence et leur caractère unique et de les intégrer dans un magasin de mémoire persistant qui peut être consulté dans les séances futures. Essentiellement, MEM0 est capable d'écouter les conversations, d'extraire des faits clés et de mettre à jour une mémoire centrale avec ces faits. Les chercheurs ont également proposé une version améliorée par le graphique du système, désigné comme MEM0G, qui s'appuie sur le système de base en structurant des informations dans des formats relationnels, en connectant les faits via des entités et leurs propriétés.

These models were tested using the LOCOMO benchmark, a standard framework for evaluating conversational memory systems. They compared six categories of memory-enabled systems: memory-augmented agents, RAG methods with varying configurations, full-context approaches, and both open-source and proprietary tools. The goal was to assess these systems' ability to process a wide range of question types, from single-hop factual lookups to multi-hop and open-domain queries.

Ces modèles ont été testés à l'aide de la référence Locomo, un cadre standard pour évaluer les systèmes de mémoire conversationnelle. Ils ont comparé six catégories de systèmes compatibles avec la mémoire: des agents auprès de la mémoire, des méthodes de chiffon avec des configurations variables, des approches en contexte complet et des outils open-source et propriétaires. L'objectif était d'évaluer la capacité de ces systèmes à traiter un large éventail de types de questions, des recherches factuelles mono-hop aux requêtes multi-hop et à domaine ouvert.

The core of the Mem0 system involves two operational stages. In the first phase, the model processes pairs of messages, typically a user’s question and the assistant’s response, along with summaries of recent conversations. A combination of a global conversation summary over the last hour and the last 10 messages serves as the input for a large language model (LLM) that extracts salient facts. For instance, if the user asks "What is the capital of France?" and the assistant responds with "The capital of France is Paris," the fact extractor would identify "capital_of(France,

Le cœur du système MEM0 implique deux étapes opérationnelles. Dans la première phase, le modèle traite des paires de messages, généralement la question d'un utilisateur et la réponse de l'assistant, ainsi que des résumés des conversations récentes. Une combinaison d'un résumé de conversation mondial au cours de la dernière heure et les 10 derniers messages sert d'entrée pour un modèle de langage grand (LLM) qui extrait des faits saillants. Par exemple, si l'utilisateur demande "Quelle est la capitale de la France?" Et l'assistant répond avec "La capitale de la France est Paris", l'extracteur en fait identifierait "Capital_of (France,