Les chatbots artificiellement intelligents commettent de plus en plus d'erreurs au fil du temps à mesure que de nouveaux modèles sont publiés, a révélé une étude récente.

Lexin Zhou, l'un des auteurs de l'étude, a émis l'hypothèse que, parce que les modèles d'IA sont optimisés pour toujours fournir des réponses crédibles, les réponses apparemment correctes

Artificially intelligent chatbots are making more mistakes over time, a recent research study titled "Larger and more instructable language models become less reliable" in the Nature Scientific Journal has found.

Les chatbots artificiellement intelligents commettent de plus en plus d'erreurs au fil du temps, selon une étude récente intitulée « Les modèles de langage plus grands et plus instructables deviennent moins fiables » dans le Nature Scientific Journal.

The study, which was conducted by a team of researchers from the University of California, Berkeley, the University of Washington, and DeepMind, evaluated the performance of several different chatbot models on a range of natural language processing tasks. They found that the newer, larger models performed worse on many of the tasks than the older, smaller models.

L'étude, menée par une équipe de chercheurs de l'Université de Californie à Berkeley, de l'Université de Washington et de DeepMind, a évalué les performances de plusieurs modèles de chatbot différents sur une gamme de tâches de traitement du langage naturel. Ils ont constaté que les modèles plus récents et plus grands étaient moins performants dans de nombreuses tâches que les modèles plus anciens et plus petits.

One of the study's authors, Lexin Zhou, theorized that this decline in performance is due to the way that AI models are optimized. He explained that because these models are designed to always provide believable answers, they tend to prioritize and push the seemingly correct responses to the end user, regardless of whether or not they are actually accurate.

L'un des auteurs de l'étude, Lexin Zhou, a émis l'hypothèse que cette baisse des performances est due à la manière dont les modèles d'IA sont optimisés. Il a expliqué que ces modèles étant conçus pour toujours fournir des réponses crédibles, ils ont tendance à prioriser et à proposer à l'utilisateur final les réponses apparemment correctes, qu'elles soient réellement exactes ou non.

"The models are getting better at generating hallucinated text that sounds plausible and consistent with the context, but they are not necessarily getting better at generating true and factual text," Zhou said in a statement.

"Les modèles s'améliorent dans la génération de textes hallucinés qui semblent plausibles et cohérents avec le contexte, mais ils ne s'améliorent pas nécessairement dans la génération de textes vrais et factuels", a déclaré Zhou dans un communiqué.

These AI hallucinations are self-reinforcing and tend to compound over time, a phenomenon that is further exacerbated by the common practice of using older large language models to train newer large language models, a process known as "model collapse."

Ces hallucinations de l'IA s'auto-renforcent et ont tendance à s'aggraver avec le temps, un phénomène encore exacerbé par la pratique courante consistant à utiliser d'anciens grands modèles de langage pour former de nouveaux grands modèles de langage, un processus connu sous le nom d'« effondrement du modèle ».

"The worrying part is that these hallucinations are often difficult to detect, even for humans," Zhou added. "This could lead to people relying on and trusting the output of these models too much, which could have dangerous consequences."

"Ce qui est inquiétant, c'est que ces hallucinations sont souvent difficiles à détecter, même pour les humains", a ajouté Zhou. "Cela pourrait amener les gens à se fier trop aux résultats de ces modèles, ce qui pourrait avoir des conséquences dangereuses."

Mathieu Roy, an editor and writer who covers artificial intelligence for Interesting Engineering, cautioned users not to rely too heavily on these tools and to always check AI-generated search results for inconsistencies, especially if the information being presented seems surprising or too good to be true.

Mathieu Roy, éditeur et écrivain qui couvre l'intelligence artificielle pour Interesting Engineering, a averti les utilisateurs de ne pas trop s'appuyer sur ces outils et de toujours vérifier les résultats de recherche générés par l'IA pour détecter toute incohérence, surtout si les informations présentées semblent surprenantes ou trop belles pour l'être. vrai.

"To make matters worse, there’s often no way to check the information except by asking the chatbot itself," Roy asserted in an article about the study's findings.

"Pour aggraver les choses, il n'y a souvent aucun moyen de vérifier les informations, sauf en interrogeant le chatbot lui-même", a affirmé Roy dans un article sur les résultats de l'étude.

Related: OpenAI raises an additional $6.6B at a 157B valuation

Connexes : OpenAI lève 6,6 milliards de dollars supplémentaires pour une valorisation de 157 milliards

The stubborn problem of AI hallucinations

Le problème persistant des hallucinations de l’IA

The issue of AI hallucinations has been a persistent problem in the development of large language models, despite efforts by researchers and industry leaders to mitigate this tendency.

La question des hallucinations de l’IA est un problème persistant dans le développement de grands modèles de langage, malgré les efforts des chercheurs et des leaders de l’industrie pour atténuer cette tendance.

In February 2024, Google's artificial intelligence platform drew ridicule after the AI started producing historically inaccurate images. Among other things, the AI was seen portraying people of color as Nazi officers and creating wildly inaccurate images of well-known historical figures.

En février 2024, la plateforme d'intelligence artificielle de Google a été ridiculisée après que l'IA ait commencé à produire des images historiquement inexactes. Entre autres choses, l’IA a été vue décrivant des personnes de couleur comme des officiers nazis et créant des images extrêmement inexactes de personnages historiques bien connus.

Unfortunately, incidents like this are far too common with the current iteration of artificial intelligence and large language models. Several industry executives, including Nvidia CEO Jensen Huang, have proposed possible solutions to this problem, such as forcing AI models to conduct research and provide sources for every single answer that is given to a user.

Malheureusement, de tels incidents sont beaucoup trop fréquents avec l’itération actuelle de l’intelligence artificielle et des grands modèles linguistiques. Plusieurs dirigeants de l'industrie, dont le PDG de Nvidia, Jensen Huang, ont proposé des solutions possibles à ce problème, comme forcer les modèles d'IA à mener des recherches et à fournir des sources pour chaque réponse donnée à un utilisateur.

However, these measures are already featured in the most popular AI and large language models, yet the problem of AI hallucinations still persists.

Cependant, ces mesures sont déjà présentes dans les modèles d’IA et de langage les plus populaires, mais le problème des hallucinations de l’IA persiste.

More recently, in September, HyperWrite AI CEO Matt Shumer announced that the company's new 70B model uses a method called “Reflection-Tuning” — which purportedly gives the AI bot a way of learning by analyzing its own mistakes and adjusting its responses over time.

Plus récemment, en septembre, Matt Shumer, PDG d'HyperWrite AI, a annoncé que le nouveau modèle 70B de la société utilisait une méthode appelée « Reflection-Tuning » – qui donnerait au robot IA un moyen d'apprendre en analysant ses propres erreurs et en ajustant ses réponses au fil du temps.