Laut einer aktuellen Forschungsstudie machen künstlich intelligente Chatbots im Laufe der Zeit immer mehr Fehler, da neuere Modelle auf den Markt kommen

Lexin Zhou, einer der Autoren der Studie, stellte die Theorie auf, dass KI-Modelle so optimiert sind, dass sie immer glaubwürdige Antworten liefern, die scheinbar richtig sind

Artificially intelligent chatbots are making more mistakes over time, a recent research study titled "Larger and more instructable language models become less reliable" in the Nature Scientific Journal has found.

Künstlich intelligente Chatbots machen mit der Zeit mehr Fehler, wie eine aktuelle Forschungsstudie mit dem Titel „Größere und benutzerfreundlichere Sprachmodelle werden weniger zuverlässig“ im Nature Scientific Journal herausgefunden hat.

The study, which was conducted by a team of researchers from the University of California, Berkeley, the University of Washington, and DeepMind, evaluated the performance of several different chatbot models on a range of natural language processing tasks. They found that the newer, larger models performed worse on many of the tasks than the older, smaller models.

Die Studie, die von einem Forscherteam der University of California, Berkeley, der University of Washington und DeepMind durchgeführt wurde, bewertete die Leistung mehrerer verschiedener Chatbot-Modelle bei einer Reihe von Aufgaben zur Verarbeitung natürlicher Sprache. Sie fanden heraus, dass die neueren, größeren Modelle bei vielen Aufgaben schlechter abschnitten als die älteren, kleineren Modelle.

One of the study's authors, Lexin Zhou, theorized that this decline in performance is due to the way that AI models are optimized. He explained that because these models are designed to always provide believable answers, they tend to prioritize and push the seemingly correct responses to the end user, regardless of whether or not they are actually accurate.

Einer der Autoren der Studie, Lexin Zhou, vermutete, dass dieser Leistungsabfall auf die Art und Weise zurückzuführen ist, wie KI-Modelle optimiert werden. Er erklärte, dass diese Modelle darauf ausgelegt sind, immer glaubwürdige Antworten zu liefern, und dass sie dazu neigen, die scheinbar richtigen Antworten zu priorisieren und an den Endbenutzer weiterzuleiten, unabhängig davon, ob sie tatsächlich korrekt sind oder nicht.

"The models are getting better at generating hallucinated text that sounds plausible and consistent with the context, but they are not necessarily getting better at generating true and factual text," Zhou said in a statement.

„Die Modelle werden immer besser darin, halluzinierten Text zu erzeugen, der plausibel klingt und mit dem Kontext übereinstimmt, aber sie werden nicht unbedingt besser darin, wahren und sachlichen Text zu erzeugen“, sagte Zhou in einer Erklärung.

These AI hallucinations are self-reinforcing and tend to compound over time, a phenomenon that is further exacerbated by the common practice of using older large language models to train newer large language models, a process known as "model collapse."

Diese KI-Halluzinationen verstärken sich selbst und neigen dazu, sich mit der Zeit zu verschlimmern. Dieses Phänomen wird durch die gängige Praxis, ältere große Sprachmodelle zum Trainieren neuerer großer Sprachmodelle zu verwenden, noch verschärft – ein Prozess, der als „Modellkollaps“ bekannt ist.

"The worrying part is that these hallucinations are often difficult to detect, even for humans," Zhou added. "This could lead to people relying on and trusting the output of these models too much, which could have dangerous consequences."

„Das Besorgniserregende daran ist, dass diese Halluzinationen selbst für Menschen oft schwer zu erkennen sind“, fügte Zhou hinzu. „Dies könnte dazu führen, dass sich die Menschen zu sehr auf die Ergebnisse dieser Modelle verlassen und ihnen vertrauen, was gefährliche Folgen haben könnte.“

Mathieu Roy, an editor and writer who covers artificial intelligence for Interesting Engineering, cautioned users not to rely too heavily on these tools and to always check AI-generated search results for inconsistencies, especially if the information being presented seems surprising or too good to be true.

Mathieu Roy, ein Redakteur und Autor, der sich bei Interesting Engineering mit künstlicher Intelligenz befasst, warnte Benutzer davor, sich zu sehr auf diese Tools zu verlassen und KI-generierte Suchergebnisse stets auf Inkonsistenzen zu überprüfen, insbesondere wenn die präsentierten Informationen überraschend oder zu gut erscheinen, um sie zu sein WAHR.

"To make matters worse, there’s often no way to check the information except by asking the chatbot itself," Roy asserted in an article about the study's findings.

„Erschwerend kommt hinzu, dass es oft keine Möglichkeit gibt, die Informationen zu überprüfen, außer indem man den Chatbot selbst befragt“, behauptete Roy in einem Artikel über die Ergebnisse der Studie.

Related: OpenAI raises an additional $6.6B at a 157B valuation

Verwandt: OpenAI sammelt weitere 6,6 Milliarden US-Dollar bei einer Bewertung von 157 Milliarden

The stubborn problem of AI hallucinations

Das hartnäckige Problem der KI-Halluzinationen

The issue of AI hallucinations has been a persistent problem in the development of large language models, despite efforts by researchers and industry leaders to mitigate this tendency.

Das Problem der KI-Halluzinationen ist ein anhaltendes Problem bei der Entwicklung großer Sprachmodelle, trotz der Bemühungen von Forschern und Branchenführern, dieser Tendenz entgegenzuwirken.

In February 2024, Google's artificial intelligence platform drew ridicule after the AI started producing historically inaccurate images. Among other things, the AI was seen portraying people of color as Nazi officers and creating wildly inaccurate images of well-known historical figures.

Im Februar 2024 sorgte Googles Plattform für künstliche Intelligenz für Spott, nachdem die KI begann, historisch ungenaue Bilder zu produzieren. Unter anderem stellte die KI farbige Menschen als Nazi-Offiziere dar und erstellte äußerst ungenaue Bilder bekannter historischer Persönlichkeiten.

Unfortunately, incidents like this are far too common with the current iteration of artificial intelligence and large language models. Several industry executives, including Nvidia CEO Jensen Huang, have proposed possible solutions to this problem, such as forcing AI models to conduct research and provide sources for every single answer that is given to a user.

Leider kommen solche Vorfälle bei der aktuellen Entwicklung künstlicher Intelligenz und großer Sprachmodelle viel zu häufig vor. Mehrere Führungskräfte der Branche, darunter Nvidia-CEO Jensen Huang, haben mögliche Lösungen für dieses Problem vorgeschlagen, beispielsweise die Verpflichtung von KI-Modellen, Recherchen durchzuführen und Quellen für jede einzelne Antwort bereitzustellen, die einem Benutzer gegeben wird.

However, these measures are already featured in the most popular AI and large language models, yet the problem of AI hallucinations still persists.

Allerdings sind diese Maßnahmen bereits in den beliebtesten KI- und großen Sprachmodellen enthalten, dennoch besteht das Problem der KI-Halluzinationen weiterhin.

More recently, in September, HyperWrite AI CEO Matt Shumer announced that the company's new 70B model uses a method called “Reflection-Tuning” — which purportedly gives the AI bot a way of learning by analyzing its own mistakes and adjusting its responses over time.

Kürzlich, im September, gab Matt Shumer, CEO von HyperWrite AI, bekannt, dass das neue 70B-Modell des Unternehmens eine Methode namens „Reflection-Tuning“ verwendet – die dem KI-Bot angeblich die Möglichkeit gibt, zu lernen, indem er seine eigenen Fehler analysiert und seine Reaktionen im Laufe der Zeit anpasst.