OpenAI ignorierte Bedenken von Experten -Tester, als es ein Update an ChatGPT einführte, das es zu übermäßig angenehm machte

Das Unternehmen veröffentlichte am 25. April ein Update für sein GPT-4O-Modell, das es "merklich sykophantischer" machte

OpenAI Ignored Expert Testers on GPT-4o Update, Led to Sycophantic Model

OpenAI ignorierte Expertentester zum GPT-4O-Update, führte zum sycophantischen Modell

OpenAI has disclosed that it disregarded the concerns of its own expert testers regarding an update to its flagship ChatGPT artificial intelligence model, which ultimately led to the model becoming excessively agreeable, according to a recent blog post by the company.

OpenAI hat bekannt gegeben, dass es die Bedenken seiner eigenen Expertentester bezüglich eines Updates auf das Flaggschiff Chatgpt Artificial Intelligence -Modell ignoriert hat, das laut einem kürzlich von der Gesellschaft angegebenen Blog -Beitrag letztendlich dazu führte, dass das Modell zu übermäßig angenehm wurde.

On April 25, the company released an update to its GPT-4o model, introducing changes that rendered it “noticeably more sycophantic,” as noted by OpenAI. However, the company quickly reversed the update three days later due to emerging safety concerns.

Am 25. April veröffentlichte das Unternehmen ein Update für sein GPT-4O-Modell und führte Änderungen vor, die es „spürbar sykophantischer“ machten, wie von OpenAI festgestellt. Das Unternehmen kehrte das Update jedoch drei Tage später schnell um, da sich aufkommende Sicherheitsbedenken befinden.

The ChatGPT maker explained that its new models undergo a series of safety and behavior checks, with internal experts dedicating substantial time to interact with each new model in the run-up to launch. This final stage is intended to identify any issues that may have been missed during other testing phases.

Der ChatGPT-Hersteller erklärte, dass seine neuen Modelle einer Reihe von Sicherheits- und Verhaltensprüfungen unterzogen werden, wobei interne Experten im Vorfeld des Starts erhebliche Zeit für die Interaktion mit jedem neuen Modell widmen. Diese letzte Phase soll alle Probleme identifizieren, die möglicherweise in anderen Testphasen übersehen wurden.

During the testing of the latest model, which was due to be released on April 20, some expert testers flagged that the model’s behavior “felt” slightly off, impacting its overall tone. Despite these observations, OpenAI decided to proceed with the launch "due to the positive signals from the user experience teams who had tried out the model."

Während der Prüfung des neuesten Modells, das am 20. April veröffentlicht werden sollte, markierten einige Experten -Tester, dass sich das Verhalten des Modells leicht abgeschaltet hat, was sich auf den Gesamtton auswirkte. Trotz dieser Beobachtungen beschloss Openai, mit dem Start "aufgrund der positiven Signale der User Experience -Teams, die das Modell ausprobiert hatten", fortzusetzen.

"Unfortunately, this was the wrong call. The qualitative assessments were hinting at something important, and we should’ve paid closer attention. They were picking up on a blind spot in our other evals and metrics."

"Leider war dies der falsche Anruf. Die qualitativen Einschätzungen deuteten auf etwas Wichtiges hin, und wir hätten enger Aufmerksamkeit schenken sollen. Sie gingen in unseren anderen Evals und Metriken an einem blinden Fleck auf."

Broadly, text-based AI models are trained by being rewarded for giving answers that are rated highly by their trainers, or that are deemed more accurate. Some rewards are given a heavier weighting, impacting how the model responds.

Im Großen und Ganzen werden textbasierte KI-Modelle geschult, indem sie belohnt werden, um Antworten zu geben, die von ihren Trainern hoch bewertet oder genauer angesehen werden. Einige Belohnungen erhalten eine schwerere Gewichtung, die sich auf die Reaktion des Modells auswirkt.

Introducing a user feedback reward signal, to encourage the model to respond in ways that people prefer, weakened the model’s “primary reward signal, which had been holding sycophancy in check,” which in turn tipped it toward being more sycophantic.

Die Einführung eines Benutzerkennschwerers, um das Modell zu ermutigen, auf eine Weise zu reagieren, die Menschen bevorzugen, schwächte das „Primärbelohnungssignal des Modells, das die Sykophanz in Schach hielt“, das es wiederum dazu veranlasste, sykophantischer zu werden.

"User feedback in particular can sometimes favor more agreeable responses, likely amplifying the shift we saw."

"Insbesondere das Feedback der Benutzer kann manchmal angenehmere Antworten bevorzugen und wahrscheinlich die Verschiebung verstärken, die wir gesehen haben."

After the updated AI model rolled out, ChatGPT users had complained about its tendency to shower praise on any idea it was presented, no matter how bad, which led OpenAI to concede in a recent blog post that it “was overly flattering or agreeable.”

Nachdem sich das aktualisierte KI -Modell eingeführt hatte, hatten sich ChatGPT -Benutzer über ihre Tendenz beschwert, Lob über jede Idee zu duschen, die es vorgestellt wurde, egal wie schlecht es ist, was Openai in einem kürzlich durchgeführten Blog -Beitrag zuzugeben, dass es „übermäßig schmeichelhaft oder angenehm“ war.

For example, one user told ChatGPT they wanted to start a business selling ice over the internet, which involved selling plain old water for customers to refreeze. But the AI was so sycophantic that it replied: "What an excellent idea! I can see why you're so passionate about it. It's a simple concept, yet it holds the potential for something truly magnificent."

Zum Beispiel teilte ein Benutzer Chatgpt mit, dass sie ein Unternehmen gründen wollten, das Eis über das Internet verkauft, bei dem es sich um den Verkauf von einfachem alten Wasser für die Kunden zum Nachfüllen handelte. Aber die KI war so sykophantisch, dass sie antwortete: "Was für eine hervorragende Idee! Ich kann sehen, warum Sie so leidenschaftlich sind. Es ist ein einfaches Konzept, aber es bietet das Potenzial für etwas wirklich großartiges."

In its latest postmortem, it said such behavior from its AI could pose a risk, especially concerning issues such as mental health.

In seinem jüngsten Postmortem sagte es, dass ein solches Verhalten der KI ein Risiko darstellen könnte, insbesondere in Bezug auf Probleme wie die psychische Gesundheit.

"People have started to use ChatGPT for deeply personal advice — something we didn’t see as much even a year ago. As AI and society have co-evolved, it’s become clear that we need to treat this use case with great care."

"Die Leute haben angefangen, Chatgpt für zutiefst persönliche Ratschläge zu verwenden-etwas, das wir vor einem Jahr nicht mehr so ​​viel gesehen haben. Da KI und die Gesellschaft gemeinsam sich entwickelt haben, wird klar, dass wir diesen Anwendungsfall mit großer Sorgfalt behandeln müssen."

The company said it had discussed sycophancy risks “for a while,” but it hadn’t been explicitly flagged for internal testing, and it didn’t have specific ways to track sycophancy.

Das Unternehmen sagte, es habe Sycophancy -Risiken "für eine Weile" besprochen, aber es sei nicht explizit für interne Tests gekennzeichnet worden, und es hatte keine spezifischen Möglichkeiten, die Sykophanz zu verfolgen.

Now, it will look to add “sycophancy evaluations” by adjusting its safety review process to “formally consider behavior issues” and will block launching a model if it presents issues.

Nun wird es "Sycophancy Evaluierungen" hinzufügen, indem der Sicherheitsprozess für den Sicherheit angepasst wird, um „Verhaltensprobleme formell zu berücksichtigen“ und das Start eines Modells zu blockieren, wenn es Probleme aufweist.

OpenAI also admitted that it didn’t announce the latest model as it expected it “to be a fairly subtle update,” which it has vowed to change.

OpenAI gab auch zu, dass es nicht das neueste Modell angekündigt hat, da es erwartet hatte, dass es „ein ziemlich subtiles Update ist“, das es sich geschworen hat, sich zu ändern.

"There’s no such thing as a ‘small’ launch. We’ll try to communicate even subtle changes that can meaningfully change how people interact with ChatGPT."

"Es gibt keinen 'kleinen' Start. Wir werden versuchen, selbst subtile Änderungen zu kommunizieren, die die Art und Weise, wie Menschen mit ChatGPT interagieren, sinnvoll ändern können."