Openaiは、chatgptのアップデートを展開したときに、専門家のテスターからの懸念を無視しました。

同社は4月25日にGPT-4Oモデルの更新をリリースし、「著しくサイコファンティック」にした」

OpenAI Ignored Expert Testers on GPT-4o Update, Led to Sycophantic Model

OpenaiはGPT-4oアップデートで専門家テスターを無視し、Sycophantic Modelに導かれました

OpenAI has disclosed that it disregarded the concerns of its own expert testers regarding an update to its flagship ChatGPT artificial intelligence model, which ultimately led to the model becoming excessively agreeable, according to a recent blog post by the company.

Openaiは、最近のブログ投稿によると、最終的にモデルが過度に快適になるようになった、最終的にモデルが過度に魅力的になるようになった、最終的にはモデルの懸念を無視していることを明らかにしました。

On April 25, the company released an update to its GPT-4o model, introducing changes that rendered it “noticeably more sycophantic,” as noted by OpenAI. However, the company quickly reversed the update three days later due to emerging safety concerns.

4月25日に、同社はGPT-4Oモデルの更新をリリースし、Openaiが指摘したように、「著しくシコファンティック」になった変更を導入しました。しかし、同社は、新たな安全上の懸念により、3日後に更新を迅速に覆しました。

The ChatGPT maker explained that its new models undergo a series of safety and behavior checks, with internal experts dedicating substantial time to interact with each new model in the run-up to launch. This final stage is intended to identify any issues that may have been missed during other testing phases.

ChatGpt Makerは、その新しいモデルが一連の安全性と行動チェックを受けると説明し、内部の専門家は、ランナップの各新しいモデルと相互作用するためにかなりの時間を捧げてきました。この最終段階は、他のテストフェーズ中に見逃された可能性のある問題を特定することを目的としています。

During the testing of the latest model, which was due to be released on April 20, some expert testers flagged that the model’s behavior “felt” slightly off, impacting its overall tone. Despite these observations, OpenAI decided to proceed with the launch "due to the positive signals from the user experience teams who had tried out the model."

4月20日にリリースされる予定の最新モデルのテスト中、一部の専門家テスターは、モデルの動作がわずかにオフになっていると感じ、全体的なトーンに影響を与えるとフラグを立てました。これらの観察にもかかわらず、Openaiは「モデルを試したユーザーエクスペリエンスチームの肯定的な信号のため」の起動を進めることにしました。

"Unfortunately, this was the wrong call. The qualitative assessments were hinting at something important, and we should’ve paid closer attention. They were picking up on a blind spot in our other evals and metrics."

「残念ながら、これは間違った呼びかけでした。定性的評価は重要なことを示唆していました。私たちはもっと注意を払うべきでした。彼らは他のエバルとメトリックの死角で拾っていました。」

Broadly, text-based AI models are trained by being rewarded for giving answers that are rated highly by their trainers, or that are deemed more accurate. Some rewards are given a heavier weighting, impacting how the model responds.

大まかに、テキストベースのAIモデルは、トレーナーによって高く評価されている、またはより正確であると見なされる回答を与えることで報われることによって訓練されています。いくつかの報酬には重い重みが与えられ、モデルの反応に影響を与えます。

Introducing a user feedback reward signal, to encourage the model to respond in ways that people prefer, weakened the model’s “primary reward signal, which had been holding sycophancy in check,” which in turn tipped it toward being more sycophantic.

ユーザーのフィードバック報酬信号を導入して、モデルが好む方法でモデルに応答するように促し、モデルの「サイコファンシーをチェックしていたプライマリ報酬信号」を弱め、それをよりサイコファンティックにするために傾けました。

"User feedback in particular can sometimes favor more agreeable responses, likely amplifying the shift we saw."

「特にユーザーのフィードバックは、より快適な応答を好むことがあり、見たシフトを増幅する可能性があります。」

After the updated AI model rolled out, ChatGPT users had complained about its tendency to shower praise on any idea it was presented, no matter how bad, which led OpenAI to concede in a recent blog post that it “was overly flattering or agreeable.”

更新されたAIモデルが展開された後、ChatGptユーザーは、どんなに悪いことであっても、提示されたアイデアに賞賛を浴びる傾向があると不満を述べていました。

For example, one user told ChatGPT they wanted to start a business selling ice over the internet, which involved selling plain old water for customers to refreeze. But the AI was so sycophantic that it replied: "What an excellent idea! I can see why you're so passionate about it. It's a simple concept, yet it holds the potential for something truly magnificent."

たとえば、あるユーザーはChatGptに、インターネット上で氷を販売するビジネスを始めたいと語った。しかし、AIは非常に共感的だったので、「なんて素晴らしいアイデアです。なぜあなたがそれについてとても情熱を傾けているのかわかります。それは単純な概念ですが、本当に素晴らしいものの可能性を秘めています。」

In its latest postmortem, it said such behavior from its AI could pose a risk, especially concerning issues such as mental health.

最新の死後では、AIからのそのような行動は、特にメンタルヘルスなどの問題に関するリスクをもたらす可能性があると述べました。

"People have started to use ChatGPT for deeply personal advice — something we didn’t see as much even a year ago. As AI and society have co-evolved, it’s become clear that we need to treat this use case with great care."

「人々はCHATGPTを使い始めました。個人的なアドバイスのために、1年前にはあまり見ませんでした。AIと社会が共進化したため、このユースケースを細心の注意を払って扱う必要があることが明らかになりました。」

The company said it had discussed sycophancy risks “for a while,” but it hadn’t been explicitly flagged for internal testing, and it didn’t have specific ways to track sycophancy.

同社は、「しばらくの間」シコファンシーのリスクについて議論したが、内部テストのために明示的にフラグを立てられておらず、サイコファンシーを追跡する具体的な方法はなかったと述べた。

Now, it will look to add “sycophancy evaluations” by adjusting its safety review process to “formally consider behavior issues” and will block launching a model if it presents issues.

これで、「行動の問題を正式に考慮する」ために安全レビュープロセスを調整することにより、「サイコファンシー評価」を追加するようになり、問題が発生した場合にモデルの起動をブロックします。

OpenAI also admitted that it didn’t announce the latest model as it expected it “to be a fairly subtle update,” which it has vowed to change.

Openaiはまた、「かなり微妙な更新であると予想していた最新モデルを発表しなかったことを認めました。

"There’s no such thing as a ‘small’ launch. We’ll try to communicate even subtle changes that can meaningfully change how people interact with ChatGPT."

「「小さな」発売のようなものはありません。私たちは、人々がChatGPTと対話する方法を意味に変える可能性のある微妙な変化を伝えようとします。」