OpenAi는 전문가 테스터가 Chatgpt에 대한 업데이트를 출시하여 과도하게 동의 할 수있는 우려를 무시했습니다.

이 회사는 4 월 25 일에 GPT-4O 모델에 대한 업데이트를 발표하여 "눈에 띄게 더 많은 sycophantic"을 만들었습니다.

OpenAI Ignored Expert Testers on GPT-4o Update, Led to Sycophantic Model

OpenAi는 GPT-4O 업데이트에서 전문가 테스터를 무시하고 Sycophantic 모델로 이어졌습니다.

OpenAI has disclosed that it disregarded the concerns of its own expert testers regarding an update to its flagship ChatGPT artificial intelligence model, which ultimately led to the model becoming excessively agreeable, according to a recent blog post by the company.

Openai는 회사의 최근 블로그 게시물에 따르면, 플래그십 Chatgpt 인공 지능 모델에 대한 업데이트에 관한 자체 전문가 테스터의 우려를 무시했다고 밝혔다.

On April 25, the company released an update to its GPT-4o model, introducing changes that rendered it “noticeably more sycophantic,” as noted by OpenAI. However, the company quickly reversed the update three days later due to emerging safety concerns.

4 월 25 일,이 회사는 GPT-4O 모델에 대한 업데이트를 발표하여 OpenAI의 지적한 바와 같이 "눈에 띄게 더 많은 sycophantic"을 만들어주는 변경 사항을 도입했습니다. 그러나 회사는 3 일 후에 신흥 안전 문제로 인해 업데이트를 신속하게 뒤집 었습니다.

The ChatGPT maker explained that its new models undergo a series of safety and behavior checks, with internal experts dedicating substantial time to interact with each new model in the run-up to launch. This final stage is intended to identify any issues that may have been missed during other testing phases.

Chatgpt 제조업체는 새로운 모델이 일련의 안전 및 행동 점검을 거쳐 내부 전문가가 실행 중에 각각의 새로운 모델과 상호 작용할 수있는 상당한 시간을 전담하고 있다고 설명했습니다. 이 마지막 단계는 다른 테스트 단계에서 누락되었을 수있는 문제를 식별하기위한 것입니다.

During the testing of the latest model, which was due to be released on April 20, some expert testers flagged that the model’s behavior “felt” slightly off, impacting its overall tone. Despite these observations, OpenAI decided to proceed with the launch "due to the positive signals from the user experience teams who had tried out the model."

4 월 20 일에 출시 될 최신 모델을 테스트하는 동안 일부 전문가 테스터는이 모델의 행동이 약간 꺼져서 전반적인 톤에 영향을 미쳤다고 신고했습니다. 이러한 관찰에도 불구하고 OpenAI는 "모델을 시험해 본 사용자 경험 팀의 긍정적 인 신호로 인해 출시를 진행하기로 결정했습니다."

"Unfortunately, this was the wrong call. The qualitative assessments were hinting at something important, and we should’ve paid closer attention. They were picking up on a blind spot in our other evals and metrics."

"불행히도, 이것은 잘못된 전화였습니다. 질적 평가는 중요한 무언가를 암시하고 있었고, 우리는 더 많은주의를 기울여야했습니다. 그들은 다른 evals와 지표에서 사각 지대를 데리러 가고있었습니다."

Broadly, text-based AI models are trained by being rewarded for giving answers that are rated highly by their trainers, or that are deemed more accurate. Some rewards are given a heavier weighting, impacting how the model responds.

대체로 텍스트 기반 AI 모델은 트레이너가 높은 평가를 받거나 더 정확한 것으로 간주되는 답변을 제공 한 것에 대해 보상을 받음으로써 교육을받습니다. 일부 보상에는 더 큰 가중치가 부여되어 모델의 반응에 영향을 미칩니다.

Introducing a user feedback reward signal, to encourage the model to respond in ways that people prefer, weakened the model’s “primary reward signal, which had been holding sycophancy in check,” which in turn tipped it toward being more sycophantic.

사용자 피드백 보상 신호를 도입하여 사람들이 선호하는 방식으로 모델이 응답하도록 장려하고, 모델의 "1 차 보상 신호는 시경성을 유지하고 있었다"고 모델의 기본 보상 신호를 약화 시켰으며, 이로 인해 더 많은 sycophantic이 될 수있었습니다.

"User feedback in particular can sometimes favor more agreeable responses, likely amplifying the shift we saw."

"사용자 피드백은 때때로 더 합당한 응답을 선호 할 수 있으며, 우리가 본 변화를 증폭시킬 수 있습니다."

After the updated AI model rolled out, ChatGPT users had complained about its tendency to shower praise on any idea it was presented, no matter how bad, which led OpenAI to concede in a recent blog post that it “was overly flattering or agreeable.”

업데이트 된 AI 모델이 출시 된 후 Chatgpt 사용자는 아무리 나쁘더라도, Openai가 최근 블로그 게시물에서“지나치게 아첨하거나 합당한”것을 인정하게 된 아이디어에 대해 칭찬을 샤워하는 경향에 대해 불평했습니다.

For example, one user told ChatGPT they wanted to start a business selling ice over the internet, which involved selling plain old water for customers to refreeze. But the AI was so sycophantic that it replied: "What an excellent idea! I can see why you're so passionate about it. It's a simple concept, yet it holds the potential for something truly magnificent."

예를 들어, 한 사용자는 Chatgpt에게 인터넷을 통해 얼음을 판매하는 비즈니스를 시작하고 싶다고 말했습니다. 그러나 AI는 너무나도 대답하여 대답했습니다. "정말 훌륭한 아이디어입니다! 왜 당신이 그것에 대해 열정적 인 이유를 알 수 있습니다. 단순한 개념이지만, 그것은 정말로 멋진 무언가의 잠재력을 가지고 있습니다."

In its latest postmortem, it said such behavior from its AI could pose a risk, especially concerning issues such as mental health.

최신 사후 사후에서 AI의 그러한 행동은 특히 정신 건강과 같은 문제와 관련하여 위험을 초래할 수 있다고 말했다.

"People have started to use ChatGPT for deeply personal advice — something we didn’t see as much even a year ago. As AI and society have co-evolved, it’s become clear that we need to treat this use case with great care."

"사람들은 1 년 전에는 우리가 보지 못한 것에 대해 깊은 개인적인 조언을 위해 Chatgpt를 사용하기 시작했습니다. AI와 사회가 공동으로 진화함에 따라, 우리는이 사용 사례를 크게주의해서 다루어야한다는 것이 분명해졌습니다."

The company said it had discussed sycophancy risks “for a while,” but it hadn’t been explicitly flagged for internal testing, and it didn’t have specific ways to track sycophancy.

이 회사는 Sycophancy 위험에 대해“한동안”에 대해 논의했지만 내부 테스트를 위해 명시 적으로 신고되지 않았으며 Sycophancy를 추적 할 수있는 구체적인 방법이 없었습니다.

Now, it will look to add “sycophancy evaluations” by adjusting its safety review process to “formally consider behavior issues” and will block launching a model if it presents issues.

이제 안전 검토 프로세스를 "공식적으로 행동 문제를 고려"하도록 안전 검토 프로세스를 조정하여 "Sycophancy Evaluations"를 추가하고 문제가 발생하면 모델을 시작하는 것을 차단할 것입니다.

OpenAI also admitted that it didn’t announce the latest model as it expected it “to be a fairly subtle update,” which it has vowed to change.

Openai는 또한“상당히 미묘한 업데이트”가 될 것으로 예상했던 최신 모델을 발표하지 않았다는 것을 인정했다.

"There’s no such thing as a ‘small’ launch. We’ll try to communicate even subtle changes that can meaningfully change how people interact with ChatGPT."

" '작은'런칭과 같은 것은 없습니다. 우리는 사람들이 Chatgpt와 상호 작용하는 방식을 의미있게 변화시킬 수있는 미묘한 변화를 전달하려고 노력할 것입니다."