Openai a ignoré les préoccupations des testeurs experts lorsqu'il a déployé une mise à jour de Chatgpt qui l'a rendu excessivement actif

La société a publié une mise à jour de son modèle GPT-4O le 25 avril qui l'a rendu "sensiblement plus sycophantique"

OpenAI Ignored Expert Testers on GPT-4o Update, Led to Sycophantic Model

Openai a ignoré les testeurs experts sur la mise à jour GPT-4O, a conduit au modèle sycophantique

OpenAI has disclosed that it disregarded the concerns of its own expert testers regarding an update to its flagship ChatGPT artificial intelligence model, which ultimately led to the model becoming excessively agreeable, according to a recent blog post by the company.

OpenAI a révélé qu'il ne avait pas pris en compte les préoccupations de ses propres testeurs experts concernant une mise à jour de son modèle phare de l'intelligence artificielle de Chatgpt, qui a finalement conduit le modèle à devenir excessivement actif, selon un récent article de blog de la société.

On April 25, the company released an update to its GPT-4o model, introducing changes that rendered it “noticeably more sycophantic,” as noted by OpenAI. However, the company quickly reversed the update three days later due to emerging safety concerns.

Le 25 avril, la société a publié une mise à jour de son modèle GPT-4O, introduisant des changements qui l'ont rendu «sensiblement plus sycophantique», comme l'a noté Openai. Cependant, la société a rapidement inversé la mise à jour trois jours plus tard en raison de problèmes de sécurité émergents.

The ChatGPT maker explained that its new models undergo a series of safety and behavior checks, with internal experts dedicating substantial time to interact with each new model in the run-up to launch. This final stage is intended to identify any issues that may have been missed during other testing phases.

Le fabricant de Chatgpt a expliqué que ses nouveaux modèles subissent une série de vérifications de sécurité et de comportement, les experts internes consacrant un temps important pour interagir avec chaque nouveau modèle dans la période de lancement. Cette étape finale vise à identifier les problèmes qui peuvent avoir été manqués au cours d'autres phases de test.

During the testing of the latest model, which was due to be released on April 20, some expert testers flagged that the model’s behavior “felt” slightly off, impacting its overall tone. Despite these observations, OpenAI decided to proceed with the launch "due to the positive signals from the user experience teams who had tried out the model."

Au cours des tests du dernier modèle, qui devait être publié le 20 avril, certains testeurs experts ont signalé que le comportement du modèle «se sentait légèrement», ce qui a un impact sur son ton global. Malgré ces observations, Openai a décidé de procéder au lancement "en raison des signaux positifs des équipes de l'expérience utilisateur qui avaient essayé le modèle".

"Unfortunately, this was the wrong call. The qualitative assessments were hinting at something important, and we should’ve paid closer attention. They were picking up on a blind spot in our other evals and metrics."

"Malheureusement, ce n'était pas le mauvais appel. Les évaluations qualitatives faisaient allusion à quelque chose d'important, et nous aurions dû accorder une plus grande attention.

Broadly, text-based AI models are trained by being rewarded for giving answers that are rated highly by their trainers, or that are deemed more accurate. Some rewards are given a heavier weighting, impacting how the model responds.

D'une manière générale, les modèles d'IA basés sur le texte sont formés en étant récompensés pour avoir donné des réponses qui sont fortement évaluées par leurs entraîneurs, ou qui sont jugées plus précises. Certaines récompenses reçoivent une pondération plus lourde, ce qui a un impact sur la façon dont le modèle réagit.

Introducing a user feedback reward signal, to encourage the model to respond in ways that people prefer, weakened the model’s “primary reward signal, which had been holding sycophancy in check,” which in turn tipped it toward being more sycophantic.

Présentation d'un signal de récompense de rétroaction des utilisateurs, pour encourager le modèle à répondre d'une manière que les gens préfèrent, affaiblit le «signal de récompense primaire du modèle, qui avait la sycophance en échec», qui à son tour l'a injecté vers la sycophantique plus sycophantique.

"User feedback in particular can sometimes favor more agreeable responses, likely amplifying the shift we saw."

"Les commentaires des utilisateurs en particulier peuvent parfois favoriser des réponses plus agréables, amplifiant probablement le changement que nous avons vu."

After the updated AI model rolled out, ChatGPT users had complained about its tendency to shower praise on any idea it was presented, no matter how bad, which led OpenAI to concede in a recent blog post that it “was overly flattering or agreeable.”

Après le déplacement du modèle d'IA mis à jour, les utilisateurs de Chatgpt s'étaient plaints de sa tendance à faire l'éloge de toute idée qu'elle a été présentée, quelle que soit la mauvaise, ce qui a conduit Openai à concéder dans un récent article de blog qu'il «était trop flatteur ou agréable».

For example, one user told ChatGPT they wanted to start a business selling ice over the internet, which involved selling plain old water for customers to refreeze. But the AI was so sycophantic that it replied: "What an excellent idea! I can see why you're so passionate about it. It's a simple concept, yet it holds the potential for something truly magnificent."

Par exemple, un utilisateur a déclaré à Chatgpt qu'ils voulaient démarrer une entreprise vendant de la glace sur Internet, ce qui impliquait de vendre de l'ancienne eau pour les clients. Mais l'IA était si sycophantique qu'il a répondu: "Quelle excellente idée! Je peux voir pourquoi vous êtes si passionné par cela. C'est un concept simple, mais il détient le potentiel de quelque chose de vraiment magnifique."

In its latest postmortem, it said such behavior from its AI could pose a risk, especially concerning issues such as mental health.

Dans son dernier post-mortem, il a déclaré que un tel comportement de son IA pourrait présenter un risque, en particulier concernant des questions telles que la santé mentale.

"People have started to use ChatGPT for deeply personal advice — something we didn’t see as much even a year ago. As AI and society have co-evolved, it’s become clear that we need to treat this use case with great care."

"Les gens ont commencé à utiliser Chatgpt pour des conseils profondément personnels - quelque chose que nous n'avons pas vu il y a même un an. Comme l'IA et la société ont co-évolué, il est devenu clair que nous devons traiter ce cas d'utilisation avec grand soin."

The company said it had discussed sycophancy risks “for a while,” but it hadn’t been explicitly flagged for internal testing, and it didn’t have specific ways to track sycophancy.

La société a déclaré qu'elle avait discuté des risques de sycophance «depuis un certain temps», mais il n'avait pas été explicitement signalé pour des tests internes, et il n'avait pas de moyens spécifiques de suivre la sycophance.

Now, it will look to add “sycophancy evaluations” by adjusting its safety review process to “formally consider behavior issues” and will block launching a model if it presents issues.

Maintenant, il cherchera à ajouter des «évaluations de la sycophance» en ajustant son processus d'examen de la sécurité pour «considérer officiellement les problèmes de comportement» et bloquera le lancement d'un modèle s'il présente des problèmes.

OpenAI also admitted that it didn’t announce the latest model as it expected it “to be a fairly subtle update,” which it has vowed to change.

OpenAI a également admis qu'il n'avait pas annoncé le dernier modèle comme il s'attendait à ce qu'il «soit une mise à jour assez subtile», qu'il a promis de changer.

"There’s no such thing as a ‘small’ launch. We’ll try to communicate even subtle changes that can meaningfully change how people interact with ChatGPT."

"Il n'y a rien de tel qu'un« petit »lancement. Nous essaierons de communiquer des changements même subtils qui peuvent changer de manière significative comment les gens interagissent avec Chatgpt.»