Anthropic veröffentlicht Sonnet, ein KI-Tool, das mit Computern interagieren kann – mit Risiken

Das herausragende Merkmal der Sonnet-Version ist ihre Fähigkeit, mit Ihrem Computer zu interagieren – sie ermöglicht das Aufnehmen und Lesen von Screenshots, das Bewegen der Maus, das Klicken auf Schaltflächen auf Webseiten und das Eingeben von Text.

Anthropic, the AI research and development company, has announced the latest update to its flagship AI model, Claude. This update introduces a highly anticipated new capability: the ability to interact with and control computers directly. Sonnet, a text-based interface to Claude, now allows users to perform a wide range of computer-based tasks, such as taking and reading screenshots, moving the mouse, clicking buttons on webpages, and typing text.

Anthropic, das KI-Forschungs- und Entwicklungsunternehmen, hat das neueste Update seines Flaggschiff-KI-Modells Claude angekündigt. Dieses Update führt eine mit Spannung erwartete neue Funktion ein: die Möglichkeit, direkt mit Computern zu interagieren und diese zu steuern. Sonnet, eine textbasierte Schnittstelle zu Claude, ermöglicht Benutzern nun die Ausführung einer Vielzahl computerbasierter Aufgaben, wie z. B. das Aufnehmen und Lesen von Screenshots, das Bewegen der Maus, das Klicken auf Schaltflächen auf Webseiten und das Eingeben von Text.

This capability is being rolled out in a “public beta” phase, which Anthropic admits is “experimental and at times cumbersome and error-prone,” according to the company's announcement. In a blog post detailing the rationale behind this new feature, Anthropic explained: “A vast amount of modern work happens via computers. Enabling AIs to interact directly with computer software in the same way people do will unlock a huge range of applications that simply aren’t possible for the current generation of AI assistants.”

Diese Funktion wird in einer „öffentlichen Beta“-Phase eingeführt, die laut Anthropic laut Ankündigung des Unternehmens „experimentell und manchmal umständlich und fehleranfällig“ ist. In einem Blogbeitrag, in dem die Gründe für diese neue Funktion detailliert beschrieben werden, erklärte Anthropic: „Ein großer Teil der modernen Arbeit erfolgt über Computer. Wenn KIs in die Lage versetzt werden, direkt mit Computersoftware auf die gleiche Weise zu interagieren, wie es Menschen tun, wird eine riesige Bandbreite an Anwendungen freigeschaltet, die für die aktuelle Generation von KI-Assistenten einfach nicht möglich sind.“

While the concept of computers controlling themselves isn’t exactly new, the way Sonnet operates sets it apart. Unlike traditional automated computer control, which typically involves writing code, Sonnet requires no programming knowledge. Users can open apps or webpages and simply instruct the AI, which then analyzes the screen and figures out which elements to interact with.

Das Konzept, dass Computer sich selbst steuern, ist zwar nicht gerade neu, aber die Art und Weise, wie Sonnet arbeitet, zeichnet es aus. Im Gegensatz zur herkömmlichen automatisierten Computersteuerung, bei der normalerweise Code geschrieben wird, sind für Sonnet keine Programmierkenntnisse erforderlich. Benutzer können Apps oder Webseiten öffnen und einfach die KI anweisen, die dann den Bildschirm analysiert und herausfindet, mit welchen Elementen sie interagieren soll.

Anthropic acknowledges the risks inherent in this technology, admitting that “for safety reasons we did not allow the model to access the internet during training,” though the beta version now permits internet access. The company also recently updated its “Responsible Scaling Policy,” which defines the risks associated with each stage of development and release. According to this policy, Sonnet has been rated at “AI Safety Level 2,” which indicates “early signs of dangerous capabilities.” However, Anthropic believes it is safe enough to release to the public at this stage.

Anthropic erkennt die mit dieser Technologie verbundenen Risiken an und gibt zu, dass „wir dem Modell aus Sicherheitsgründen während des Trainings keinen Zugriff auf das Internet gestattet haben“, obwohl die Beta-Version jetzt einen Internetzugang zulässt. Das Unternehmen hat außerdem kürzlich seine „Responsible Scaling Policy“ aktualisiert, die die mit jeder Entwicklungs- und Release-Phase verbundenen Risiken definiert. Gemäß dieser Richtlinie wurde Sonnet mit „KI-Sicherheitsstufe 2“ bewertet, was auf „frühe Anzeichen gefährlicher Fähigkeiten“ hinweist. Anthropic ist jedoch davon überzeugt, dass die Veröffentlichung zum jetzigen Zeitpunkt sicher genug ist.

Defending its decision to release the tool before fully understanding all the potential misuse scenarios, Anthropic said, “We can begin grappling with any safety issues before the stakes are too high, rather than adding computer use capabilities for the first time into a model with much more serious risks.” Essentially, the company would prefer to test these waters now while the AI’s capabilities are still relatively limited.

Anthropic verteidigte seine Entscheidung, das Tool zu veröffentlichen, bevor alle potenziellen Missbrauchsszenarien vollständig verstanden sind, und sagte: „Wir können beginnen, uns mit allen Sicherheitsproblemen auseinanderzusetzen, bevor der Einsatz zu hoch ist, anstatt Computernutzungsfunktionen zum ersten Mal in ein Modell mit viel zu integrieren.“ ernstere Risiken.“ Grundsätzlich möchte das Unternehmen diese Gewässer jetzt testen, solange die Fähigkeiten der KI noch relativ begrenzt sind.

Of course, the risks associated with AI tools like Claude aren’t just theoretical. OpenAI recently disclosed 20 instances where state-backed actors had used ChatGPT for nefarious purposes, such as planning cyberattacks, probing vulnerable infrastructure, and designing influence campaigns. With the U.S. presidential election looming just two weeks away, Anthropic is keenly aware of the potential for misuse. “Given the upcoming US elections, we’re on high alert for attempted misuses that could be perceived as undermining public trust in electoral processes,” the company wrote.

Natürlich sind die mit KI-Tools wie Claude verbundenen Risiken nicht nur theoretisch. OpenAI hat kürzlich 20 Fälle offengelegt, in denen staatlich unterstützte Akteure ChatGPT für schändliche Zwecke genutzt hatten, etwa zur Planung von Cyberangriffen, zur Untersuchung anfälliger Infrastrukturen und zur Gestaltung von Einflusskampagnen. Da die US-Präsidentschaftswahlen nur noch zwei Wochen entfernt sind, ist sich Anthropic des Missbrauchspotenzials bewusst. „Angesichts der bevorstehenden US-Wahlen sind wir in höchster Alarmbereitschaft vor Missbrauchsversuchen, die als Untergrabung des Vertrauens der Öffentlichkeit in Wahlprozesse angesehen werden könnten“, schrieb das Unternehmen.

Anthropic says “The updated Claude 3.5 Sonnet shows wide-ranging improvements on industry benchmarks, with particularly strong gains in agentic coding and tool use tasks. On coding, it improves performance on SWE-bench Verified from 33.4% to 49.0%, scoring higher than all publicly available models—including reasoning models like OpenAI o1-preview and specialized systems designed for agentic coding. It also improves performance on TAU-bench, an agentic tool use task, from 62.6% to 69.2% in the retail domain, and from 36.0% to 46.0% in the more challenging airline domain. The new Claude 3.5 Sonnet offers these advancements at the same price and speed as its predecessor.”

Anthropic sagt: „Das aktualisierte Claude 3.5 Sonnet zeigt weitreichende Verbesserungen gegenüber Branchen-Benchmarks, mit besonders starken Zuwächsen bei Agenten-Codierung und Werkzeugnutzungsaufgaben.“ Beim Codieren verbessert es die Leistung im SWE-Bench Verified von 33,4 % auf 49,0 % und punktet damit besser als alle öffentlich verfügbaren Modelle – einschließlich Argumentationsmodelle wie OpenAI o1-preview und spezialisierte Systeme, die für die Agentencodierung entwickelt wurden. Es verbessert auch die Leistung beim TAU-Bench, einer Aufgabe zur Verwendung von Agententools, von 62,6 % auf 69,2 % im Einzelhandelsbereich und von 36,0 % auf 46,0 % im anspruchsvolleren Airline-Bereich. Das neue Claude 3.5 Sonnet bietet diese Fortschritte zum gleichen Preis und zur gleichen Geschwindigkeit wie sein Vorgänger.“

Anthropic has put safeguards in place to prevent Sonnet’s new capabilities from being exploited for election-related meddling. They’ve implemented systems to monitor when Claude is asked to engage in such activities, such as generating social media content or interacting with government websites. The company is also taking steps to ensure that screenshots captured during tool usage will not be used for future model training. However, even Anthropic’s engineers have been caught off guard by some of the tool’s behaviors. In one instance, Claude unexpectedly stopped a screen recording, losing all the footage. In a lighthearted moment, the AI even began browsing photos of Yellowstone National Park during a coding demo, which Anthropic shared on X with a mix of amusement and surprise.

Anthropic hat Sicherheitsvorkehrungen getroffen, um zu verhindern, dass Sonnets neue Fähigkeiten zur Einmischung in Wahlen missbraucht werden. Sie haben Systeme implementiert, um zu überwachen, wann Claude aufgefordert wird, sich an solchen Aktivitäten zu beteiligen, beispielsweise an der Erstellung von Social-Media-Inhalten oder der Interaktion mit Regierungswebsites. Das Unternehmen ergreift außerdem Maßnahmen, um sicherzustellen, dass bei der Verwendung des Tools erfasste Screenshots nicht für zukünftige Modellschulungen verwendet werden. Allerdings wurden selbst die Ingenieure von Anthropic von einigen Verhaltensweisen des Tools überrascht. In einem Fall stoppte Claude unerwartet eine Bildschirmaufnahme, wodurch das gesamte Filmmaterial verloren ging. In einem unbeschwerten Moment begann die KI während einer Coding-Demo sogar, Fotos des Yellowstone-Nationalparks zu durchsuchen, die Anthropic mit einer Mischung aus Belustigung und Überraschung auf X teilte.

Anthropic emphasizes the importance of safety in rolling out this new capability. Claude has been rated at AI Safety Level 2, meaning it doesn’t require heightened security measures for current risks but still raises concerns about potential misuse, like prompt injection attacks. The company has implemented systems to monitor election-related activities and prevent abuses like content generation or social media manipulation.

Anthropic betont die Bedeutung der Sicherheit bei der Einführung dieser neuen Funktion. Claude wurde mit der KI-Sicherheitsstufe 2 bewertet, was bedeutet, dass keine erhöhten Sicherheitsmaßnahmen für aktuelle Risiken erforderlich sind, aber dennoch Bedenken hinsichtlich eines möglichen Missbrauchs wie Prompt-Injection-Angriffen bestehen. Das Unternehmen hat Systeme implementiert, um wahlbezogene Aktivitäten zu überwachen und Missbrauch wie die Generierung von Inhalten oder die Manipulation sozialer Medien zu verhindern.

Although Claude’s computer use is still slow and prone to errors, Anthropic is optimistic about its future. The company plans to refine the model to make it faster, more reliable, and easier to implement. Throughout the beta phase, developers are encouraged to provide feedback to help improve both the model’s effectiveness and its safety protocols.

Obwohl Claudes Computernutzung immer noch langsam und fehleranfällig ist, blickt Anthropic optimistisch in die Zukunft. Das Unternehmen plant, das Modell zu verfeinern, um es schneller, zuverlässiger und einfacher zu implementieren. Während der gesamten Betaphase werden Entwickler aufgefordert, Feedback zu geben, um sowohl die Wirksamkeit des Modells als auch seine Sicherheitsprotokolle zu verbessern.