KI-Risikobewertung: Ein Wettlauf um die Kartierung der sich entwickelnden Landschaft der KI-Risiken

Eine aktuelle Studie hat KI-Modelle nach den von ihnen ausgehenden Risiken eingestuft und dabei ein breites Spektrum an Verhaltensweisen und Compliance-Problemen aufgedeckt. Ziel dieser Arbeit ist es, Einblicke in die rechtlichen, ethischen und regulatorischen Herausforderungen dieser Technologien zu geben. Die Ergebnisse könnten politischen Entscheidungsträgern und Unternehmen dabei helfen, die Komplexität des sicheren Einsatzes von KI zu bewältigen.

Recent studies have ranked AI models based on the risks they present, highlighting a wide range of behaviors and compliance issues. This work aims to provide insights into these technologies' legal, ethical, and regulatory challenges, guiding policymakers and companies in navigating the complexities of deploying AI safely.

Aktuelle Studien haben KI-Modelle nach den von ihnen ausgehenden Risiken eingestuft und dabei ein breites Spektrum an Verhaltensweisen und Compliance-Problemen hervorgehoben. Ziel dieser Arbeit ist es, Einblicke in die rechtlichen, ethischen und regulatorischen Herausforderungen dieser Technologien zu gewinnen und politischen Entscheidungsträgern und Unternehmen dabei zu helfen, die Komplexität des sicheren Einsatzes von KI zu bewältigen.

Bo Li, an associate professor at the University of Chicago known for testing AI systems to identify potential risks, led the research. His team, in collaboration with several universities and firms, developed a benchmark called AIR-Bench 2024 to assess AI models on a large scale.

Bo Li, ein außerordentlicher Professor an der University of Chicago, der dafür bekannt ist, KI-Systeme zu testen, um potenzielle Risiken zu identifizieren, leitete die Forschung. Sein Team hat in Zusammenarbeit mit mehreren Universitäten und Firmen einen Benchmark namens AIR-Bench 2024 entwickelt, um KI-Modelle im großen Maßstab zu bewerten.

The study identified variations in how different models complied with safety and regulatory standards. For instance, some models excelled in specific categories; Anthropic's Claude 3 Opus was particularly adept at refusing to generate cybersecurity threats, while Google's Gemini 1.5 Pro performed well in avoiding the generation of nonconsensual sexual imagery. These findings suggest that certain models are better suited to particular tasks, depending on the risks involved.

Die Studie identifizierte Unterschiede in der Art und Weise, wie verschiedene Modelle Sicherheits- und Regulierungsstandards einhielten. Beispielsweise schnitten einige Modelle in bestimmten Kategorien hervor; Claude 3 Opus von Anthropic war besonders geschickt darin, die Generierung von Cybersicherheitsbedrohungen zu verweigern, während Gemini 1.5 Pro von Google gut darin abschnitt, die Generierung nicht einvernehmlicher sexueller Bilder zu verhindern. Diese Ergebnisse legen nahe, dass bestimmte Modelle je nach den damit verbundenen Risiken für bestimmte Aufgaben besser geeignet sind.

On the other hand, some models fared poorly overall. The study consistently ranked DBRX Instruct, a model developed by Databricks, as the worst across various risk categories. When Databricks released this model in 2023, the company acknowledged that its safety features needed improvement.

Andererseits schnitten einige Modelle insgesamt schlecht ab. Die Studie stufte DBRX Instruct, ein von Databricks entwickeltes Modell, in verschiedenen Risikokategorien durchweg als das schlechteste ein. Als Databricks dieses Modell im Jahr 2023 auf den Markt brachte, erkannte das Unternehmen, dass seine Sicherheitsfunktionen verbessert werden mussten.

The research team also examined how various AI regulations compare to company policies. Their analysis revealed that corporate policies tended to be more comprehensive than government regulations, suggesting that regulatory frameworks may lag behind industry standards.

Das Forschungsteam untersuchte auch, wie sich verschiedene KI-Vorschriften mit den Unternehmensrichtlinien vergleichen lassen. Ihre Analyse ergab, dass Unternehmensrichtlinien tendenziell umfassender waren als staatliche Vorschriften, was darauf hindeutet, dass die Regulierungsrahmen möglicherweise hinter den Branchenstandards zurückbleiben.

"There is room for tightening government regulations," remarked Bo Li.

„Es gibt Spielraum für eine Verschärfung der staatlichen Vorschriften“, bemerkte Bo Li.

Despite many companies implementing strict policies for AI usage, the researchers found discrepancies between these policies and how AI models performed. In several instances, AI models failed to comply with the safety and ethical guidelines set by the companies that developed them.

Obwohl viele Unternehmen strenge Richtlinien für die KI-Nutzung umsetzen, stellten die Forscher Diskrepanzen zwischen diesen Richtlinien und der Leistung von KI-Modellen fest. In mehreren Fällen entsprachen KI-Modelle nicht den Sicherheits- und Ethikrichtlinien der Unternehmen, die sie entwickelt hatten.

This inconsistency indicates a gap between policy and practice that could expose companies to legal and reputational risks. As AI continues to evolve, closing this gap may become increasingly important to ensure that the technology is deployed safely and responsibly.

Diese Inkonsistenz weist auf eine Lücke zwischen Politik und Praxis hin, die Unternehmen rechtlichen Risiken und Reputationsrisiken aussetzen könnte. Da sich die KI weiterentwickelt, wird es möglicherweise immer wichtiger, diese Lücke zu schließen, um sicherzustellen, dass die Technologie sicher und verantwortungsvoll eingesetzt wird.

Other efforts are also in progress to better understand the AI risk landscape. Two MIT researchers, Neil Thompson and Peter Slattery, have developed a database of AI risks by analyzing 43 different AI risk frameworks. This initiative is intended to help companies and organizations assess potential dangers associated with AI, particularly as the technology is adopted on a wider scale.

Es werden auch weitere Anstrengungen unternommen, um die KI-Risikolandschaft besser zu verstehen. Zwei MIT-Forscher, Neil Thompson und Peter Slattery, haben eine Datenbank zu KI-Risiken entwickelt, indem sie 43 verschiedene KI-Risiko-Frameworks analysierten. Diese Initiative soll Unternehmen und Organisationen dabei helfen, potenzielle Gefahren im Zusammenhang mit KI einzuschätzen, insbesondere im Hinblick auf die zunehmende Verbreitung der Technologie.

The MIT research highlights that some AI risks receive more attention than others. For instance, more than 70 percent of the risk frameworks reviewed by the team focused on privacy and security concerns. However, fewer frameworks—around 40 percent—addressed issues like misinformation. This disparity could indicate that certain risks may be overlooked as organizations focus on the more prominent concerns.

Die MIT-Forschung zeigt, dass einigen KI-Risiken mehr Aufmerksamkeit geschenkt wird als anderen. Beispielsweise konzentrierten sich mehr als 70 Prozent der vom Team überprüften Risiko-Frameworks auf Datenschutz- und Sicherheitsbedenken. Allerdings befassten sich weniger Rahmenwerke – rund 40 Prozent – ​​mit Problemen wie Fehlinformationen. Diese Ungleichheit könnte darauf hindeuten, dass bestimmte Risiken möglicherweise übersehen werden, wenn sich Unternehmen auf die wichtigeren Anliegen konzentrieren.

"Many companies are still in the early stages of adopting AI and may need further guidance on managing these risks," said Peter Slattery, who leads the project at MIT's FutureTech group. The database is intended to provide a clearer picture of the challenges for AI developers and users.

„Viele Unternehmen befinden sich noch in einem frühen Stadium der Einführung von KI und benötigen möglicherweise weitere Anleitung zum Umgang mit diesen Risiken“, sagte Peter Slattery, der das Projekt in der FutureTech-Gruppe des MIT leitet. Die Datenbank soll ein klareres Bild der Herausforderungen für KI-Entwickler und -Anwender vermitteln.

Despite advances in AI model capabilities, such as Meta's Llama 3.1, which is more powerful than its predecessors, there have been minimal improvements in safety. Bo Li pointed out that the latest version of Llama, although more capable, does not show significant enhancements in terms of safety.

Trotz Fortschritten bei den Fähigkeiten von KI-Modellen, wie zum Beispiel Metas Llama 3.1, das leistungsfähiger ist als seine Vorgänger, gab es nur minimale Verbesserungen bei der Sicherheit. Bo Li wies darauf hin, dass die neueste Version von Llama zwar leistungsfähiger sei, aber keine wesentlichen Verbesserungen in Bezug auf die Sicherheit zeige.

"Safety is not improving significantly," stated Li, reflecting a broader challenge within the industry to prioritize and optimize AI models for safe and responsible deployment.

„Die Sicherheit verbessert sich nicht wesentlich“, erklärte Li und spiegelte damit eine umfassendere Herausforderung innerhalb der Branche wider, KI-Modelle für einen sicheren und verantwortungsvollen Einsatz zu priorisieren und zu optimieren.