AI リスク評価: AI リスクの進化する状況をマッピングする競争

最近の研究では、AI モデルがもたらすリスクに基づいて AI モデルがランク付けされ、幅広い動作とコンプライアンス上の問題が明らかになりました。この研究は、これらのテクノロジーの法的、倫理的、規制上の課題についての洞察を提供することを目的としています。この結果は、政策立案者や企業が AI を安全に導入する際の複雑な問題を解決するための指針となる可能性があります。

Recent studies have ranked AI models based on the risks they present, highlighting a wide range of behaviors and compliance issues. This work aims to provide insights into these technologies' legal, ethical, and regulatory challenges, guiding policymakers and companies in navigating the complexities of deploying AI safely.

最近の研究では、AI モデルが提示するリスクに基づいて AI モデルをランク付けし、幅広い行動やコンプライアンス問題に焦点を当てています。この研究の目的は、これらのテクノロジーの法的、倫理的、規制上の課題についての洞察を提供し、政策立案者や企業が AI 導入の複雑さを安全に乗り越えられるように導くことです。

Bo Li, an associate professor at the University of Chicago known for testing AI systems to identify potential risks, led the research. His team, in collaboration with several universities and firms, developed a benchmark called AIR-Bench 2024 to assess AI models on a large scale.

潜在的なリスクを特定するために AI システムをテストすることで知られるシカゴ大学の准教授、Bo Li 氏が研究を主導しました。彼のチームは、いくつかの大学や企業と協力して、AI モデルを大規模に評価するための AIR-Bench 2024 と呼ばれるベンチマークを開発しました。

The study identified variations in how different models complied with safety and regulatory standards. For instance, some models excelled in specific categories; Anthropic's Claude 3 Opus was particularly adept at refusing to generate cybersecurity threats, while Google's Gemini 1.5 Pro performed well in avoiding the generation of nonconsensual sexual imagery. These findings suggest that certain models are better suited to particular tasks, depending on the risks involved.

この研究では、さまざまなモデルが安全性および規制基準にどのように準拠しているかにばらつきがあることが特定されました。たとえば、一部のモデルは特定のカテゴリで優れていました。 Anthropic の Claude 3 Opus は、サイバーセキュリティの脅威の生成を拒否することに特に優れていましたが、Google の Gemini 1.5 Pro は、同意のない性的画像の生成を回避する点で優れた性能を発揮しました。これらの調査結果は、関係するリスクに応じて、特定のモデルが特定のタスクにより適していることを示唆しています。

On the other hand, some models fared poorly overall. The study consistently ranked DBRX Instruct, a model developed by Databricks, as the worst across various risk categories. When Databricks released this model in 2023, the company acknowledged that its safety features needed improvement.

一方で、一部のモデルは全体的に不振でした。この調査では、Databricks が開発したモデルである DBRX Instruct が、さまざまなリスク カテゴリ全体で一貫して最悪のランクにランクされています。 Databricks が 2023 年にこのモデルをリリースしたとき、同社は安全機能の改善が必要であることを認めました。

The research team also examined how various AI regulations compare to company policies. Their analysis revealed that corporate policies tended to be more comprehensive than government regulations, suggesting that regulatory frameworks may lag behind industry standards.

研究チームはまた、さまざまな AI 規制と企業ポリシーとの比較についても調査しました。彼らの分析では、企業の政策は政府の規制よりも包括的な傾向にあることが明らかになり、規制の枠組みが業界標準より遅れている可能性があることが示唆されました。

"There is room for tightening government regulations," remarked Bo Li.

「政府の規制を強化する余地はある」と薄立氏は述べた。

Despite many companies implementing strict policies for AI usage, the researchers found discrepancies between these policies and how AI models performed. In several instances, AI models failed to comply with the safety and ethical guidelines set by the companies that developed them.

多くの企業が AI の使用に関して厳格なポリシーを導入しているにもかかわらず、研究者らはこれらのポリシーと AI モデルのパフォーマンスとの間に矛盾があることを発見しました。いくつかの例では、AI モデルが、それを開発した企業が設定した安全性と倫理的なガイドラインに準拠していませんでした。

This inconsistency indicates a gap between policy and practice that could expose companies to legal and reputational risks. As AI continues to evolve, closing this gap may become increasingly important to ensure that the technology is deployed safely and responsibly.

この矛盾は、企業が法的リスクや風評リスクにさらされる可能性があるポリシーと慣行との間にギャップがあることを示しています。 AI が進化し続けるにつれて、テクノロジーが安全かつ責任を持って導入されることを保証するために、このギャップを埋めることがますます重要になる可能性があります。

Other efforts are also in progress to better understand the AI risk landscape. Two MIT researchers, Neil Thompson and Peter Slattery, have developed a database of AI risks by analyzing 43 different AI risk frameworks. This initiative is intended to help companies and organizations assess potential dangers associated with AI, particularly as the technology is adopted on a wider scale.

AI のリスク状況をより深く理解するための他の取り組みも進行中です。 MIT の 2 人の研究者、ニール トンプソンとピーター スラッテリーは、43 の異なる AI リスク フレームワークを分析することにより、AI リスクのデータベースを開発しました。この取り組みは、企業や組織が AI に関連する潜在的な危険性を評価できるようにすることを目的としています。特に、AI テクノロジーがより広範囲に導入されるにつれて、その可能性が高まります。

The MIT research highlights that some AI risks receive more attention than others. For instance, more than 70 percent of the risk frameworks reviewed by the team focused on privacy and security concerns. However, fewer frameworks—around 40 percent—addressed issues like misinformation. This disparity could indicate that certain risks may be overlooked as organizations focus on the more prominent concerns.

MIT の調査は、一部の AI リスクが他のリスクよりも注目されていることを浮き彫りにしています。たとえば、チームがレビューしたリスク フレームワークの 70% 以上は、プライバシーとセキュリティの問題に焦点を当てていました。しかし、誤った情報などの問題に対処するフレームワークは少なく、約 40% でした。この差異は、組織がより顕著な懸念事項に焦点を当てているため、特定のリスクが見落とされている可能性があることを示している可能性があります。

"Many companies are still in the early stages of adopting AI and may need further guidance on managing these risks," said Peter Slattery, who leads the project at MIT's FutureTech group. The database is intended to provide a clearer picture of the challenges for AI developers and users.

MITのFutureTechグループでプロジェクトを率いるピーター・スラッテリー氏は、「多くの企業はまだAI導入の初期段階にあり、これらのリスクの管理についてさらなる指導が必要になるかもしれない」と述べた。このデータベースは、AI 開発者とユーザーに課題をより明確に提供することを目的としています。

Despite advances in AI model capabilities, such as Meta's Llama 3.1, which is more powerful than its predecessors, there have been minimal improvements in safety. Bo Li pointed out that the latest version of Llama, although more capable, does not show significant enhancements in terms of safety.

Meta の Llama 3.1 など、以前のものよりも強力な AI モデル機能の進歩にもかかわらず、安全性の向上は最小限です。 Bo Li 氏は、Llama の最新バージョンは機能が向上しているものの、安全性の点で大幅な強化は見られていないと指摘しました。

"Safety is not improving significantly," stated Li, reflecting a broader challenge within the industry to prioritize and optimize AI models for safe and responsible deployment.

「安全性は大幅には改善されていません」とリー氏は述べ、安全で責任ある導入のために AI モデルの優先順位を付けて最適化するという業界内の広範な課題を反映しています。