AI 위험 평가: AI 위험의 진화하는 환경을 파악하기 위한 경쟁

최근 연구에서는 AI 모델이 제시하는 위험을 기준으로 순위를 매겨 다양한 행동 및 규정 준수 문제를 드러냈습니다. 이 작업은 이러한 기술의 법적, 윤리적, 규제적 과제에 대한 통찰력을 제공하는 것을 목표로 합니다. 결과는 정책 입안자와 기업이 AI를 안전하게 배포하는 데 따른 복잡성을 탐색하는 데 지침이 될 수 있습니다.

Recent studies have ranked AI models based on the risks they present, highlighting a wide range of behaviors and compliance issues. This work aims to provide insights into these technologies' legal, ethical, and regulatory challenges, guiding policymakers and companies in navigating the complexities of deploying AI safely.

최근 연구에서는 제시된 위험을 기준으로 AI 모델의 순위를 매겼으며 광범위한 행동 및 규정 준수 문제를 강조했습니다. 이 작업의 목표는 이러한 기술의 법적, 윤리적, 규제적 과제에 대한 통찰력을 제공하고 정책 입안자와 기업이 AI를 안전하게 배포하는 데 따른 복잡성을 탐색하도록 안내하는 것입니다.

Bo Li, an associate professor at the University of Chicago known for testing AI systems to identify potential risks, led the research. His team, in collaboration with several universities and firms, developed a benchmark called AIR-Bench 2024 to assess AI models on a large scale.

잠재적 위험을 식별하기 위해 AI 시스템을 테스트한 것으로 알려진 시카고 대학의 부교수인 Bo Li가 연구를 주도했습니다. 그의 팀은 여러 대학 및 기업과 협력하여 AI 모델을 대규모로 평가하기 위해 AIR-Bench 2024라는 벤치마크를 개발했습니다.

The study identified variations in how different models complied with safety and regulatory standards. For instance, some models excelled in specific categories; Anthropic's Claude 3 Opus was particularly adept at refusing to generate cybersecurity threats, while Google's Gemini 1.5 Pro performed well in avoiding the generation of nonconsensual sexual imagery. These findings suggest that certain models are better suited to particular tasks, depending on the risks involved.

이 연구에서는 다양한 모델이 안전 및 규제 표준을 준수하는 방식의 차이를 확인했습니다. 예를 들어 일부 모델은 특정 범주에서 탁월했습니다. Anthropic의 Claude 3 Opus는 특히 사이버 보안 위협 생성을 거부하는 데 능숙한 반면, Google의 Gemini 1.5 Pro는 합의되지 않은 성적 이미지 생성을 피하는 데 탁월한 성능을 보였습니다. 이러한 결과는 관련된 위험에 따라 특정 모델이 특정 작업에 더 적합하다는 것을 시사합니다.

On the other hand, some models fared poorly overall. The study consistently ranked DBRX Instruct, a model developed by Databricks, as the worst across various risk categories. When Databricks released this model in 2023, the company acknowledged that its safety features needed improvement.

반면 일부 모델은 전반적으로 좋지 않은 성적을 거두었습니다. 이 연구에서는 Databricks가 개발한 모델인 DBRX Instruct를 다양한 위험 범주에서 최악의 모델로 지속적으로 평가했습니다. Databricks는 2023년에 이 모델을 출시했을 때 안전 기능에 개선이 필요하다는 점을 인정했습니다.

The research team also examined how various AI regulations compare to company policies. Their analysis revealed that corporate policies tended to be more comprehensive than government regulations, suggesting that regulatory frameworks may lag behind industry standards.

연구팀은 또한 다양한 AI 규정을 회사 정책과 비교하는 방법을 조사했습니다. 그들의 분석에 따르면 기업 정책은 정부 규정보다 더 포괄적인 경향이 있으며, 이는 규제 프레임워크가 업계 표준보다 뒤처질 수 있음을 시사합니다.

"There is room for tightening government regulations," remarked Bo Li.

Bo Li는 "정부 규제를 강화할 여지가 있습니다"라고 말했습니다.

Despite many companies implementing strict policies for AI usage, the researchers found discrepancies between these policies and how AI models performed. In several instances, AI models failed to comply with the safety and ethical guidelines set by the companies that developed them.

많은 기업이 AI 사용에 대해 엄격한 정책을 시행하고 있음에도 불구하고 연구원들은 이러한 정책과 AI 모델의 성능 사이에 불일치가 있음을 발견했습니다. 여러 사례에서 AI 모델은 이를 개발한 회사가 정한 안전 및 윤리 지침을 준수하지 못했습니다.

This inconsistency indicates a gap between policy and practice that could expose companies to legal and reputational risks. As AI continues to evolve, closing this gap may become increasingly important to ensure that the technology is deployed safely and responsibly.

이러한 불일치는 기업이 법적 및 평판 위험에 노출될 수 있는 정책과 관행 간의 격차를 나타냅니다. AI가 계속 발전함에 따라 기술을 안전하고 책임감 있게 배포하기 위해 이러한 격차를 줄이는 것이 점점 더 중요해질 수 있습니다.

Other efforts are also in progress to better understand the AI risk landscape. Two MIT researchers, Neil Thompson and Peter Slattery, have developed a database of AI risks by analyzing 43 different AI risk frameworks. This initiative is intended to help companies and organizations assess potential dangers associated with AI, particularly as the technology is adopted on a wider scale.

AI 위험 환경을 더 잘 이해하기 위한 다른 노력도 진행 중입니다. 두 명의 MIT 연구원인 Neil Thompson과 Peter Slattery는 43개의 서로 다른 AI 위험 프레임워크를 분석하여 AI 위험 데이터베이스를 개발했습니다. 이 이니셔티브는 특히 기술이 더 넓은 규모로 채택됨에 따라 기업과 조직이 AI와 관련된 잠재적인 위험을 평가하는 데 도움을 주기 위한 것입니다.

The MIT research highlights that some AI risks receive more attention than others. For instance, more than 70 percent of the risk frameworks reviewed by the team focused on privacy and security concerns. However, fewer frameworks—around 40 percent—addressed issues like misinformation. This disparity could indicate that certain risks may be overlooked as organizations focus on the more prominent concerns.

MIT 연구는 일부 AI 위험이 다른 위험보다 더 많은 관심을 받고 있음을 강조합니다. 예를 들어, 팀이 검토한 위험 프레임워크의 70% 이상이 개인 정보 보호 및 보안 문제에 중점을 두었습니다. 그러나 잘못된 정보와 같은 문제를 해결하는 프레임워크는 약 40%에 불과했습니다. 이러한 차이는 조직이 더 중요한 문제에 집중할 때 특정 위험이 간과될 수 있음을 나타낼 수 있습니다.

"Many companies are still in the early stages of adopting AI and may need further guidance on managing these risks," said Peter Slattery, who leads the project at MIT's FutureTech group. The database is intended to provide a clearer picture of the challenges for AI developers and users.

MIT의 FutureTech 그룹에서 프로젝트를 이끌고 있는 Peter Slattery는 "많은 기업이 아직 AI를 채택하는 초기 단계에 있으며 이러한 위험 관리에 대한 추가 지침이 필요할 수 있습니다"라고 말했습니다. 데이터베이스는 AI 개발자와 사용자의 과제에 대한 보다 명확한 그림을 제공하기 위한 것입니다.

Despite advances in AI model capabilities, such as Meta's Llama 3.1, which is more powerful than its predecessors, there have been minimal improvements in safety. Bo Li pointed out that the latest version of Llama, although more capable, does not show significant enhancements in terms of safety.

이전 모델보다 더욱 강력한 Meta의 Llama 3.1과 같은 AI 모델 기능의 발전에도 불구하고 안전성은 최소한으로 개선되었습니다. Bo Li는 최신 버전의 Llama가 더 많은 기능을 제공하지만 안전성 측면에서 크게 향상되지는 않는다고 지적했습니다.

"Safety is not improving significantly," stated Li, reflecting a broader challenge within the industry to prioritize and optimize AI models for safe and responsible deployment.

Li는 안전하고 책임감 있는 배포를 위해 AI 모델의 우선순위를 지정하고 최적화해야 하는 업계 내 광범위한 과제를 반영하면서 "안전성이 크게 개선되지 않고 있습니다"라고 말했습니다.