Évaluation des risques liés à l’IA : une course pour cartographier l’évolution du paysage des risques liés à l’IA

Une étude récente a classé les modèles d’IA en fonction des risques qu’ils présentent, révélant un large éventail de comportements et de problèmes de conformité. Ce travail vise à fournir un aperçu des défis juridiques, éthiques et réglementaires de ces technologies. Les résultats pourraient guider les décideurs politiques et les entreprises dans leur démarche face aux complexités du déploiement de l’IA en toute sécurité.

Recent studies have ranked AI models based on the risks they present, highlighting a wide range of behaviors and compliance issues. This work aims to provide insights into these technologies' legal, ethical, and regulatory challenges, guiding policymakers and companies in navigating the complexities of deploying AI safely.

Des études récentes ont classé les modèles d’IA en fonction des risques qu’ils présentent, mettant en évidence un large éventail de comportements et de problèmes de conformité. Ce travail vise à fournir un aperçu des défis juridiques, éthiques et réglementaires de ces technologies, en guidant les décideurs politiques et les entreprises dans la complexité du déploiement de l’IA en toute sécurité.

Bo Li, an associate professor at the University of Chicago known for testing AI systems to identify potential risks, led the research. His team, in collaboration with several universities and firms, developed a benchmark called AIR-Bench 2024 to assess AI models on a large scale.

Bo Li, professeur agrégé à l'Université de Chicago connu pour tester les systèmes d'IA afin d'identifier les risques potentiels, a dirigé la recherche. Son équipe, en collaboration avec plusieurs universités et entreprises, a développé un benchmark appelé AIR-Bench 2024 pour évaluer les modèles d'IA à grande échelle.

The study identified variations in how different models complied with safety and regulatory standards. For instance, some models excelled in specific categories; Anthropic's Claude 3 Opus was particularly adept at refusing to generate cybersecurity threats, while Google's Gemini 1.5 Pro performed well in avoiding the generation of nonconsensual sexual imagery. These findings suggest that certain models are better suited to particular tasks, depending on the risks involved.

L'étude a identifié des variations dans la manière dont les différents modèles se conformaient aux normes de sécurité et réglementaires. Par exemple, certains modèles excellaient dans des catégories spécifiques ; Claude 3 Opus d'Anthropic était particulièrement habile à refuser de générer des menaces de cybersécurité, tandis que Gemini 1.5 Pro de Google a bien réussi à éviter la génération d'images sexuelles non consensuelles. Ces résultats suggèrent que certains modèles sont mieux adaptés à des tâches particulières, en fonction des risques encourus.

On the other hand, some models fared poorly overall. The study consistently ranked DBRX Instruct, a model developed by Databricks, as the worst across various risk categories. When Databricks released this model in 2023, the company acknowledged that its safety features needed improvement.

En revanche, certains modèles s’en sortent globalement mal. L'étude a systématiquement classé DBRX Instruct, un modèle développé par Databricks, comme le pire dans diverses catégories de risque. Lorsque Databricks a lancé ce modèle en 2023, la société a reconnu que ses caractéristiques de sécurité devaient être améliorées.

The research team also examined how various AI regulations compare to company policies. Their analysis revealed that corporate policies tended to be more comprehensive than government regulations, suggesting that regulatory frameworks may lag behind industry standards.

L’équipe de recherche a également examiné comment les différentes réglementations en matière d’IA se comparent aux politiques des entreprises. Leur analyse a révélé que les politiques des entreprises ont tendance à être plus complètes que les réglementations gouvernementales, ce qui suggère que les cadres réglementaires peuvent être en retard par rapport aux normes de l'industrie.

"There is room for tightening government regulations," remarked Bo Li.

"Il est possible de renforcer les réglementations gouvernementales", a fait remarquer Bo Li.

Despite many companies implementing strict policies for AI usage, the researchers found discrepancies between these policies and how AI models performed. In several instances, AI models failed to comply with the safety and ethical guidelines set by the companies that developed them.

Bien que de nombreuses entreprises mettent en œuvre des politiques strictes en matière d’utilisation de l’IA, les chercheurs ont constaté des écarts entre ces politiques et les performances des modèles d’IA. Dans plusieurs cas, les modèles d’IA n’ont pas respecté les directives de sécurité et d’éthique établies par les entreprises qui les ont développés.

This inconsistency indicates a gap between policy and practice that could expose companies to legal and reputational risks. As AI continues to evolve, closing this gap may become increasingly important to ensure that the technology is deployed safely and responsibly.

Cette incohérence indique un écart entre la politique et la pratique qui pourrait exposer les entreprises à des risques juridiques et de réputation. À mesure que l’IA continue d’évoluer, il pourrait devenir de plus en plus important de combler cet écart pour garantir que la technologie soit déployée de manière sûre et responsable.

Other efforts are also in progress to better understand the AI risk landscape. Two MIT researchers, Neil Thompson and Peter Slattery, have developed a database of AI risks by analyzing 43 different AI risk frameworks. This initiative is intended to help companies and organizations assess potential dangers associated with AI, particularly as the technology is adopted on a wider scale.

D’autres efforts sont également en cours pour mieux comprendre le paysage des risques liés à l’IA. Deux chercheurs du MIT, Neil Thompson et Peter Slattery, ont développé une base de données sur les risques de l'IA en analysant 43 cadres de risques différents. Cette initiative vise à aider les entreprises et les organisations à évaluer les dangers potentiels associés à l’IA, d’autant plus que la technologie est adoptée à plus grande échelle.

The MIT research highlights that some AI risks receive more attention than others. For instance, more than 70 percent of the risk frameworks reviewed by the team focused on privacy and security concerns. However, fewer frameworks—around 40 percent—addressed issues like misinformation. This disparity could indicate that certain risks may be overlooked as organizations focus on the more prominent concerns.

Les recherches du MIT soulignent que certains risques liés à l’IA reçoivent plus d’attention que d’autres. Par exemple, plus de 70 % des cadres de risque examinés par l’équipe se concentraient sur les problèmes de confidentialité et de sécurité. Cependant, moins de cadres (environ 40 %) abordaient des problèmes tels que la désinformation. Cette disparité pourrait indiquer que certains risques peuvent être négligés alors que les organisations se concentrent sur les préoccupations les plus importantes.

"Many companies are still in the early stages of adopting AI and may need further guidance on managing these risks," said Peter Slattery, who leads the project at MIT's FutureTech group. The database is intended to provide a clearer picture of the challenges for AI developers and users.

"De nombreuses entreprises en sont encore aux premiers stades de l'adoption de l'IA et pourraient avoir besoin de conseils supplémentaires pour gérer ces risques", a déclaré Peter Slattery, qui dirige le projet au sein du groupe FutureTech du MIT. La base de données vise à fournir une image plus claire des défis auxquels sont confrontés les développeurs et les utilisateurs de l’IA.

Despite advances in AI model capabilities, such as Meta's Llama 3.1, which is more powerful than its predecessors, there have been minimal improvements in safety. Bo Li pointed out that the latest version of Llama, although more capable, does not show significant enhancements in terms of safety.

Malgré les progrès dans les capacités des modèles d'IA, tels que Llama 3.1 de Meta, qui est plus puissant que ses prédécesseurs, les améliorations en matière de sécurité ont été minimes. Bo Li a souligné que la dernière version de Llama, bien que plus performante, ne présente pas d'améliorations significatives en termes de sécurité.

"Safety is not improving significantly," stated Li, reflecting a broader challenge within the industry to prioritize and optimize AI models for safe and responsible deployment.

« La sécurité ne s'améliore pas de manière significative », a déclaré Li, reflétant un défi plus large au sein de l'industrie consistant à prioriser et à optimiser les modèles d'IA pour un déploiement sûr et responsable.