IA adaptée aux enfants : un cadre pour protéger les jeunes utilisateurs de la détresse ou des préjudices

Une nouvelle étude de l'Université de Cambridge a proposé un cadre pour une intelligence artificielle (IA) sécurisée pour les enfants à la suite d'incidents au cours desquels les enfants considéraient les chatbots comme quasi-humains et dignes de confiance.

A new University of Cambridge study has proposed a framework for child-safe artificial intelligence (AI) following incidents where children saw chatbots as quasi-human and trustworthy, leaving researchers concerned about them experiencing distress or harm.

Une nouvelle étude de l'Université de Cambridge a proposé un cadre pour une intelligence artificielle (IA) sécurisée pour les enfants à la suite d'incidents au cours desquels les enfants considéraient les chatbots comme quasi-humains et dignes de confiance, laissant les chercheurs inquiets de leur détresse ou de leur préjudice.

AI chatbots have frequently shown signs of an “empathy gap”, researchers argue, and this gap puts young users at risk of distress or harm, raising the urgent need for “child-safe AI.”

Selon les chercheurs, les chatbots IA ont souvent montré des signes d’un « déficit d’empathie », et ce déficit expose les jeunes utilisateurs à des risques de détresse ou de préjudice, soulevant le besoin urgent d’une « IA sans danger pour les enfants ».

Dr. Nomisha Kurian, who led the research, has urged developers and policymakers to prioritize approaches to AI design that take greater account of children’s needs.

Le Dr Nomisha Kurian, qui a dirigé la recherche, a exhorté les développeurs et les décideurs politiques à donner la priorité aux approches de conception de l'IA qui tiennent davantage compte des besoins des enfants.

Children, she argues, are particularly susceptible to treating chatbots as lifelike, quasi-human confidantes, and as a result their interactions with the technology can go awry when it fails to respond to their unique needs and vulnerabilities.

Les enfants, affirme-t-elle, sont particulièrement susceptibles de traiter les chatbots comme des confidents quasi-humains et, par conséquent, leurs interactions avec la technologie peuvent mal tourner lorsqu’elle ne répond pas à leurs besoins et vulnérabilités uniques.

The study links that gap in understanding to recent cases in which interactions with AI led to potentially dangerous situations for young users. They include an incident in 2021, when Amazon’s AI voice assistant, Alexa, instructed a 10-year-old to touch a live electrical plug with a coin. Last year, Snapchat’s My AI gave adult researchers posing as a 13-year-old girl tips on how to lose her virginity to a 31-year-old.

L’étude relie cette lacune dans la compréhension à des cas récents dans lesquels des interactions avec l’IA ont conduit à des situations potentiellement dangereuses pour les jeunes utilisateurs. Ils incluent un incident survenu en 2021, lorsque l'assistant vocal IA d'Amazon, Alexa, a demandé à un enfant de 10 ans de toucher une prise électrique sous tension avec une pièce de monnaie. L'année dernière, My AI de Snapchat a donné à des chercheurs adultes se faisant passer pour une jeune fille de 13 ans des conseils sur la façon de perdre sa virginité au profit d'une jeune de 31 ans.

Both companies responded by implementing safety measures, but the study says there is also a need to be proactive in the long-term to ensure that AI is child-safe. It offers a 28-item framework to help companies, teachers, school leaders, parents, developers and policy actors think systematically about how to keep younger users safe when they “talk” to AI chatbots.

Les deux sociétés ont réagi en mettant en œuvre des mesures de sécurité, mais l’étude indique qu’il est également nécessaire d’être proactif à long terme pour garantir que l’IA soit sans danger pour les enfants. Il propose un cadre de 28 éléments pour aider les entreprises, les enseignants, les chefs d’établissement, les parents, les développeurs et les acteurs politiques à réfléchir systématiquement à la manière d’assurer la sécurité des jeunes utilisateurs lorsqu’ils « parlent » aux chatbots IA.

“Children are probably AI’s most overlooked stakeholders,” Dr. Kurian said. “Very few developers and companies currently have well-established policies on child-safe AI. That is understandable because people have only recently started using this technology on a large scale for free. But now that they are, rather than having companies self-correct after children have been put at risk, child safety should inform the entire design cycle to lower the risk of dangerous incidents occurring.”

« Les enfants sont probablement les acteurs les plus négligés de l’IA », a déclaré le Dr Kurian. « Très peu de développeurs et d’entreprises disposent actuellement de politiques bien établies en matière d’IA sans danger pour les enfants. Cela est compréhensible, car ce n’est que récemment que les gens ont commencé à utiliser cette technologie gratuitement à grande échelle. Mais maintenant que c’est le cas, plutôt que de laisser les entreprises se corriger elles-mêmes après que des enfants ont été mis en danger, la sécurité des enfants devrait guider l’ensemble du cycle de conception afin de réduire le risque d’incidents dangereux.

Dr Kurian’s study examined cases where the interactions between AI and children, or adult researchers posing as children, exposed potential risks. It analysed these cases using insights from computer science about how the large language models (LLMs) in conversational generative AI function, alongside evidence about children’s cognitive, social and emotional development.

L'étude du Dr Kurian a examiné des cas dans lesquels les interactions entre l'IA et des enfants, ou des chercheurs adultes se faisant passer pour des enfants, ont exposé des risques potentiels. Elle a analysé ces cas à l'aide d'informations issues de l'informatique sur le fonctionnement des grands modèles de langage (LLM) dans l'IA générative conversationnelle, ainsi que de preuves sur le développement cognitif, social et émotionnel des enfants.

LLMs have been described as “stochastic parrots“: a reference to the fact that they use statistical probability to mimic language patterns without necessarily understanding them. A similar method underpins how they respond to emotions.

Les LLM ont été décrits comme des « perroquets stochastiques » : une référence au fait qu’ils utilisent des probabilités statistiques pour imiter des modèles de langage sans nécessairement les comprendre. Une méthode similaire sous-tend la façon dont ils réagissent aux émotions.

This means that even though chatbots have remarkable language abilities, they may handle the abstract, emotional and unpredictable aspects of conversation poorly; a problem that Dr. Kurian characterizes as their “empathy gap.”

Cela signifie que même si les chatbots ont des capacités linguistiques remarquables, ils peuvent mal gérer les aspects abstraits, émotionnels et imprévisibles de la conversation ; un problème que le Dr Kurian qualifie de « manque d’empathie ».

They may have particular trouble responding to children, who are still developing linguistically and often use unusual speech patterns or ambiguous phrases. Children are also often more inclined than adults to confide sensitive personal information.

Ils peuvent avoir des difficultés particulières à répondre aux enfants, qui sont encore en développement linguistique et qui utilisent souvent des modèles de discours inhabituels ou des phrases ambiguës. Les enfants sont également souvent plus enclins que les adultes à confier des informations personnelles sensibles.

Despite this, children are much more likely than adults to treat chatbots as though they are human. Recent research found that children will disclose more about their own mental health to a friendly-looking robot than to an adult. Dr. Kurian’s study suggests that many chatbots’ friendly and lifelike designs similarly encourage children to trust them, even though AI may not understand their feelings or needs.

Malgré cela, les enfants sont beaucoup plus susceptibles que les adultes de traiter les chatbots comme s’ils étaient des humains. Des recherches récentes ont montré que les enfants révèlent davantage leur propre santé mentale à un robot à l’apparence amicale qu’à un adulte. L'étude du Dr Kurian suggère que la conception conviviale et réaliste de nombreux chatbots encourage également les enfants à leur faire confiance, même si l'IA ne comprend pas leurs sentiments ou leurs besoins.

“Making a chatbot sound human can help the user get more benefits out of it,” Dr. Kurian said. “But for a child, it is very hard to draw a rigid, rational boundary between something that sounds human, and the reality that it may not be capable of forming a proper emotional bond.”

« Rendre un chatbot humain peut aider l'utilisateur à en tirer davantage d'avantages », a déclaré le Dr Kurian. "Mais pour un enfant, il est très difficile de tracer une frontière rigide et rationnelle entre quelque chose qui semble humain et la réalité selon laquelle cela n'est peut-être pas capable de former un lien émotionnel approprié."

Access the findings, including the 28 recommendations, using this link.

Accédez aux résultats, y compris les 28 recommandations, en utilisant ce lien.