어린이에게 안전한 AI: 어린 사용자를 고통이나 피해로부터 보호하기 위한 프레임워크

캠브리지 대학의 새로운 연구에서는 어린이들이 챗봇을 준인간적이고 신뢰할 수 있는 것으로 본 사고 이후 어린이에게 안전한 인공지능(AI)을 위한 프레임워크를 제안했습니다.

A new University of Cambridge study has proposed a framework for child-safe artificial intelligence (AI) following incidents where children saw chatbots as quasi-human and trustworthy, leaving researchers concerned about them experiencing distress or harm.

케임브리지 대학교의 새로운 연구에서는 어린이들이 챗봇을 준인간적이고 신뢰할 수 있는 존재로 여겼던 사건 이후 어린이에게 안전한 인공 지능(AI)을 위한 프레임워크를 제안했으며, 이로 인해 연구원들은 이들이 고통이나 피해를 입을 것을 우려하게 되었습니다.

 

 

AI chatbots have frequently shown signs of an “empathy gap”, researchers argue, and this gap puts young users at risk of distress or harm, raising the urgent need for “child-safe AI.”

연구자들은 AI 챗봇이 '공감 격차'의 징후를 자주 보여 왔으며, 이러한 격차로 인해 어린 사용자가 고통이나 피해를 입을 위험에 처하게 되어 '어린이에게 안전한 AI'에 대한 시급한 필요성이 제기되고 있다고 주장합니다.

 

 

Dr. Nomisha Kurian, who led the research, has urged developers and policymakers to prioritize approaches to AI design that take greater account of children’s needs.

연구를 주도한 노미샤 쿠리안(Nomisha Kurian) 박사는 개발자와 정책 입안자들에게 어린이의 요구를 더 많이 고려하는 AI 설계 접근 방식의 우선순위를 정할 것을 촉구했습니다.

 

 

Children, she argues, are particularly susceptible to treating chatbots as lifelike, quasi-human confidantes, and as a result their interactions with the technology can go awry when it fails to respond to their unique needs and vulnerabilities.

그녀는 아이들이 특히 챗봇을 실물과 같은 준인간 친구로 취급하는 데 취약하며 결과적으로 아이들의 고유한 요구 사항과 취약성에 응답하지 못할 때 기술과의 상호 작용이 잘못될 수 있다고 주장합니다.

 

 

The study links that gap in understanding to recent cases in which interactions with AI led to potentially dangerous situations for young users. They include an incident in 2021, when Amazon’s AI voice assistant, Alexa, instructed a 10-year-old to touch a live electrical plug with a coin. Last year, Snapchat’s My AI gave adult researchers posing as a 13-year-old girl tips on how to lose her virginity to a 31-year-old.

이 연구는 이러한 이해 격차를 AI와의 상호 작용으로 인해 젊은 사용자에게 잠재적으로 위험한 상황이 발생한 최근 사례와 연결됩니다. 여기에는 2021년 아마존의 AI 음성 비서 알렉사가 10세 어린이에게 동전으로 전기 플러그를 만지라고 지시한 사건이 포함됩니다. 작년에 Snapchat의 My AI는 13세 소녀로 가장한 성인 연구원들에게 31세 소녀에게 처녀성을 잃는 방법에 대한 팁을 제공했습니다.

 

 

Both companies responded by implementing safety measures, but the study says there is also a need to be proactive in the long-term to ensure that AI is child-safe. It offers a 28-item framework to help companies, teachers, school leaders, parents, developers and policy actors think systematically about how to keep younger users safe when they “talk” to AI chatbots.

두 회사 모두 안전 조치를 취하는 것으로 대응했지만, 연구 결과에 따르면 AI가 어린이에게 안전한지 확인하기 위해 장기적으로 적극적으로 대응할 필요도 있다고 합니다. 이는 기업, 교사, 학교 지도자, 부모, 개발자 및 정책 행위자가 AI 챗봇과 "대화"할 때 어린 사용자를 안전하게 보호하는 방법에 대해 체계적으로 생각할 수 있도록 돕는 28개 항목 프레임워크를 제공합니다.

 

 

“Children are probably AI’s most overlooked stakeholders,” Dr. Kurian said. “Very few developers and companies currently have well-established policies on child-safe AI. That is understandable because people have only recently started using this technology on a large scale for free. But now that they are, rather than having companies self-correct after children have been put at risk, child safety should inform the entire design cycle to lower the risk of dangerous incidents occurring.”

“어린이는 아마도 AI에서 가장 간과되는 이해관계자일 것입니다.”라고 Kurian 박사는 말했습니다. “현재 어린이에게 안전한 AI에 대한 확고한 정책을 갖고 있는 개발자와 회사는 거의 없습니다. 사람들이 최근에야 이 기술을 대규모로 무료로 사용하기 시작했기 때문에 이는 이해할 수 있습니다. 하지만 이제는 아이들이 위험에 처했을 때 기업이 스스로 교정하도록 하는 것이 아니라, 어린이 안전을 전체 설계 주기에 알려 위험한 사고 발생 위험을 낮추어야 합니다.”

 

 

Dr Kurian’s study examined cases where the interactions between AI and children, or adult researchers posing as children, exposed potential risks. It analysed these cases using insights from computer science about how the large language models (LLMs) in conversational generative AI function, alongside evidence about children’s cognitive, social and emotional development.

Kurian 박사의 연구에서는 AI와 어린이 또는 어린이로 가장한 성인 연구원 간의 상호 작용이 잠재적인 위험을 노출한 사례를 조사했습니다. 대화형 생성 AI의 대규모 언어 모델(LLM)이 어떻게 작동하는지에 대한 컴퓨터 과학의 통찰력과 어린이의 인지적, 사회적, 정서적 발달에 대한 증거를 사용하여 이러한 사례를 분석했습니다.

 

 

LLMs have been described as “stochastic parrots“: a reference to the fact that they use statistical probability to mimic language patterns without necessarily understanding them. A similar method underpins how they respond to emotions.

LLM은 "확률론적 앵무새"로 설명됩니다. 이는 언어 패턴을 반드시 이해하지 않고도 언어 패턴을 모방하기 위해 통계적 확률을 사용한다는 사실을 의미합니다. 유사한 방법이 감정에 반응하는 방식을 뒷받침합니다.

 

 

This means that even though chatbots have remarkable language abilities, they may handle the abstract, emotional and unpredictable aspects of conversation poorly; a problem that Dr. Kurian characterizes as their “empathy gap.”

이는 챗봇이 뛰어난 언어 능력을 갖고 있음에도 불구하고 대화의 추상적이고 감정적이며 예측할 수 없는 측면을 제대로 처리하지 못할 수 있음을 의미합니다. Kurian 박사가 "공감 격차"로 특징짓는 문제입니다.

 

 

They may have particular trouble responding to children, who are still developing linguistically and often use unusual speech patterns or ambiguous phrases. Children are also often more inclined than adults to confide sensitive personal information.

그들은 아직 언어적으로 발달하고 있으며 종종 특이한 언어 패턴이나 모호한 문구를 사용하는 어린이에게 반응하는 데 특히 어려움을 겪을 수 있습니다. 또한 어린이는 민감한 개인 정보를 성인보다 더 잘 숨기는 경향이 있습니다.

 

 

Despite this, children are much more likely than adults to treat chatbots as though they are human. Recent research found that children will disclose more about their own mental health to a friendly-looking robot than to an adult. Dr. Kurian’s study suggests that many chatbots’ friendly and lifelike designs similarly encourage children to trust them, even though AI may not understand their feelings or needs.

그럼에도 불구하고 어린이는 성인보다 챗봇을 인간처럼 대할 가능성이 훨씬 더 높습니다. 최근 연구에 따르면 아이들은 어른보다 친근해 보이는 로봇에게 자신의 정신 건강에 대해 더 많이 공개하는 것으로 나타났습니다. Kurian 박사의 연구에 따르면 많은 챗봇의 친근하고 실물과 같은 디자인은 AI가 어린이의 감정이나 요구 사항을 이해하지 못하더라도 어린이가 이를 신뢰하도록 유도하는 것과 유사합니다.

 

 

“Making a chatbot sound human can help the user get more benefits out of it,” Dr. Kurian said. “But for a child, it is very hard to draw a rigid, rational boundary between something that sounds human, and the reality that it may not be capable of forming a proper emotional bond.”

“챗봇을 사람처럼 들리게 만들면 사용자가 더 많은 이점을 얻을 수 있습니다.”라고 Kurian 박사는 말했습니다. “하지만 아이에게는 인간적으로 들리는 것과 그것이 적절한 감정적 유대를 형성하지 못할 수도 있다는 현실 사이에 엄격하고 이성적인 경계를 긋는 것이 매우 어렵습니다.”

 

 

Access the findings, including the 28 recommendations, using this link.

이 링크를 사용하여 28가지 권장 사항을 포함한 조사 결과에 액세스하세요.