子供に安全な AI: 若いユーザーを苦痛や危害から守るフレームワーク

ケンブリッジ大学の新しい研究は、子供たちがチャットボットを人間に似た信頼できるものと見なした事件を受けて、子供に安全な人工知能（AI）のフレームワークを提案した

A new University of Cambridge study has proposed a framework for child-safe artificial intelligence (AI) following incidents where children saw chatbots as quasi-human and trustworthy, leaving researchers concerned about them experiencing distress or harm.

ケンブリッジ大学の新たな研究では、子供たちがチャットボットを人間に似た信頼できるものとみなしてしまい、研究者らは彼らが苦痛や危害を経験するのではないかと懸念しているという事件を受けて、子供に安全な人工知能（AI）のフレームワークを提案した。

 

 

AI chatbots have frequently shown signs of an “empathy gap”, researchers argue, and this gap puts young users at risk of distress or harm, raising the urgent need for “child-safe AI.”

研究者らは、AIチャットボットは「共感ギャップ」の兆候を頻繁に示しており、このギャップが若いユーザーを苦痛や危害の危険にさらしており、「子供に安全なAI」の緊急の必要性を高めていると主張している。

 

 

Dr. Nomisha Kurian, who led the research, has urged developers and policymakers to prioritize approaches to AI design that take greater account of children’s needs.

研究を主導したノミシャ・クリアン博士は、開発者や政策立案者に対し、子どものニーズをより考慮したAI設計のアプローチを優先するよう促した。

 

 

Children, she argues, are particularly susceptible to treating chatbots as lifelike, quasi-human confidantes, and as a result their interactions with the technology can go awry when it fails to respond to their unique needs and vulnerabilities.

子どもたちは特に、チャットボットをまるで人間のような親友として扱う傾向があり、その結果、子どもたち特有のニーズや脆弱性に対応できなかった場合、子どもたちのテクノロジーとのやり取りがうまくいかなくなる可能性がある、と彼女は主張する。

 

 

The study links that gap in understanding to recent cases in which interactions with AI led to potentially dangerous situations for young users. They include an incident in 2021, when Amazon’s AI voice assistant, Alexa, instructed a 10-year-old to touch a live electrical plug with a coin. Last year, Snapchat’s My AI gave adult researchers posing as a 13-year-old girl tips on how to lose her virginity to a 31-year-old.

この研究は、この理解のギャップを、AI との相互作用が若いユーザーにとって潜在的に危険な状況を引き起こした最近の事例と関連付けています。その中には、2021年にアマゾンのAI音声アシスタント「アレクサ」が10歳児にコインで通電中のコンセントに触れるように指示した事件も含まれている。昨年、SnapchatのMy AIは、13歳の少女を装った成人研究者たちに、31歳の少女が処女を失う方法についてのヒントを与えた。

 

 

Both companies responded by implementing safety measures, but the study says there is also a need to be proactive in the long-term to ensure that AI is child-safe. It offers a 28-item framework to help companies, teachers, school leaders, parents, developers and policy actors think systematically about how to keep younger users safe when they “talk” to AI chatbots.

両社は安全対策を講じることで対応したが、AIが子供にとって安全であることを保証するために長期的には積極的に取り組む必要もあると研究は述べている。これは、企業、教師、学校指導者、保護者、開発者、政策担当者が、若いユーザーが AI チャットボットと「会話」する際に安全を保つ方法について体系的に考えるのに役立つ 28 項目のフレームワークを提供します。

 

 

“Children are probably AI’s most overlooked stakeholders,” Dr. Kurian said. “Very few developers and companies currently have well-established policies on child-safe AI. That is understandable because people have only recently started using this technology on a large scale for free. But now that they are, rather than having companies self-correct after children have been put at risk, child safety should inform the entire design cycle to lower the risk of dangerous incidents occurring.”

「おそらく子供たちは、AI の最も見落とされている利害関係者です」とクリアン博士は言いました。 「現在、子供に安全な AI に関して確立されたポリシーを持っている開発者や企業はほとんどありません。人々がこのテクノロジーを大規模に無料で使い始めたのはつい最近のことですから、それも当然です。しかし今では、子供たちが危険にさらされた後に企業が自主的に是正するのではなく、子供の安全を設計サイクル全体に知らせて、危険な事故が発生するリスクを下げる必要があります。」

 

 

Dr Kurian’s study examined cases where the interactions between AI and children, or adult researchers posing as children, exposed potential risks. It analysed these cases using insights from computer science about how the large language models (LLMs) in conversational generative AI function, alongside evidence about children’s cognitive, social and emotional development.

クリアン博士の研究では、AIと子供、または子供を装った大人の研究者との相互作用が潜在的なリスクを明らかにした事例を調査した。研究チームは、会話型生成 AI の大規模言語モデル (LLM) がどのように機能するかについてのコンピューター サイエンスの洞察と、子どもの認知、社会、感情の発達に関する証拠を利用して、これらの事例を分析しました。

 

 

LLMs have been described as “stochastic parrots“: a reference to the fact that they use statistical probability to mimic language patterns without necessarily understanding them. A similar method underpins how they respond to emotions.

LLM は「確率論的なオウム」と呼ばれています。これは、言語パターンを必ずしも理解することなく、統計的確率を使用して言語パターンを模倣するという事実を指します。同様の方法が、彼らが感情にどのように反応するかを裏付けています。

 

 

This means that even though chatbots have remarkable language abilities, they may handle the abstract, emotional and unpredictable aspects of conversation poorly; a problem that Dr. Kurian characterizes as their “empathy gap.”

これは、チャットボットが優れた言語能力を持っているにもかかわらず、会話の抽象的、感情的、予測不可能な側面をうまく処理できない可能性があることを意味します。クリアン博士は、この問題を「共感のギャップ」と特徴付けています。

 

 

They may have particular trouble responding to children, who are still developing linguistically and often use unusual speech patterns or ambiguous phrases. Children are also often more inclined than adults to confide sensitive personal information.

彼らは、言語的にまだ発達段階にあり、珍しい発話パターンや曖昧なフレーズを頻繁に使用する子供たちへの対応に特に問題があるかもしれません。また、子供は多くの場合、大人よりも機密性の高い個人情報を漏らす傾向があります。

 

 

Despite this, children are much more likely than adults to treat chatbots as though they are human. Recent research found that children will disclose more about their own mental health to a friendly-looking robot than to an adult. Dr. Kurian’s study suggests that many chatbots’ friendly and lifelike designs similarly encourage children to trust them, even though AI may not understand their feelings or needs.

それにもかかわらず、子供たちは大人よりもチャットボットを人間であるかのように扱う傾向があります。最近の研究によると、子どもたちは自分の精神的健康について、大人よりも優しそうなロボットに多​​くを打ち明けるという。クリアン博士の研究は、たとえ AI が子どもの感情やニーズを理解できないとしても、多くのチャットボットのフレンドリーで本物そっくりのデザインが同様に子どもを信頼するよう促していることを示唆しています。

 

 

“Making a chatbot sound human can help the user get more benefits out of it,” Dr. Kurian said. “But for a child, it is very hard to draw a rigid, rational boundary between something that sounds human, and the reality that it may not be capable of forming a proper emotional bond.”

「チャットボットを人間らしくすることで、ユーザーはチャットボットからより多くのメリットを得ることができます」とクリアン博士は言いました。 「しかし、子供にとって、人間らしいものと、適切な感情的な絆を築くことができない可能性がある現実の間に、厳格で合理的な境界線を引くことは非常に困難です。」

 

 

Access the findings, including the 28 recommendations, using this link.

このリンクを使用して、28 の推奨事項を含む調査結果にアクセスしてください。