Kindersichere KI: Ein Rahmenwerk zum Schutz junger Benutzer vor Stress oder Schaden

Eine neue Studie der Universität Cambridge hat einen Rahmen für kindersichere künstliche Intelligenz (KI) vorgeschlagen, nachdem es Vorfälle gegeben hatte, bei denen Kinder Chatbots als quasi-menschlich und vertrauenswürdig ansahen

A new University of Cambridge study has proposed a framework for child-safe artificial intelligence (AI) following incidents where children saw chatbots as quasi-human and trustworthy, leaving researchers concerned about them experiencing distress or harm.

Eine neue Studie der Universität Cambridge hat einen Rahmen für kindersichere künstliche Intelligenz (KI) vorgeschlagen, nachdem es Vorfälle gegeben hatte, bei denen Kinder Chatbots als quasi-menschlich und vertrauenswürdig ansahen, was Forscher beunruhigte, dass ihnen Leid oder Schaden widerfahren könnte.

AI chatbots have frequently shown signs of an “empathy gap”, researchers argue, and this gap puts young users at risk of distress or harm, raising the urgent need for “child-safe AI.”

KI-Chatbots weisen häufig Anzeichen einer „Empathielücke“ auf, argumentieren Forscher, und diese Lücke setzt junge Benutzer dem Risiko von Stress oder Schaden aus, was den dringenden Bedarf an „kindersicherer KI“ erhöht.

Dr. Nomisha Kurian, who led the research, has urged developers and policymakers to prioritize approaches to AI design that take greater account of children’s needs.

Dr. Nomisha Kurian, die die Forschung leitete, hat Entwickler und politische Entscheidungsträger aufgefordert, Ansätzen für das KI-Design Priorität einzuräumen, die die Bedürfnisse von Kindern stärker berücksichtigen.

Children, she argues, are particularly susceptible to treating chatbots as lifelike, quasi-human confidantes, and as a result their interactions with the technology can go awry when it fails to respond to their unique needs and vulnerabilities.

Sie argumentiert, dass Kinder besonders anfällig dafür sind, Chatbots als lebensechte, quasi-menschliche Vertraute zu behandeln, und dass ihre Interaktionen mit der Technologie schiefgehen können, wenn sie nicht auf ihre individuellen Bedürfnisse und Schwachstellen eingeht.

The study links that gap in understanding to recent cases in which interactions with AI led to potentially dangerous situations for young users. They include an incident in 2021, when Amazon’s AI voice assistant, Alexa, instructed a 10-year-old to touch a live electrical plug with a coin. Last year, Snapchat’s My AI gave adult researchers posing as a 13-year-old girl tips on how to lose her virginity to a 31-year-old.

Die Studie verknüpft diese Wissenslücke mit aktuellen Fällen, in denen Interaktionen mit KI zu potenziell gefährlichen Situationen für junge Nutzer führten. Dazu gehört ein Vorfall im Jahr 2021, als Amazons KI-Sprachassistentin Alexa einem Zehnjährigen anwies, einen stromführenden Stromstecker mit einer Münze zu berühren. Letztes Jahr gab My AI von Snapchat erwachsenen Forschern, die sich als 13-jähriges Mädchen ausgaben, Tipps, wie sie ihre Jungfräulichkeit an eine 31-Jährige verlieren können.

Both companies responded by implementing safety measures, but the study says there is also a need to be proactive in the long-term to ensure that AI is child-safe. It offers a 28-item framework to help companies, teachers, school leaders, parents, developers and policy actors think systematically about how to keep younger users safe when they “talk” to AI chatbots.

Beide Unternehmen reagierten mit der Umsetzung von Sicherheitsmaßnahmen, doch laut der Studie besteht auch langfristig die Notwendigkeit, proaktiv zu handeln, um sicherzustellen, dass KI kindersicher ist. Es bietet ein 28-Punkte-Framework, das Unternehmen, Lehrern, Schulleitern, Eltern, Entwicklern und politischen Akteuren dabei hilft, systematisch darüber nachzudenken, wie jüngere Benutzer geschützt werden können, wenn sie mit KI-Chatbots „sprechen“.

“Children are probably AI’s most overlooked stakeholders,” Dr. Kurian said. “Very few developers and companies currently have well-established policies on child-safe AI. That is understandable because people have only recently started using this technology on a large scale for free. But now that they are, rather than having companies self-correct after children have been put at risk, child safety should inform the entire design cycle to lower the risk of dangerous incidents occurring.”

„Kinder sind wahrscheinlich die am meisten übersehenen Interessenvertreter der KI“, sagte Dr. Kurian. „Derzeit verfügen nur sehr wenige Entwickler und Unternehmen über gut etablierte Richtlinien für kindersichere KI. Das ist verständlich, denn die Menschen nutzen diese Technologie erst seit Kurzem in großem Umfang kostenlos. Aber jetzt, da dies der Fall ist, sollte die Kindersicherheit den gesamten Designzyklus beeinflussen, um das Risiko gefährlicher Zwischenfälle zu verringern, anstatt dass Unternehmen selbst Abhilfe schaffen, wenn Kinder gefährdet wurden.“

Dr Kurian’s study examined cases where the interactions between AI and children, or adult researchers posing as children, exposed potential risks. It analysed these cases using insights from computer science about how the large language models (LLMs) in conversational generative AI function, alongside evidence about children’s cognitive, social and emotional development.

Die Studie von Dr. Kurian untersuchte Fälle, in denen die Interaktionen zwischen KI und Kindern oder erwachsenen Forschern, die sich als Kinder ausgeben, potenzielle Risiken aufdeckten. Es analysierte diese Fälle anhand von Erkenntnissen aus der Informatik darüber, wie die großen Sprachmodelle (LLMs) in der generativen Konversations-KI funktionieren, sowie anhand von Erkenntnissen über die kognitive, soziale und emotionale Entwicklung von Kindern.

LLMs have been described as “stochastic parrots“: a reference to the fact that they use statistical probability to mimic language patterns without necessarily understanding them. A similar method underpins how they respond to emotions.

LLMs wurden als „stochastische Papageien“ beschrieben: ein Hinweis auf die Tatsache, dass sie statistische Wahrscheinlichkeit nutzen, um Sprachmuster nachzuahmen, ohne sie unbedingt zu verstehen. Eine ähnliche Methode untermauert die Art und Weise, wie sie auf Emotionen reagieren.

This means that even though chatbots have remarkable language abilities, they may handle the abstract, emotional and unpredictable aspects of conversation poorly; a problem that Dr. Kurian characterizes as their “empathy gap.”

Dies bedeutet, dass Chatbots zwar über bemerkenswerte Sprachfähigkeiten verfügen, mit den abstrakten, emotionalen und unvorhersehbaren Aspekten einer Konversation jedoch möglicherweise schlecht umgehen können; ein Problem, das Dr. Kurian als „Empathielücke“ bezeichnet.

They may have particular trouble responding to children, who are still developing linguistically and often use unusual speech patterns or ambiguous phrases. Children are also often more inclined than adults to confide sensitive personal information.

Sie haben möglicherweise besondere Schwierigkeiten, auf Kinder zu reagieren, die sich sprachlich noch in der Entwicklung befinden und häufig ungewöhnliche Sprachmuster oder mehrdeutige Formulierungen verwenden. Kinder neigen zudem oft eher als Erwachsene dazu, vertrauliche persönliche Informationen preiszugeben.

Despite this, children are much more likely than adults to treat chatbots as though they are human. Recent research found that children will disclose more about their own mental health to a friendly-looking robot than to an adult. Dr. Kurian’s study suggests that many chatbots’ friendly and lifelike designs similarly encourage children to trust them, even though AI may not understand their feelings or needs.

Dennoch neigen Kinder viel häufiger als Erwachsene dazu, Chatbots so zu behandeln, als wären sie Menschen. Jüngste Untersuchungen haben ergeben, dass Kinder einem freundlich aussehenden Roboter gegenüber mehr über ihre eigene psychische Gesundheit preisgeben als einem Erwachsenen. Die Studie von Dr. Kurian legt nahe, dass das freundliche und lebensechte Design vieler Chatbots Kinder gleichermaßen dazu ermutigt, ihnen zu vertrauen, auch wenn die KI ihre Gefühle oder Bedürfnisse möglicherweise nicht versteht.

“Making a chatbot sound human can help the user get more benefits out of it,” Dr. Kurian said. “But for a child, it is very hard to draw a rigid, rational boundary between something that sounds human, and the reality that it may not be capable of forming a proper emotional bond.”

„Einen Chatbot so zu gestalten, dass er menschlich klingt, kann dem Benutzer helfen, mehr Nutzen daraus zu ziehen“, sagte Dr. Kurian. „Aber für ein Kind ist es sehr schwierig, eine starre, rationale Grenze zwischen etwas, das menschlich klingt, und der Realität zu ziehen, dass es möglicherweise nicht in der Lage ist, eine echte emotionale Bindung aufzubauen.“

Access the findings, including the 28 recommendations, using this link.

Über diesen Link gelangen Sie zu den Ergebnissen, einschließlich der 28 Empfehlungen.