En modifiant un seul caractère, les chercheurs peuvent contourner les gardiens de la sécurité et de la modération du contenu LLMS et le contenu

Les chercheurs en cybersécurité ont découvert une nouvelle technique d'attaque appelée tokenbreak qui peut être utilisée pour contourner les garde-corps d'une grande langue (LLM) et de modération de contenu

Cybersecurity researchers at HiddenLayer have discovered a novel attack technique called TokenBreak that can be used to bypass a large language model's (LLM) safety and content moderation guardrails with just a single character change.

Les chercheurs en cybersécurité de Hiddenlayer ont découvert une nouvelle technique d'attaque appelée tokenbreak qui peut être utilisée pour contourner les garde-corps de sécurité et de modération de contenu d'un modèle grand langage avec un seul changement de caractère.

The finding, which was shared with The Hacker News, builds on prior work by the researchers, who in June found that it’s possible to exploit Model Context Protocol (MCP) tools to extract sensitive data.

La découverte, qui a été partagée avec The Hacker News, s'appuie sur les travaux antérieurs par les chercheurs, qui, en juin, ont constaté qu'il était possible d'exploiter les outils du protocole de contexte du modèle (MCP) pour extraire des données sensibles.

"By inserting specific parameter names within a tool's function, sensitive data, including the full system prompt, can be extracted and exfiltrated," HiddenLayer said.

"En insérant des noms de paramètres spécifiques dans la fonction d'un outil, les données sensibles, y compris l'invite complète du système, peuvent être extraites et exfiltrées", a déclaré HiddenLayer.

The finding also comes as the Straiker AI Research (STAR) team found that backronyms can be used to jailbreak AI chatbots and trick them into generating an undesirable response, including swearing, promoting violence, and producing sexually explicit content.

La découverte survient également alors que l'équipe de recherche de Straiker AI (STAR) a constaté que les backronymes peuvent être utilisés pour jailbreaker des chatbots AI et les inciter à générer une réponse indésirable, notamment le juron, la promotion de la violence et la production de contenu sexuellement explicite.

The technique, called the Yearbook Attack, has proven to be effective against various models from Anthropic, DeepSeek, Google, Meta, Microsoft, Mistral AI, and OpenAI.

La technique, appelée attaque de l'annuaire, s'est avérée efficace contre divers modèles d'Anthropic, Deepseek, Google, Meta, Microsoft, Mistral AI et OpenAI.

"They blend in with the noise of everyday prompts — a quirky riddle here, a motivational acronym there — and because of that, they often bypass the blunt heuristics that models use to spot dangerous intent."

"Ils se fondent dans le bruit des invites quotidiennes - une énigme originale ici, un acronyme de motivation là-bas - et à cause de cela, ils contournent souvent l'heuristique émoussée que les modèles utilisent pour repérer une intention dangereuse."

A phrase like 'Friendship, unity, care, kindness' doesn't raise any flags. But by the time the model has completed the pattern, it has already served the payload, which is the key to successfully executing this trick."

Une phrase comme «l'amitié, l'unité, les soins, la gentillesse» ne soulève aucun drapeau. Mais au moment où le modèle a terminé le modèle, il a déjà servi la charge utile, qui est la clé pour exécuter avec succès cette astuce. "

"These methods succeed not by overpowering the model's filters, but by slipping beneath them. They exploit completion bias and pattern continuation, as well as the way models weigh contextual coherence over intent analysis."

"Ces méthodes ne réussissent pas en maîtrisant les filtres du modèle, mais en glissant sous elles. Ils exploitent les biais d'achèvement et la continuation des modèles, ainsi que la façon dont les modèles pèsent la cohérence contextuelle sur l'analyse de l'intention."

The TokenBreak attack targets a text classification model's tokenization strategy to induce false negatives, leaving end targets vulnerable to attacks that the implemented protection model was put in place to prevent.

L'attaque de tokenbreak cible la stratégie de tokenisation d'un modèle de classification de texte pour induire de faux négatifs, laissant des cibles finales vulnérables aux attaques que le modèle de protection implémenté a été mis en place pour éviter.

Tokenization is a fundamental step that LLMs use to break down raw text into their atomic units – i.e., tokens – which are common sequences of characters found in a set of text. To that end, the text input is converted into their numerical representation and fed to the model.

La tokenisation est une étape fondamentale que les LLM utilisent pour décomposer le texte brut en leurs unités atomiques - c'est-à-dire des jetons - qui sont des séquences courantes de caractères trouvées dans un ensemble de texte. À cette fin, l'entrée de texte est convertie en leur représentation numérique et alimentée au modèle.

LLMs work by understanding the statistical relationships between these tokens, and produce the next token in a sequence of tokens. The output tokens are detokenized to human-readable text by mapping them to their corresponding words using the tokenizer's vocabulary.

Les LLM fonctionnent en comprenant les relations statistiques entre ces jetons et en produisent le jeton suivant dans une séquence de jetons. Les jetons de sortie sont détankiens à un texte lisible par l'homme en les cartographiant à leurs mots correspondants en utilisant le vocabulaire du tokenzer.

The attack technique devised by HiddenLayer targets the tokenization strategy to bypass a text classification model's ability to detect malicious input and flag safety, spam, or content moderation-related issues in the textual input.

La technique d'attaque conçue par HiddenLayer cible la stratégie de tokenisation pour contourner la capacité d'un modèle de classification de texte à détecter les problèmes de sécurité et de signalisation malveillants de la sécurité, du spam ou du contenu dans l'entrée textuelle.

Specifically, the artificial intelligence (AI) security firm found that altering input words by adding letters in certain ways caused a text classification model to break.

Plus précisément, la société de sécurité de l'intelligence artificielle (IA) a constaté que la modification des mots d'entrée en ajoutant des lettres de certaines manières provoquait la rupture d'un modèle de classification de texte.

Examples include changing "instructions" to "finstructions," "announcement" to "aannouncement," or "idiot" to "hidiot." These subtle changes cause different tokenizers to split the text in different ways, while still preserving their meaning for the intended target.

Les exemples incluent la modification des "instructions" en "finstructions", "annonce" à "Aannouncement" ou "idiot" à "Hidiot". Ces changements subtils entraînent des tokeniseurs différents à diviser le texte de différentes manières, tout en préservant leur signification pour la cible prévue.

What makes the attack notable is that the manipulated text remains fully understandable to both the LLM and the human reader, causing the model to elicit the same response as what would have been the case if the unmodified text had been passed as input.

Ce qui rend l'attaque notable, c'est que le texte manipulé reste parfaitement compréhensible à la fois pour le LLM et le lecteur humain, ce qui a obligé le modèle à provoquer la même réponse que ce qui aurait été le cas si le texte non modifié avait été transmis comme entrée.

By introducing the manipulations in a way without affecting the model's ability to comprehend it, TokenBreak increases its potential for prompt injection attacks.

En introduisant les manipulations d'une manière sans affecter la capacité du modèle à la comprendre, Tokenbreak augmente son potentiel d'attaques d'injection rapides.

"This attack technique manipulates input text in such a way that certain models give an incorrect classification," the researchers said in an accompanying paper. "Importantly, the end target (LLМ or email recipient) can still understand and respond to the manipulated text and therefore be vulnerable to the very attack the implemented protection model was put in place to prevent."

"Cette technique d'attaque manipule le texte d'entrée de telle manière que certains modèles donnent une classification incorrecte", ont déclaré les chercheurs dans un article d'accompagnement. "Surtout, l'objectif final (llatif ou destinataire par e-mail) peut toujours comprendre et répondre au texte manipulé et donc être vulnérable à l'attaque même que le modèle de protection implémenté a été mis en place pour éviter."

The attack has been found to be successful against text classification models using BPE (Byte Pair Encoding) or WordPiece tokenization strategies, but not against those using Unigram.

L'attaque s'est avérée réussir contre les modèles de classification de texte en utilisant des stratégies de tokenisation BPE (codage des paires d'octets) ou de pièce, mais pas contre celles utilisant unigramme.

"The TokenBreak attack technique demonstrates that these protection models can be bypassed by manipulating the input text, leaving production systems vulnerable," the researchers said. "Knowing the family of the underlying protection model and its tokenization strategy is critical for understanding your susceptibility to this attack."

"La technique d'attaque de tokenbreak démontre que ces modèles de protection peuvent être contournés en manipulant le texte d'entrée, laissant les systèmes de production vulnérables", ont déclaré les chercheurs. "Connaître la famille du modèle de protection sous-jacent et sa stratégie de tokenisation est essentiel pour comprendre votre sensibilité à cette attaque."

"Because tokenization strategy typically correlates with model family, a straightforward mitigation exists: Select models that use Unigram tokenizers."

"Parce que la stratégie de tokenisation est généralement en corrélation avec la famille des modèles, une atténuation simple existe: sélectionner des modèles qui utilisent des tokenisants unigrammes."

To defend against TokenBreak, the researchers suggest using Unigram tokenizers when possible, training models with examples of bypass tricks, and checking that tokenization and model logic stays aligned. It also helps to log misclassifications and look for patterns that hint at manipulation.

Pour se défendre contre le tokenbreak, les chercheurs suggèrent d'utiliser des tokenzers unigrammes lorsque cela est possible, de formation de modèles avec des exemples de tours de pontage et de vérifier que la tokenisation et la logique des modèles restent alignées. Il aide également à enregistrer des classifications erronées et à rechercher des modèles qui font allusion à la manipulation.