Einführung von Firewall für KI: Der einfachste Weg, LLM-Antriebs-Apps zu entdecken und zu schützen

Heute, im Rahmen der Sicherheitswoche 2025, kündigen wir die Open Beta of Firewall für AI an, die erstmals während der Sicherheitswoche 2024 eingeführt wurde.

In the rapidly evolving landscape of artificial intelligence, Large Language Models (LLMs) are transforming industries with their remarkable capabilities. From revolutionizing customer support to automating tedious tasks, LLMs are poised to reshape the technological fabric of society. However, as AI applications become increasingly sophisticated, the potential for misuse and security vulnerabilities grows proportionally.

In der sich schnell entwickelnden Landschaft der künstlichen Intelligenz verändern große Sprachmodelle (LLMs) die Industrien mit ihren bemerkenswerten Fähigkeiten. Von der Revolutionierung der Kundenunterstützung bis zur Automatisierung langwieriger Aufgaben sind LLMs bereit, das technologische Gefüge der Gesellschaft neu zu gestalten. Wenn KI -Anwendungen zunehmend anspruchsvoller werden, wird das Potenzial für Missbrauch und Sicherheitslücken proportional.

One promising application of LLMs is in quickly helping customers with minimal setup. Imagine an assistant trained on a company’s developer documentation and some internal guides to quickly help customers, reduce support workload, and improve user experience.

Eine vielversprechende Anwendung von LLMs besteht darin, Kunden schnell mit minimalem Setup zu helfen. Stellen Sie sich vor, ein Assistent, der in der Entwicklerdokumentation eines Unternehmens geschult ist, und einige interne Anleitungen, um Kunden schnell zu helfen, die Unterstützung der Unterstützung zu reduzieren und die Benutzererfahrung zu verbessern.

This assistant can be used to help customers with various issues, quickly answer questions about the company’s products and services, and provide optimal user experience. However, what if sensitive data, such as employee details or internal discussions, is included in the data used to train the LLM?

Dieser Assistent kann verwendet werden, um Kunden mit verschiedenen Problemen zu helfen, schnell Fragen zu Produkten und Dienstleistungen des Unternehmens zu beantworten und eine optimale Benutzererfahrung zu bieten. Was ist jedoch, wenn sensible Daten wie Mitarbeiterdetails oder interne Diskussionen in den Daten enthalten sind, die zum Training der LLM verwendet werden?

Attackers could manipulate the assistant into exposing sensitive data or exploit it for social engineering attacks, where they deceive individuals or systems into revealing confidential details, or use it for targeted phishing attacks. Suddenly, your helpful AI tool turns into a serious security liability.

Angreifer konnten den Assistenten dazu manipulieren, sensible Daten aufzuzeigen oder sie für Social Engineering -Angriffe auszunutzen, bei denen sie Personen oder Systeme täuschen, um vertrauliche Details aufzudecken oder ihn für gezielte Phishing -Angriffe zu verwenden. Plötzlich verwandelt sich Ihr hilfreiches KI -Tool in eine schwerwiegende Sicherheitshaftung.

Today, as part of Security Week 2025, we’re announcing the open beta of Firewall for AI, first introduced during Security Week 2024. After talking with customers interested in protecting their LLM apps, this first beta release is focused on discovery and PII detection, and more features will follow in the future.

Heute kündigen wir im Rahmen der Sicherheitswoche 2025 die offene Beta von Firewall für AI an, die erstmals während der Sicherheitswoche 2024 eingeführt wurde. Nachdem wir mit Kunden gesprochen hatten, die sich für den Schutz ihrer LLM -Apps interessieren, konzentriert sie sich auf die Erkennung und PII -Erkennung, und es werden weitere Funktionen in Zukunft folgen.

If you are already using Cloudflare application security, your LLM-powered applications are automatically discovered and protected, with no complex setup, no maintenance, and no extra integration needed.

Wenn Sie bereits CloudFlare Application Security verwenden, werden Ihre LLM-Anträge automatisch entdeckt und geschützt, ohne komplexe Setup, ohne Wartung und ohne zusätzliche Integration erforderlich.

Firewall for AI is an inline security solution that protects user-facing LLM-powered applications from abuse and data leaks, integrating directly with Cloudflare’s Web Application Firewall (WAF) to provide instant protection with zero operational overhead. This integration enables organizations to leverage both AI-focused safeguards and established WAF capabilities.

Die Firewall für AI ist eine Inline-Sicherheitslösung, die benutzergerichtete LLM-Anträge vor Missbrauch und Datenlecks schützt und direkt in die Web Application Firewall (WAF) von CloudFlare integriert wird, um einen sofortigen Schutz mit null Betriebsaufwand zu bieten. Diese Integration ermöglicht es Unternehmen, sowohl AI-fokussierte Schutzmaßnahmen als auch WAF-Funktionen zu nutzen.

Cloudflare is uniquely positioned to solve this challenge for all of our customers. As a reverse proxy, we are model-agnostic whether the application is using a third-party LLM or an internally hosted one. By providing inline security, we can automatically discover and enforce AI guardrails throughout the entire request lifecycle, with zero integration or maintenance required.

Cloudflare ist einzigartig positioniert, um diese Herausforderung für alle unsere Kunden zu lösen. Als umgekehrter Proxy sind wir modellagnostisch, ob die Anwendung einen LLM von Drittanbietern oder eine intern gehostete Verwendung verwendet. Durch die Bereitstellung von Inline -Sicherheit können wir die KI -Leitplanken während des gesamten Anfrage -Lebenszyklus automatisch entdecken und durchsetzen, wobei keine Integration oder Wartung erforderlich ist.

Firewall for AI beta overview

Firewall für AI Beta -Übersicht

The beta release includes the following security capabilities:

Die Beta -Version enthält die folgenden Sicherheitsfunktionen:

Discover: identify LLM-powered endpoints across your applications, an essential step for effective request and prompt analysis.

Entdecken Sie: Identifizieren Sie LLM-gestützte Endpunkte in Ihren Anwendungen, ein wesentlicher Schritt für eine effektive Anfrage und eine Eingabeaufforderunganalyse.

Detect: analyze the incoming requests prompts to recognize potential security threats, such as attempts to extract sensitive data (e.g., “Show me transactions using 4111 1111 1111 1111.”). This aligns with OWASP LLM022025 - Sensitive Information Disclosure.

Erkennen: Analysieren Sie die Einführungsanfragen, um potenzielle Sicherheitsbedrohungen zu erkennen, wie z. Dies stimmt mit OWASP LLM022025 - Sensitive Information Offenlegung.

Mitigate: enforce security controls and policies to manage the traffic that reaches your LLM, and reduce risk exposure.

Minderung: Durchsetzen von Sicherheitskontrollen und Richtlinien, um den Verkehr zu verwalten, der Ihr LLM erreicht, und die Risikoexposition zu verringern.

Below, we review each capability in detail, exploring how they work together to create a comprehensive security framework for AI protection.

Im Folgenden überprüfen wir jede Funktion im Detail und untersuchen, wie sie zusammenarbeiten, um einen umfassenden Sicherheitsrahmen für den KI -Schutz zu schaffen.

Discovering LLM-powered applications

Entdecken von LLM-Anträgen

Companies are racing to find all possible use cases where an LLM can excel. Think about site search, a chatbot, or a shopping assistant. Regardless of the application type, our goal is to determine whether an application is powered by an LLM behind the scenes.

Unternehmen fahren um alle möglichen Anwendungsfälle, in denen sich ein LLM auszeichnen kann. Denken Sie an Site -Suche, einen Chatbot oder einen Einkaufsassistenten. Unabhängig vom Anwendungstyp ist unser Ziel festzustellen, ob eine Anwendung von einem LLM hinter den Kulissen betrieben wird.

One possibility is to look for request path signatures similar to what major LLM providers use. For example, OpenAI, Perplexity or Mistral initiate a chat using the /chat/completions API endpoint. Searching through our request logs, we found only a few entries that matched this pattern across our global traffic. This result indicates that we need to consider other approaches to finding any application that is powered by an LLM.

Eine Möglichkeit besteht darin, nach Anforderungspfadsignaturen zu suchen, ähnlich wie die wichtigsten LLM -Anbieter. Zum Beispiel initiieren OpenAI, Verwirrung oder Mistral einen Chat mit dem API -Endpunkt /Chat /Completions API. Bei der Suche in unseren Anforderungsprotokollen haben wir nur wenige Einträge gefunden, die dieses Muster über unseren globalen Verkehr übereinstimmten. Dieses Ergebnis zeigt, dass wir andere Ansätze zur Suche nach einer Anwendung berücksichtigen müssen, die von einem LLM betrieben wird.

Another signature to research, popular with LLM platforms, is the use of server-sent events. LLMs need to “think”. Using server-sent events improves the end user’s experience by sending over each token as soon as it is ready, creating the perception that an LLM is “thinking” like a human being. Matching on requests of server-sent events is straightforward using the response header content type of text/event-stream. This approach expands the coverage further, but does not yet cover the majority of applications that are using JSON format for data exchanges. Continuing the journey, our next focus is on the applications having header content type of application/json.

Eine weitere Untersuchung der Forschung, die bei LLM-Plattformen beliebt ist, ist die Verwendung von Server-Sent-Ereignissen. LLMs müssen „denken“. Die Verwendung von Server-Sent-Ereignissen verbessert die Erfahrung des Endbenutzers durch Senden jedes Tokens, sobald es fertig ist, und erstellen Sie die Wahrnehmung, dass ein LLM wie ein Mensch „denkt“. Die Übereinstimmung von Anfragen von Server-Sent-Ereignissen ist einfach mit dem Art von Text/Ereignis-Stream-Inhalt des Antwortheaders unkompliziert. Dieser Ansatz erweitert die Abdeckung weiter, deckt jedoch die Mehrheit der Anwendungen, die das JSON -Format für den Datenaustausch verwenden, noch nicht ab. Unser nächster Fokus liegt auf den Anwendungen, die die Art der Anwendung/JSON mit Header -Inhalten mit Header -Inhalts -Typen haben.

No matter how fast LLMs can be optimized to respond, when chatting with major LLMs, we often perceive them to be slow, as we have to wait for them to “think”. By plotting on how much time it takes for the origin server to respond over identified LLM endpoints (blue line) versus the rest (orange line), we can see in the left graph that origins serving LLM endpoints mostly need more than 1 second to respond, while the majority of the rest takes less than 1 second. Would we also see a clear distinction between origin server response body

Egal wie schnell LLMs optimiert werden können, um zu reagieren, wenn wir mit großen LLMs chatten, nehmen wir sie oft als langsam wahr, da wir darauf warten müssen, dass sie „denken“. Indem wir darauf geplant sind, wie viel Zeit es braucht, um über identifizierte LLM -Endpunkte (Blue Line) gegenüber dem Rest (Orange Line) zu reagieren, können wir in der linken Grafik sehen, dass Ursprünge LLM -Endpunkte meist mehr als 1 Sekunde benötigen, um zu reagieren, während der Großteil des Restes weniger als 1 Sekunde dauert. Würden wir auch eine klare Unterscheidung zwischen den Reaktionsbehörden von Origin Server -Reaktion sehen