KI-Inferenz in Echtzeit im großen Maßstab mit WebSockets und langlebigen Objekten

Im Oktober 2024 sprachen wir über die Speicherung von Milliarden von Protokollen Ihrer KI-Anwendung mit AI Gateway und darüber, wie wir dafür die Entwicklerplattform von Cloudflare nutzten.

In October 2024, we covered how to store billions of logs from your AI application using AI Gateway, and how we used Cloudflare’s Developer Platform to do this.

Im Oktober 2024 haben wir darüber berichtet, wie Sie mit AI Gateway Milliarden von Protokollen Ihrer KI-Anwendung speichern und wie wir dazu die Entwicklerplattform von Cloudflare nutzen.

With AI Gateway already processing over 3 billion logs and experiencing rapid growth, the number of connections to the platform continues to increase steadily. To help developers manage this scale more effectively, we wanted to offer an alternative to implementing HTTP/2 keep-alive to maintain persistent HTTP(S) connections, thereby avoiding the overhead of repeated handshakes and TLS negotiations with each new HTTP connection to AI Gateway. We understand that implementing HTTP/2 can present challenges, particularly when many libraries and tools may not support it by default and most modern programming languages have well-established WebSocket libraries available.

Da AI Gateway bereits über 3 Milliarden Protokolle verarbeitet und ein schnelles Wachstum verzeichnet, nimmt die Anzahl der Verbindungen zur Plattform weiterhin stetig zu. Um Entwicklern dabei zu helfen, diese Größenordnung effektiver zu bewältigen, wollten wir eine Alternative zur Implementierung von HTTP/2 Keep-Alive anbieten, um dauerhafte HTTP(S)-Verbindungen aufrechtzuerhalten und so den Overhead wiederholter Handshakes und TLS-Verhandlungen bei jeder neuen HTTP-Verbindung zu AI Gateway zu vermeiden . Wir verstehen, dass die Implementierung von HTTP/2 eine Herausforderung darstellen kann, insbesondere wenn viele Bibliotheken und Tools es möglicherweise nicht standardmäßig unterstützen und die meisten modernen Programmiersprachen über gut etablierte WebSocket-Bibliotheken verfügen.

With this in mind, we used Cloudflare’s Developer Platform and Durable Objects (yes, again!) to build a WebSockets API that establishes a single, persistent connection, enabling continuous communication.

Vor diesem Hintergrund haben wir die Entwicklerplattform von Cloudflare und Durable Objects (ja, schon wieder!) verwendet, um eine WebSockets-API zu erstellen, die eine einzige, dauerhafte Verbindung herstellt und so eine kontinuierliche Kommunikation ermöglicht.

Through this API, all AI providers supported by AI Gateway can be accessed via WebSocket, allowing you to maintain a single TCP connection between your client or server application and the AI Gateway. The best part? Even if your chosen provider doesn’t support WebSockets, we handle it for you, managing the requests to your preferred AI provider.

Über diese API kann über WebSocket auf alle von AI Gateway unterstützten KI-Anbieter zugegriffen werden, sodass Sie eine einzige TCP-Verbindung zwischen Ihrer Client- oder Serveranwendung und dem AI Gateway aufrechterhalten können. Das Beste daran? Auch wenn der von Ihnen gewählte Anbieter WebSockets nicht unterstützt, kümmern wir uns für Sie darum und verwalten die Anfragen an Ihren bevorzugten KI-Anbieter.

By connecting via WebSocket to AI Gateway, we make the requests to the inference service for you using the provider’s supported protocols (HTTPS, WebSocket, etc.), and you can keep the connection open to execute as many inference requests as you would like.

Durch die Verbindung über WebSocket mit AI Gateway stellen wir die Anfragen an den Inferenzdienst für Sie unter Verwendung der vom Anbieter unterstützten Protokolle (HTTPS, WebSocket usw.), und Sie können die Verbindung offen halten, um so viele Inferenzanfragen auszuführen, wie Sie möchten.

To make your connection to AI Gateway more secure, we are also introducing authentication for AI Gateway. The new WebSockets API will require authentication. All you need to do is create a Cloudflare API token with the permission “AI Gateway: Run” and send that in the cf-aig-authorization header.

Um Ihre Verbindung zum AI Gateway sicherer zu machen, führen wir auch die Authentifizierung für AI Gateway ein. Die neue WebSockets-API erfordert eine Authentifizierung. Sie müssen lediglich ein Cloudflare-API-Token mit der Berechtigung „AI Gateway: Run“ erstellen und dieses im Header cf-aig-authorization senden.

In the flow diagram above:

Im Flussdiagramm oben:

1. When Authenticated Gateway is enabled and a valid token is included, requests will pass successfully.

1. Wenn das authentifizierte Gateway aktiviert ist und ein gültiges Token enthalten ist, werden Anforderungen erfolgreich weitergeleitet.

2. If Authenticated Gateway is enabled, but a request does not contain the required cf-aig-authorization header with a valid token, the request will fail. This ensures only verified requests pass through the gateway.

2. Wenn das authentifizierte Gateway aktiviert ist, eine Anfrage jedoch nicht den erforderlichen cf-aig-authorization-Header mit einem gültigen Token enthält, schlägt die Anfrage fehl. Dadurch wird sichergestellt, dass nur verifizierte Anfragen das Gateway passieren.

3. When Authenticated Gateway is disabled, the cf-aig-authorization header is bypassed entirely, and any token — whether valid or invalid — is ignored.

3. Wenn das authentifizierte Gateway deaktiviert ist, wird der Header „cf-aig-authorization“ vollständig umgangen und alle Token – ob gültig oder ungültig – werden ignoriert.

How we built it

Wie wir es gebaut haben

We recently used Durable Objects (DOs) to scale our logging solution for AI Gateway, so using WebSockets within the same DOs was a natural fit.

Wir haben kürzlich Durable Objects (DOs) verwendet, um unsere Protokollierungslösung für AI Gateway zu skalieren, daher war die Verwendung von WebSockets innerhalb derselben DOs eine natürliche Ergänzung.

When a new WebSocket connection is received by our Cloudflare Workers, we implement authentication in two ways to support the diverse capabilities of WebSocket clients. The primary method involves validating a Cloudflare API token through the cf-aig-authorization header, ensuring the token is valid for the connecting account and gateway.

Wenn unsere Cloudflare-Worker eine neue WebSocket-Verbindung empfangen, implementieren wir die Authentifizierung auf zwei Arten, um die vielfältigen Funktionen von WebSocket-Clients zu unterstützen. Die primäre Methode besteht in der Validierung eines Cloudflare-API-Tokens über den Header „cf-aig-authorization“, um sicherzustellen, dass das Token für das verbindende Konto und Gateway gültig ist.

However, due to limitations in browser WebSocket implementations, we also support authentication via the “sec-websocket-protocol” header. Browser WebSocket clients don't allow for custom headers in their standard API, complicating the addition of authentication tokens in requests. While we don’t recommend that you store API keys in a browser, we decided to add this method to add more flexibility to all WebSocket clients.

Aufgrund von Einschränkungen bei Browser-WebSocket-Implementierungen unterstützen wir jedoch auch die Authentifizierung über den Header „sec-websocket-protocol“. Browser-WebSocket-Clients erlauben keine benutzerdefinierten Header in ihrer Standard-API, was das Hinzufügen von Authentifizierungstokens in Anfragen erschwert. Obwohl wir nicht empfehlen, API-Schlüssel in einem Browser zu speichern, haben wir uns entschieden, diese Methode hinzuzufügen, um allen WebSocket-Clients mehr Flexibilität zu bieten.

After this initial verification step, we upgrade the connection to the Durable Object, meaning that it will now handle all the messages for the connection. Before the new connection is fully accepted, we generate a random UUID, so this connection is identifiable among all the messages received by the Durable Object. During an open connection, any AI Gateway settings passed via headers — such as cf-aig-skip-cache (which bypasses caching when set to true) — are stored and applied to all requests in the session. However, these headers can still be overridden on a per-request basis, just like with the Universal Endpoint today.

Nach diesem ersten Überprüfungsschritt aktualisieren wir die Verbindung zum dauerhaften Objekt, was bedeutet, dass es nun alle Nachrichten für die Verbindung verarbeitet. Bevor die neue Verbindung vollständig akzeptiert wird, generieren wir eine zufällige UUID, sodass diese Verbindung unter allen vom dauerhaften Objekt empfangenen Nachrichten identifizierbar ist. Während einer offenen Verbindung werden alle über Header übergebenen AI Gateway-Einstellungen – wie z. B. cf-aig-skip-cache (das das Caching umgeht, wenn es auf „true“ gesetzt ist) – gespeichert und auf alle Anfragen in der Sitzung angewendet. Diese Header können jedoch immer noch pro Anfrage überschrieben werden, genau wie heute beim Universal Endpoint.

How it works

Wie es funktioniert

Once the connection is established, the Durable Object begins listening for incoming messages. From this point on, users can send messages in the AI Gateway universal format via WebSocket, simplifying the transition of your application from an existing HTTP setup to WebSockets-based communication.

Sobald die Verbindung hergestellt ist, beginnt das dauerhafte Objekt, auf eingehende Nachrichten zu warten. Ab diesem Zeitpunkt können Benutzer Nachrichten im AI Gateway-Universalformat über WebSocket senden und so den Übergang Ihrer Anwendung von einem bestehenden HTTP-Setup zu WebSockets-basierter Kommunikation vereinfachen.

When a new message reaches the Durable Object, it’s processed using the same code that powers the HTTP Universal Endpoint, enabling seamless code reuse across Workers and Durable Objects — one of the key benefits of building on Cloudflare.

Wenn eine neue Nachricht das dauerhafte Objekt erreicht, wird sie mit demselben Code verarbeitet, der den HTTP Universal Endpoint antreibt, wodurch eine nahtlose Code-Wiederverwendung zwischen Workern und dauerhaften Objekten ermöglicht wird – einer der Hauptvorteile des Aufbaus auf Cloudflare.

For non-streaming requests, the response is wrapped in a JSON envelope, allowing us to include additional information beyond the AI inference itself, such as the AI Gateway log ID for that request.

Bei Nicht-Streaming-Anfragen wird die Antwort in einen JSON-Umschlag verpackt, sodass wir über die AI-Inferenz selbst hinaus zusätzliche Informationen einschließen können, beispielsweise die AI Gateway-Protokoll-ID für diese Anfrage.

Here’s an example response for the request above:

Hier ist eine Beispielantwort für die obige Anfrage:

For streaming requests, AI Gateway sends an initial message with request metadata telling the developer the stream is starting.

Bei Streaming-Anfragen sendet AI Gateway eine erste Nachricht mit Anforderungsmetadaten, die dem Entwickler mitteilen, dass der Stream gestartet wird.

After this initial message, all streaming chunks are relayed in real-time to the WebSocket connection as they arrive from the inference provider. Note that only the eventId field is included in the metadata for these streaming chunks (more info on what this new field is below).

Nach dieser ersten Nachricht werden alle Streaming-Blöcke in Echtzeit an die WebSocket-Verbindung weitergeleitet, sobald sie vom Inferenzanbieter eintreffen. Beachten Sie, dass nur das Feld „eventId“ in den Metadaten für diese Streaming-Blöcke enthalten ist (weitere Informationen zu diesem neuen Feld finden Sie weiter unten).

This approach serves two purposes:

Dieser Ansatz dient zwei Zwecken: