Cloudflare AI Gateway: Kosten, Auto Router und Setup

👁 115 Aufrufe

Das AI Gateway von Cloudflare ist eine kostenlose Schnittstelle, über die Sie Anfragen an OpenAI, Anthropic, Google oder Open-Source-Modelle leiten, um Protokolle, Kosten und Limits an einem zentralen Ort zu verwalten. Seit dem 30. September 2026 bietet der Dienst einen Auto Router, der eigenständig ein günstigeres Modell wählt, wenn eine Aufgabe kein Spitzenmodell erfordert. Im internen Test von Cloudflare sanken die Kosten pro erfolgreicher Aufgabe von 0,0210 auf 0,0084 USD. Ausführlicher behandeln wir die gesamte Plattform in unserem Leitfaden zu Cloudflare.

Die EUR-Beträge sind unverbindliche Umrechnungen der veröffentlichten USD-Preise zum EZB-Referenzkurs vom 2026-10-12: 1 EUR = 1.1181 USD. Es handelt sich nicht um bestätigte örtliche Endpreise einschließlich Steuern. Anbieter und Bank können andere Kurse oder Gebühren berechnen. ECB.

Warum ein Gateway zwischen App und Modell sinnvoll ist

Wer im Unternehmen oder in eigenen Applikationen mehrere Modelle einsetzt, stößt schnell auf bekannte Hürden: verstreute API-Schlüssel, unklare Ausgabenverteilung und Ausfälle, sobald ein einzelner Provider streikt. Ein AI Gateway schaltet sich dazwischen und bietet:

• Logs und Analysen - jede Anfrage mit Token-Anzahl, Kosten und Latenz;
• Caching - identische Anfragen verursachen keine doppelten Kosten;
• Limits und Budgets - verhindert, dass einzelne Nutzer oder fehlerhafte Agenten-Schleifen über Nacht das Monatsbudget aufbrauchen;
• Fallback - antwortet ein Anbieter nicht, leitet das Gateway die Anfrage an den nächsten weiter;
• DLP - Erkennung sensibler Daten im Prompt (im Free-Tarif sind zwei vordefinierte Profile enthalten);
• Ein Schlüssel für mehrere Anbieter - wahlweise eigene API-Schlüssel (BYOK) oder zentrale Abrechnung über Cloudflare-Guthaben.

Dieses Prinzip nutzt auch OpenRouter. Der Unterschied: OpenRouter fungiert primär als Marktplatz mit gebündelter Rechnung, während das AI Gateway eine reine Kontrollschicht darstellt, die auch mit Ihren eigenen Verträgen funktioniert. Wie viel Sie bei Zwischenhändlern tatsächlich zahlen, haben wir im Artikel Preise bei OpenRouter analysiert.

Auto Router: Funktionsweise und Einsparpotenzial

Statt eines konkreten Modellnamens übergeben Sie cloudflare/auto. Das Gateway führt folgende Schritte aus:

1. Auswahl der Modelle, die die Anfrage verarbeiten können (unter Berücksichtigung von Format, hinterlegten Schlüsseln, Ausgabenlimits und Verfügbarkeit des Anbieters);
2. Analyse der letzten Nachrichten über einen kompakten Klassifikator auf Cloudflare-GPUs, der die Aufgabe einer von 14 Kategorien zuweist (wie Programmierung, Planung, Recherche oder Datenanalyse) und sie auf einer Skala von 1 bis 5 nach Komplexität, Mehrdeutigkeit, Relevanz und Kontextabhängigkeit bewertet;
3. Abgleich mit Benchmark-Ergebnissen und aktuellen Preisen - bei einfachen Aufgaben wird der Preis stärker gewichtet, bei komplexen die Modellstärke;
4. Einberechnung von Caching-Kosten: In längeren Sitzungen erfordert ein Modellwechsel das erneute Senden des gesamten Kontexts, weshalb der Router nur wechselt, wenn es sich rechnerisch lohnt.

Ergebnisse aus dem Test von Cloudflare

Cloudflare hat den Router anhand eines internen Datensatzes von 97 Büroaufgaben getestet (E-Mail, Kalender, Slack, Dateien, Reiseplanung, Finanzen), mit jeweils drei Durchläufen pro Modell:

Einordnung der Zahlen: Der Auto Router verursacht etwa 40% der Kosten von Opus und rund 78% der Kosten von GPT-6 Sol. Die Erfolgsquote liegt dabei auf dem Niveau von GPT-6 Sol und 10 Prozentpunkte unter Opus. Besteht Ihr Workload primär aus Standardaufgaben (Zusammenfassungen, E-Mail-Entwürfe, Klassifizierung), fällt die Ersparnis höher aus. Bei durchgehend anspruchsvollen Tasks greift der Router ohnehin auf die teureren Modelle zurück. Diese Daten stammen direkt von Cloudflare; unabhängige Benchmarks stehen noch aus. Die Router-Logik ist während der Beta kostenfrei, berechnet werden lediglich die aufgerufenen Modelle.

Cloudflare hat zudem cloudflare/auto-best angekündigt, eine Variante, die aus dem Modellpool stets das qualitativ beste Ergebnis anstrebt, unabhängig von den Kosten.

Web Search API: Websuche direkt im Gateway

Seit dem 2. Oktober bietet das Gateway integrierten Web-Zugriff über drei Partner: Ceramic.ai, Exa und Linkup. Die Suchergebnisse fließen direkt in den Modellkontext ein. Die Abrechnung erfolgt über dasselbe Guthaben wie für die Modelle, basierend auf den Listenpreisen der Partner ohne Aufschlag von Cloudflare. Eine wichtige Vorgabe: Die Crawler der Partner müssen den Status als verifizierte Bots bei Cloudflare erfüllen, sich also korrekt ausweisen und robots.txt beachten. Zudem muss jedes Ergebnis einen Quellenlink enthalten.

Anbindung in Python: Beispiel und Konfiguration

Das Gateway stellt einen zu OpenAI kompatiblen Endpunkt bereit. Im bestehenden Code genügt daher die Anpassung der Basis-URL. Das folgende Beispiel basiert auf der offiziellen Dokumentation von Cloudflare aus dem Oktober 2026. Wir haben diesen Code nicht ausgeführt, da er eine aktive Cloudflare-Account-ID sowie ein entsprechendes API-Token voraussetzt.

from openai import OpenAI

ACCOUNT_ID = "ihre_account_id"      # Cloudflare-Dashboard, rechte Spalte
GATEWAY_ID = "default"              # Name des Gateways
CF_TOKEN   = "ihr_api_token"        # Token mit Rechten fuer AI Gateway

client = OpenAI(
    api_key=CF_TOKEN,
    base_url=f"https://gateway.ai.cloudflare.com/v1/{ACCOUNT_ID}/{GATEWAY_ID}/compat",
)

response = client.chat.completions.create(
    model="cloudflare/auto",        # oder z. B. "openai/...", "anthropic/...", "workers-ai/@cf/..."
    messages=[{"role": "user", "content": "Streść w 3 punktach: czym jest CDN?"}],
)
print(response.choices[0].message.content)

Hinweis zum Prompt im Testbeispiel: „Streść w 3 punktach: czym jest CDN?“ bedeutet übersetzt „Fasse in 3 Punkten zusammen: Was ist ein CDN?“.

Details zur Konfiguration:

• Modellnamen: folgen dem Muster anbieter/modell, beispielsweise workers-ai/@cf/meta/llama-3.3-70b-instruct-fp8-fast.
• Authentifizierung: Nutzen Sie zentrales Cloudflare-Guthaben oder im Dashboard hinterlegte Schlüssel, genügt das Cloudflare-Token. Sollen Anbieterschlüssel direkt übermittelt werden, setzen Sie diesen als api_key ein und übergeben das Cloudflare-Token im Header cf-aig-authorization.
• Kompatibilität: Die Antwortstruktur entspricht exakt dem Standard von OpenAI.

Wenn Sie neu im Bereich der API-Nutzung sind, hilft unser Grundlagenartikel darüber, wie Token funktionieren und berechnet werden.

Was Cloudflare AI Gateway wirklich kostet

Das Tool eignet sich vor allem für Entwicklungsteams, deren monatliche API-Ausgaben im dreistelligen Bereich oder darüber liegen und die eine genaue Kostenkontrolle benötigen. Für Einzelentwickler mit wenigen Testabfragen genügen meist die Standard-Limits direkt beim jeweiligen Modellanbieter.

Worauf Sie achten sollten

• Zusätzlicher Datenverarbeiter: Prompts laufen über die Infrastruktur von Cloudflare. Ein Filter für Zero-Data-Retention (ZDR) ist angekündigt, im Auto Router jedoch noch nicht vollständig umgesetzt.
• Entscheidungslogik des Routers: Das Gateway protokolliert das gewählte Modell und die ermittelte Aufgabenkategorie, eine manuelle Gewichtung oder Anpassung der Auswahlkriterien ist jedoch nicht möglich.
• Bezahlung über x402-Protokoll: Die Abrechnung direkt pro Abfrage ohne vorab geladenes Guthaben steht vorerst nur Nutzern in den USA zur Verfügung.

Quellen

• Cloudflare - Auto Router (30.09.2026)
• Cloudflare - Web Search API (02.10.2026)
• Cloudflare - Preisübersicht AI Gateway
• Cloudflare - OpenAI-kompatibler Endpunkt
• Cloudflare - Monetization Gateway und x402 (30.09.2026)

// weiterlesenOpenAI API Kosten: GPT-6 und GPT-5.6 Tarife im ÜberblickKI-WerkzeugeHiggsfield AI Influencer: Funktionen und Kosten 2026KI-WerkzeugeHiggsfield Face Swap und Recast: Funktionen, Tipps und Kosten 2026KI-Werkzeuge

Kinetyra