Cloudflare AI-Bots konfigurieren: Einstellungen richtig wählen
Search, Training, Agent und Disallow AI Training: Wie Sie AI-Bots in Cloudflare steuern, ohne Sichtbarkeit bei Google und Co. zu verlieren.
👁 117 Aufrufe
Seit dem 15. September 2026 unterteilt Cloudflare AI-Bots in drei Gruppen - Search, Training und Agent - und ermöglicht für jede Kategorie separate Einstellungen. Die wichtigste Änderung: Die Option „Block“ sperrt nun auch Googlebot, Bingbot und Applebot. Wer also lediglich das Training von KI-Modellen unterbinden möchte, sollte die neue Option „Disallow AI Training“ wählen. Im Folgenden erläutere ich alle Einstellungen und gebe Empfehlungen für Blogs, Online-Shops und werbefinanzierte Webseiten. Mehr zum Anbieter selbst finden Sie in unserem Leitfaden: Cloudflare - Leitfaden.
Stand: 5. Oktober 2026
- Drei Kategorien: Search (Indexierung), Training (Modelltraining), Agent (Agenten, die im Auftrag von Nutzern agieren).
- Vier Optionen: Allow, Disallow AI Training (nur für Training verfügbar), Block on pages with ads, Block.
- Eingestellt: Der alte Schalter „Block AI Bots“ und Managed robots.txt. Sie werden durch Bot Preference Sync ersetzt.
- Status „Accountable“: Google, Apple und Microsoft - ihre Crawler verbleiben trotz Trainingsverbot im Suchindex.
- Verfügbarkeit: Auf allen Tarifen aktivierbar, einschließlich Free.
Warum Cloudflare diese Umstellung vornahm
Das größte Problem stellten bisher Crawler mit Mehrfachfunktion dar: ein einzelner Bot, der gleichzeitig Webseiten für eine Suchmaschine indexiert und Daten für das Training von KI-Modellen sammelt. Der Googlebot ist das bekannteste Beispiel. Sperrt man ihn, damit Gemini nicht mit den eigenen Texten trainiert wird, verschwindet die Webseite zugleich aus den Google-Suchergebnissen. Aus diesem Grund erfasste die alte „Block“-Funktion bei Cloudflare solche Bots lange Zeit bewusst nicht.
Nach Angaben von Cloudflare blockiert weniger als 1% der Domains in seinem Netzwerk Suchmaschinen-Bots, während 17% irgendeine Form von KI-Trainingsblockade aktivieren. Eine standardmäßige robots.txt-Datei allein genügt hierbei nicht: Jeder Webmaster kann sie zwar hinterlegen, sie prüft jedoch weder die tatsächliche Identität des zugreifenden Crawlers noch kann sie Bots stoppen, die Anweisungen ignorieren. Da Cloudflare den gesamten Datenverkehr analysiert, kann der Dienst Vorgaben sowohl kommunizieren als auch serverseitig durchsetzen.
Alle Einstellungen im direkten Vergleich
| Option | Funktion | Für Search | Für Training | Für Agent |
|---|---|---|---|---|
| Allow | Erlaubt alle Bots dieser Kategorie (sofern keine andere Firewall-Regel greift) | ja | ja | ja |
| Disallow AI Training | Hinterlegt Trainingsverbot in robots.txt; „Accountable“-Bots dürfen weiter indexieren, reine Trainings-Bots werden blockiert | - | ja | - |
| Block on pages with ads | Blockiert Bots ausschließlich auf Unterseiten, auf denen Cloudflare Werbeanzeigen erkennt | ja | ja | ja |
| Block | Blockiert alle Bots der Kategorie ausnahmslos, einschließlich Kombinations-Bots (Googlebot, Bingbot, Applebot) | ja | ja | ja |
Die Option „Disallow AI Training“ blockiert unter anderem reine Scraping- und Trainings-Crawler von Amazon, Anthropic, Meta und OpenAI. Cloudflare hebt hervor, dass die Sperrung dieser Anbieter keinerlei Einfluss auf die Platzierung in klassischen Suchmaschinen hat.
Auswirkungen auf bestehende Konfigurationen
Sofern Sie keine manuellen Anpassungen vorgenommen haben, hat Cloudflare bisherige Einstellungen automatisch migriert:
| Vorher: „Block AI Bots“ | Neu: Search | Neu: Training | Neu: Agent |
|---|---|---|---|
| Deaktiviert | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Websites, bei denen zuvor bereits getrennte Regler konfiguriert waren und die für „Training“ auf „Block“ oder „Block on pages with ads“ standen, nutzen nun automatisch „Disallow AI Training“. Wichtiger Hinweis: Wenn Sie für „Training“ oder „Search“ eigenhändig „Block“ auswählen, sperren Sie damit auch den Googlebot aus. Das führt in der Praxis rasch zu massiven Sichtbarkeitsverlusten in den Suchergebnissen.
Standardwerte für neue Domains
Beim Einrichten einer neuen Domain im Dashboard fragt Cloudflare ab, ob die Webseite werbefinanziert ist, und schlägt eines von zwei Profilen vor:
| Einstellung | Seite ohne Werbung | Seite mit Werbung |
|---|---|---|
| Bot Preference Sync | Aktiviert | Aktiviert |
| Search | Allow | Allow |
| Training | Allow | Disallow AI Training |
| Agent | Allow | Block on pages with ads |
Die Überlegung dahinter: Werbeanzeigen generieren nur dann Erlöse, wenn tatsächliche Nutzer die Seite betrachten. Modelltraining verarbeitet Inhalte ohne menschlichen Seitenaufruf, und Agenten rufen Inhalte im Hintergrund ab, ohne dass Anzeigen wahrgenommen werden.
Bot Preference Sync: Automatisierte robots.txt
Die seit dem 21. August auf allen Cloudflare-Plänen verfügbare Funktion ergänzt Ihre robots.txt automatisch um einen Abschnitt, der den Einstellungen im Dashboard entspricht. Bestehende eigene Regeln bleiben erhalten; die neuen Direktiven werden darüber eingefügt, eingerahmt von den Markierungen # BEGIN Cloudflare Bot Preference Sync und # END Cloudflare Bot Preference Sync. Die zugrundeliegende Crawler-Liste pflegt Cloudflare selbstständig auf Basis seiner BotBase-Datenbank, sodass neue Crawler fortlaufend ohne manuelles Eingreifen erfasst werden.
Wann Sie die Synchronisierung deaktivieren sollten: Wenn Sie individuelle Vereinbarungen mit bestimmten KI-Anbietern getroffen haben und diesen Zugriff trotz genereller Sperre gewähren möchten. Der Abgleich steuert ganze Kategorien und berücksichtigt keine individuellen benutzerdefinierten Firewall-Regeln.
Konfigurationsempfehlungen für Webmaster
Redaktioneller Blog ohne Werbeanzeigen
- Search: Allow, Agent: Allow.
- Training: Allow oder Disallow AI Training - je nach individueller Präferenz hinsichtlich der Weiternutzung von Inhalten. Der organische Such-Traffic bleibt in beiden Fällen unberührt.
- Sofern Sie exklusive Fachinhalte publizieren, lohnt sich ein Blick auf das Cloudflare-Betaprogramm Pay Per Use, das wir im Artikel Pay Per Use von Cloudflare analysiert haben.
Werbefinanzierte Webseiten (Google AdSense u. Ä.)
- Search: Allow, Training: Disallow AI Training.
- Agent: Hier ist abzuwägen. Die Option „Block on pages with ads“ unterbindet den Zugriff von Assistenzsystemen wie ChatGPT, wenn diese auf direkte Nutzeranfrage Seiteninhalte aufrufen möchten. Dies reduziert Bot-Zugriffe ohne Anzeigenkontakt, verringert jedoch zugleich die Wahrscheinlichkeit, in Chat-Antworten als Quelle verlinkt zu werden. Wenn Sie Wert auf KI-Sichtbarkeit legen, wählen Sie hier „Allow“.
Online-Shops und E-Commerce
- Alle Kategorien auf „Allow“. Shopping-Agenten, die Preise abrufen und Produkte vergleichen, stellen direkte potenzielle Verkaufschancen dar. Die Praxis zeigt, dass führende E-Commerce-Plattformen KI-Crawler im Regelfall nicht per robots.txt aussperren.
Seiten mit Bezahlschranke (Paywall)
- Search: Allow, Training: Disallow AI Training, Agent: Block oder Block on pages with ads - das unautorisierte Extrahieren geschützter Inhalte durch autonome Agenten stellt ein messbares Risiko dar.
Schritt-für-Schritt-Anleitung zur Einrichtung
- Melden Sie sich im Cloudflare-Dashboard an und wählen Sie die betreffende Domain aus.
- Navigieren Sie zum Bereich für AI-Bots (Abschnitt „AI Crawl Control“ oder die Bot-Verwaltung unter den Sicherheitseinstellungen; Cloudflare passt Menübezeichnungen gelegentlich an).
- Wählen Sie für Search, Training und Agent die gewünschten Werte gemäß obiger Übersicht aus.
- Aktivieren Sie Bot Preference Sync, sofern Sie Ihre robots.txt nicht vollständig von Hand verwalten.
- Rufen Sie
ihredomain.de/robots.txtim Browser auf, um die von Cloudflare generierten Einträge zu überprüfen. - Kontrollieren Sie nach einigen Tagen die Bot-Statistiken in Cloudflare sowie die Google Search Console auf Auffälligkeiten bei der Indexierungsabdeckung.
Da während der Dokumentation kein direkter Zugriff auf ein individuelles Kundenkonto vorlag, basieren die Schaltflächenbezeichnungen auf den offiziellen Cloudflare-Veröffentlichungen vom 21. August und 15. September 2026. Sollten die Bezeichnungen in Ihrer Benutzeroberfläche leicht abweichen, orientieren Sie sich an den drei Hauptbereichen Search, Training und Agent.
Ausblick: Gezielte Steuerung von KI-Zusammenfassungen
Cloudflare hat angekündigt, bis Anfang 2027 Funktionen bereitzustellen, mit denen Webmaster festlegen können, in welchem Umfang Inhalte in KI-Zusammenfassungen (wie Google AI Overviews) einfließen dürfen - zentral über das Cloudflare-Dashboard statt über Einzelkonfigurationen bei jedem Suchmaschinenbetreiber. Der Status „Accountable“ verpflichtet Anbieter wie Google, Apple und Microsoft bereits jetzt dazu, entsprechende Opt-out-Verfahren für KI-Snippets bereitzustellen.
Grundlegende Richtlinien zur manuellen Crawler-Steuerung finden Sie in unserem Beitrag Wie man AI-Bots auf der eigenen Website blockiert, während der Artikel Cloudflare blockiert AI-Bots auf Websites die vorausgegangenen Systemanpassungen beleuchtet. Weiterführende Datenanalysen zum Crawler-Verhalten dokumentiert zudem unser Bericht zu robots.txt-Konfigurationen großer Webportale.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Quellen
More on this from WISSNOX
