Cloudflare blockiert AI-Crawler wie Google-Extended standardmäßig. Was Du für GEO und Sichtbarkeit in AI Overviews jetzt beachten musst.
Cloudflare blockiert AI-Crawler – was das für GEO und AI Overviews bedeutet
Cloudflare blockiert AI-Crawler automatisch – das steckt dahinter
Generative Engine Optimization (GEO) gewinnt zunehmend an Bedeutung: Immer mehr Unternehmen optimieren ihre Inhalte gezielt für KI-Systeme wie ChatGPT, Gemini oder Googles AI Overviews. Doch eine neue Entscheidung von Cloudflare könnte diese Bemühungen zunichtemachen – zumindest dann, wenn man nicht aktiv gegensteuert.
Cloudflare blockiert AI-Crawler automatisch – das steckt dahinter
Cloudflare hat angekündigt, AI-Crawler künftig standardmäßig zu blockieren. Das betrifft unter anderem den User-Agent: Google-Extended, über den Google Inhalte für seine generativen KI-Modelle wie Search Generative Experience (SGE) bzw. AI Overviews crawlt. Wer als Website-Betreiber nichts ändert, wird also automatisch aus dem Sichtfeld der KI-Bots ausgeschlossen.
Zusätzlich führt Cloudflare ein Pay Per Crawl-Modell ein. Damit können Seitenbetreiber Geld verlangen, wenn AI-Firmen auf ihre Inhalte zugreifen wollen – ein interessanter Schritt in Richtung Content-Monetarisierung. Doch wer auf Reichweite statt direkte Einnahmen setzt, sollte genau hinschauen.
Warum ist das wichtig für GEO?
Generative Engine Optimization (kurz GEO) – also die Optimierung von Inhalten für KI-Systeme – verfolgt das Ziel, dass Inhalte sichtbar, zitierbar und nutzbar für LLMs (Large Language Models) wie ChatGPT, Google Gemini, Claude, Grok, Meta AI und Perplexity werden. Wer in diesen neuen KI-basierten Suchergebnissen erscheinen will, muss für Crawler wie Google-Extended zugänglich sein. Wird der Zugriff blockiert, ist GEO im Grunde wirkungslos.
Cloudflare-Einstellung entscheidet über Sichtbarkeit
Im neuen AI Audit Tool von Cloudflare lässt sich für jeden bekannten AI-Crawler individuell festlegen, ob er die Website crawlen darf (Allow), blockiert wird (Block) oder ob der Zugriff kostenpflichtig ist (Charge).
👉 Wichtig:
Damit eine Website in den AI Overviews bei Google erscheinen kann, muss für den AI-Crawler Google-Extended explizit die Option „Allow“ aktiviert sein.
Ist diese Einstellung auf „Block“, wird der Content von Google nicht für generative KI ausgewertet – und GEO-Maßnahmen verpuffen wirkungslos.
Die folgende Grafik zeigt das Cloudflare-AI-Audit-Interface mit den Optionen pro Crawler:
AI Audit Cloudflare – Screenshot cloudflare.com
Was sollte man jetzt tun?
Wenn Du Cloudflare nutzt und GEO betreibst, solltest Du:
- Prüfen, ob AI-Crawler wie Google-Extended, ClaudeBot, ChatGPT-User, PerplexityBot usw. blockiert sind.
- In den Cloudflare-Einstellungen unter „AI Audit“ explizit die Einstellung „Allow“ für gewünschte Crawler aktivieren.
- Deine robots.txt prüfen – in der Regel ist dort keine zusätzliche Freigabe nötig, aber: Stelle sicher, dass keine Disallow-Anweisungen für AI-Crawler enthalten sind. Entferne gezielte Sperren, wenn Du in AI Overviews & Co. erscheinen willst.
- Entscheiden, ob Monetarisierung via „Pay Per Crawl“ für Dich infrage kommt – oder ob Reichweite wichtiger ist.
Fazit
Die neue Cloudflare-Voreinstellung mag aus Sicht des Urheberrechtsschutzes sinnvoll sein – doch für GEO-orientierte Seiten ist sie ein Stolperstein. Wer in den AI Overviews bei Google oder in Antworten von ChatGPT & Co. sichtbar sein will, muss aktiv die Schranken für KI-Crawler öffnen.
GEO ohne Freigabe für AI-Bots ist wie SEO ohne Indexierung: sichtbar wird gar nichts.
Tipp: Wenn Du Dir unsicher bist, ob Deine Website KI-freundlich aufgestellt ist, lasse Deine Einstellungen prüfen – oder arbeite mit einem SEO-Experten, der sich nicht nur mit SEO, sondern auch mit GEO auskennt.