llms.txt: Lesen KI-Bots die Datei wirklich?

👁 114 Aufrufe

Auf der untersuchten Website liegt eine llms.txt-Datei mit 230 Zeilen und 170 Links zu wichtigen Seiten. WordPress erstellt sie automatisch. Ich habe 13 Tage Serverlogs ausgewertet, vom 24. Oktober bis zum 5. November 2026: insgesamt 1.832.096 Anfragen. Mehr als 61.000 davon stammten laut User-Agent von Bots von OpenAI, Anthropic und Perplexity. Wie oft rief einer von ihnen llms.txt ab? Kein einziges Mal.

Ich schreibe darüber, weil llms.txt oft als erster Schritt zur „Sichtbarkeit in ChatGPT“ empfohlen wird. Meine Logs zeichnen ein anderes Bild. Hier finden Sie die Zahlen, meine Auswertungsmethode und Befehle, mit denen Sie Ihre eigenen Logs prüfen können.

Was ist llms.txt?

llms.txt ist ein Vorschlag von Jeremy Howard vom 3. September 2024, beschrieben auf llmstxt.org. Die Datei liegt im Stammverzeichnis einer Website unter /llms.txt und besteht aus einfachem Markdown-Text. Vorgeschrieben ist lediglich eine H1-Überschrift mit dem Namen der Website. Darauf können eine kurze Beschreibung als Zitat und H2-Abschnitte mit Links zu Seiten folgen, die ein Sprachmodell zuerst lesen soll. Die Idee dahinter: Statt sich durch Menüs, Werbung und Skripte zu arbeiten, erhält das Modell ein leicht zu verarbeitendes Inhaltsverzeichnis.

Meine Datei beginnt mit „# Prompt-Portal“, enthält eine Beschreibung der Website und den Abschnitt „Über die Quelle“ mit Angaben zu Autor und Methode. Danach folgen Linkgruppen zu Tools, Live-Status, Preisen und Vergleichen. Daneben gibt es llms-full.txt, eine Fassung mit dem vollständigen Inhalt. Sie ist 7,34 MB groß und umfasst 80.795 Zeilen.

llms.txt ist kein Standard einer Organisation. In der Dokumentation von OpenAI, Anthropic und Perplexity wird die Datei nicht erwähnt. Google hat sich ausdrücklich dazu geäußert; darauf komme ich weiter unten zurück.

Was die Serverlogs zeigen

Der Server protokolliert jede Anfrage mit IP-Adresse, Datum, Pfad, Antwortcode und User-Agent, also der Kennung des anfragenden Programms. Ich habe aus den Tagesarchiven alle Aufrufe von /llms.txt, /llms-full.txt und /robots.txt herausgefiltert und außerdem die Anfragen von KI-Bots an die gesamte Website gezählt.

llms.txt wurde 95-mal aufgerufen, llms-full.txt 22-mal. Am häufigsten lud SEOJuice, ein SEO-Audit-Tool, die Datei herunter: 26-mal. Es folgten agentwebmap-bot (15-mal), der Crawler des Datensatzes code-docs-corpus (7-mal), Googlebot (4-mal), einige Website-Audit-Tools und ein gutes Dutzend gewöhnlicher Browser. Vermutlich sahen sich Branchenkollegen die Datei an.

In den Rohdaten fand ich außerdem je einen Aufruf von GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot sowie von einigen weiteren Bots. Zunächst sah das vielversprechend aus, bis ich die Uhrzeiten prüfte: Alle Anfragen kamen von derselben polnischen IP-Adresse innerhalb von 13 Sekunden, am 30. Oktober zwischen 00:03:13 und 00:03:26. Jeder Aufruf hatte eine andere Bot-Kennung. Das war ein Zugriffstest, den ich bei der Überarbeitung des Dateigenerators selbst gestartet hatte. Ein echter GPTBot kommt nicht über einen privaten Internetanschluss in Polen.

[30/Oct/2026:00:03:13] "GET /llms.txt" 200 "... GPTBot/1.2; +https://openai.com/gptbot"
[30/Oct/2026:00:03:14] "GET /llms.txt" 200 "... OAI-SearchBot/1.0; +https://openai.com/searchbot"
[30/Oct/2026:00:03:16] "GET /llms.txt" 200 "... ClaudeBot/1.0; +claudebot@anthropic.com"
[30/Oct/2026:00:03:18] "GET /llms.txt" 200 "... PerplexityBot/1.0; +https://perplexity.ai/..."
(18 Kennungen, eine IP-Adresse, 13 Sekunden)

Nach Abzug dieser Testserie hatte kein Bot von OpenAI, Anthropic oder Perplexity llms.txt abgerufen. Ich habe es auch andersherum überprüft: Dafür habe ich die offiziellen IP-Adresslisten von OpenAI und Perplexity herangezogen und die Aufrufe von llms.txt damit abgeglichen. Von diesen Adressen kam kein einziger Aufruf.

KI-Bots besuchen die Website, aber nicht llms.txt

Die KI-Bots kennen meine Website durchaus. In denselben 13 Tagen gab es folgende Zugriffe:

* Nur Anfragen von IP-Bereichen, die OpenAI und Perplexity offiziell veröffentlichen. Die Zahlen für ClaudeBot, Claude-User, GPTBot und Googlebot beruhen auf der Bot-Kennung; die IP-Adresse wurde nicht überprüft. Zeitraum: 24.10.-5.11.2026, Serverlogs der untersuchten Website.

OAI-SearchBot rief 3.484 verschiedene Adressen auf, PerplexityBot 3.774. Beide beziehen Seiten aus der Sitemap und aus Links, ähnlich wie Googlebot. Wozu brauchen sie dann ein Inhaltsverzeichnis in llms.txt, wenn sie die Originalseiten lesen?

Eine Sache hat mich überrascht: Von den 19.921 Anfragen des OAI-SearchBot entfielen nur 5.259 auf Seiten. Der Rest waren CSS-Dateien und Skripte sowie 7.364 Aufrufe meiner eigenen Statistikzähler, die erst im Browser ausgeführt werden. Daraus folgt: Der ChatGPT-Suchbot rendert Seiten zusammen mit JavaScript. Wenn Sie Klicks mit einem eigenen Skript zählen, sollten Sie dessen Aufrufe herausfiltern, sonst verfälschen sie die Statistik.

Wer die Website für ChatGPT-Nutzer aufruft

Besonders interessant ist ChatGPT-User. Diese Kennung erscheint, wenn jemand ChatGPT eine Frage stellt und das Modell eine Website aufruft, um zu antworten. In den 13 Tagen gab es 2.219 solcher Zugriffe von OpenAI-IP-Adressen auf 790 verschiedene Unterseiten. Am häufigsten aufgerufen wurden, nach der Startseite (388-mal): Wann sind die Wahlen? (56-mal), KI-Kalender (22-mal), ChatGPT-Preise (18-mal) und der Vergleich ChatGPT Plus oder Pro (14-mal).

Das Muster ist erkennbar: Der Chat ruft eine Website auf, wenn die Frage konkrete, veränderliche Informationen betrifft. Termine, Preise und Tarifvergleiche. Dasselbe habe ich in Bing-Daten beobachtet, über die ich in meinem Artikel dazu geschrieben habe, wie Copilot die Website zitiert. Das Modell braucht keine Zusammenfassung von mir. Es braucht eine Seite, auf der eine aktuelle Zahl weit oben steht und mit einem Prüfdatum versehen ist.

Vorsicht vor gefälschten Bots

Perplexity-User tauchte mit 540 Anfragen in den Logs auf, aber keine davon kam von einer Perplexity-IP-Adresse. Alle suchten nach Dateien wie /.env, /.env.production oder /config/gcp-credentials.json. Dahinter stecken Scanner, die sich als KI-Bots ausgeben und darauf setzen, dass Administratoren sie ungeprüft durchlassen. Auch 563 von 2.782 Anfragen mit der Kennung ChatGPT-User stammten nicht von OpenAI.

Mein praktischer Rat: Lassen Sie einen Zugriff nicht allein deshalb zu, weil im User-Agent „GPTBot“ steht. Prüfen Sie die IP-Adresse anhand der offiziellen Liste. Wenn das nicht möglich ist, behandeln Sie die Kennung als Behauptung, nicht als Beweis.

Was Google dazu sagt

In seinem Leitfaden zur Optimierung für die KI-Suche schreibt Google, dass für die Aufnahme in die Suche - einschließlich generativer Funktionen - keine speziellen KI-Dateien oder Markdown-Dateien erstellt werden müssen, da die Suche sie nicht verwendet. Zu llms.txt heißt es gesondert: Sie können die Datei pflegen, aber sie schadet und nützt der Sichtbarkeit bei Google nicht, weil Google sie ignoriert. Die Passage wurde im Juni 2026 in die Dokumentation aufgenommen. Bereits ein Jahr zuvor hatte Gary Illyes von Google öffentlich dasselbe gesagt.

Die vier Aufrufe von llms.txt durch Googlebot ändern daran nichts. Googlebot ruft jede Adresse auf, die er in Links findet - so ist er auch auf diese Datei gestoßen.

Mein Fazit: Ich behalte die Datei, bezahle aber nicht dafür

Ich lösche llms.txt nicht. Die Datei wird automatisch erstellt, schadet niemandem und wird von SEO-Tools und einigen kleineren Crawlern gelesen. Falls OpenAI oder Anthropic sie irgendwann nutzen, ist sie bereits vorhanden.

Wer Ihnen aber eine „llms.txt-Implementierung“ als Weg zu Empfehlungen in ChatGPT verkauft, verlangt zu viel. In meinen Logs ist die Datei für Audit-Tools da, nicht für Modelle. Eine Stunde Arbeit an einer Seite mit Preis, Datum und Antwort im ersten Absatz bringt mehr als diese Datei.

Aus den Logs lässt sich ableiten, was tatsächlich hilft:

• Die richtigen Bots zulassen. OAI-SearchBot und PerplexityBot sind für die Präsenz in den Chat-Suchmaschinen zuständig. Wenn Sie sie in robots.txt oder der Hosting-Firewall blockieren, fallen Sie aus deren Index. Ob Sie GPTBot für das Training zulassen, ist eine separate Entscheidung.
• Eine schnelle Website ohne Sperren. ChatGPT-User ruft Seiten während eines Gesprächs auf Anfrage ab. Eine langsame Seite oder ein Prüfbildschirm mit der Frage „Sind Sie ein Mensch?“ wird es schlicht nicht in die Antwort schaffen.
• Konkrete, veränderliche Informationen. Die am häufigsten aufgerufenen Seiten beantworten Fragen zu Terminen, Preisen oder Unterschieden zwischen Tarifen. Solche Informationen hat das Modell nicht im Gedächtnis und muss sie abrufen.
• Messen statt raten. Serverlogs sind kostenlos und zeigen, welche Unterseiten Bots und Chat-Nutzer aufrufen.

So prüfen Sie Ihre eigenen Logs

Sie benötigen die rohen Zugriffslogs Ihres Hostings. Im Verwaltungsbereich liegen sie meist im Verzeichnis logs oder stehen als Archive zum Download bereit. Für den Anfang reichen drei Befehle:

# 1. Wer ruft llms.txt ab? (Adresse, Datum, Kennung)
zcat access.log.gz | grep '"GET /llms' | awk '{print $1, $4, $NF}'

# 2. Wie viele Anfragen an die gesamte Website kommen von KI-Bots?
zcat access.log.gz | grep -c 'OAI-SearchBot'
zcat access.log.gz | grep -c 'ChatGPT-User'

# 3. Welche Unterseiten ruft ChatGPT auf Nutzeranfrage auf?
zcat access.log.gz | grep 'ChatGPT-User' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Vergleichen Sie anschließend die IP-Adressen mit den Listen von OpenAI (die Dateien chatgpt-user.json, searchbot.json und gptbot.json auf openai.com) und Perplexity. Ohne diesen Schritt zählen Sie auch Scanner mit - wie ich beim ersten Durchlauf.

Diese Messung ist der erste Schritt meines Kurses GEO: ein Unternehmen, das ChatGPT empfiehlt. Er umfasst 29 Lektionen: von Fragen, die Kunden einer Branche stellen, über die Prüfung, ob KI-Bots überhaupt Zugriff auf die Website haben, bis zum Kundenbericht. Der Kurs ist auch im Paket kombAIn mit 27 weiteren Kursen aus dem Prompt-Labor enthalten. Eine Übersicht weiterer Kurse finden Sie unter KI-Kurse; den Begriff selbst erkläre ich im Glossar: GEO.

Quellen und Prüfdatum

Logs und Dateien geprüft am 6.11.2026.

• Server-Zugriffslogs der untersuchten Website, 24.10.-5.11.2026 (1.832.096 Anfragen), eigene Auswertung
• llms.txt der untersuchten Website - 230 Zeilen, 43.304 Byte, 170 Links
• llmstxt.org - Vorschlag für llms.txt von Jeremy Howard, 3.09.2024
• Google Search Central - Leitfaden zur Optimierung für die KI-Suche, Abschnitt zu llms.txt
• OpenAI - Informationen zu OAI-SearchBot, GPTBot und ChatGPT-User sowie IP-Adresslisten
• Perplexity - Informationen zu PerplexityBot und Perplexity-User
• Anthropic - Bots ClaudeBot, Claude-User und Claude-SearchBot
• Search Engine Roundtable, 24.07.2025 - Gary Illyes: Google unterstützt llms.txt nicht

// weiterlesenKI-Schulung mit Zertifikat: Was der AI Act wirklich verlangtMagazinGPT-6 Astra Kosten: Was eine Million Tokens wirklich kostetMagazinHiggsfield Promo Code, Rabattcode und Gutschein: was es wirklich gibtKI-Werkzeuge

Kinetyra