LLM-Crawler

LLM-Crawler sind die User Agents, mit denen KI-Anbieter Webseiten abrufen. Es gibt zwei Arten: Trainings-Crawler wie GPTBot, ClaudeBot oder CCBot sammeln Inhalte für das Modellwissen künftiger Modelle. Abruf-Agenten wie ChatGPT-User oder PerplexityBot holen eine Seite live, wenn ein System bei einer Antwort eine Websuche durchführt. Beide lesen das ausgelieferte HTML — und keiner von ihnen führt JavaScript aus.

Wie funktionieren LLM-Crawler?

Ein LLM-Crawler ruft eine URL ab, liest das HTML, extrahiert den Text und folgt Links, wenn er dafür konfiguriert ist. Er beachtet die robots.txt und lässt sich darüber gezielt sperren oder erlauben. Er wartet nicht auf nachgeladene Inhalte, rendert keine Skripte und wiederholt einen Abruf nicht, wenn der Server zu langsam antwortet — Chrissy Kunisch (ONE Beyond Search) nennt beim SISTRIX Meetup im September 2026 eine TTFB unter 500 bis 800 Millisekunden als Richtwert, oberhalb dessen Requests abgebrochen werden.

Ein Abruf im Logfile bedeutet dabei noch keine Sichtbarkeit: Der Agent validiert eine Seite als Kandidaten, er zitiert sie nicht deshalb (Logfiles).

Warum sind LLM-Crawler für die KI-Sichtbarkeit wichtig?

Sie sind der einzige Weg, auf dem Ihre Inhalte in ein KI-System gelangen — ins Training oder in eine Live-Antwort. Was ein Crawler nicht abrufen, nicht lesen oder nicht rechtzeitig laden kann, existiert für das System nicht. Deshalb ist die Technik das Eintrittsticket: Sie bringt eine Seite ins Rennen, entscheidet aber nicht, ob sie gewinnt.

Welche Arten von KI-Bots gibt es?

Cloudflare ordnet KI-Bots nach ihrem Verhalten in drei steuerbare Gruppen (Cloudflare Radar, September 2026):

Die Grenzen verschwimmen: Laut Cloudflare entfallen über 36 % der Crawler-Aktivität auf Mischcrawler, die Suche, Agentennutzung und Training kombinieren (Juli 2026). Die Unterscheidung ist trotzdem wichtig, weil sich jede Gruppe getrennt steuern lässt. Wer OAI-SearchBot aussperrt, erscheint regulär nicht in den Suchantworten von ChatGPT; den Trainingszugriff über GPTBot steuert er unabhängig davon (Kai Spriestersbach, AFAIK, August 2026). Zu Agenten, die Websites bedienen, siehe KI-Agenten.

Google-Extended ist kein Bot, sondern ein Steuer-Token in der robots.txt. Es regelt, ob Google Inhalte für das Training von Gemini nutzen darf, und taucht deshalb nicht in den Logfiles auf (Seokratie, August 2026). Laut Google wirkt Google-Extended nicht auf die Aufnahme in die Google-Suche.

Was bedeutet das für Ihre Website?

Prüfen Sie Ihre robots.txt auf gesperrte KI-Bots. Liefern Sie wichtige Inhalte serverseitig im HTML aus, nicht per JavaScript. Halten Sie die Antwortzeit des Servers niedrig (TTFB) und den DOM schlank. Vermeiden Sie Click- und Login-Walls vor Inhalten, die gefunden werden sollen. Und werten Sie Ihre Logfiles nach AI User Agents aus, um zu sehen, welche Seiten die Systeme tatsächlich abrufen — mit der Einschränkung, dass Google AI Overviews und AI Mode in der Regel keinen Live-Abruf erzeugen.