LLM-Crawler sind die User Agents, mit denen KI-Anbieter Webseiten abrufen. Es gibt zwei Arten: Trainings-Crawler wie GPTBot, ClaudeBot oder CCBot sammeln Inhalte für das Modellwissen künftiger Modelle. Abruf-Agenten wie ChatGPT-User oder PerplexityBot holen eine Seite live, wenn ein System bei einer Antwort eine Websuche durchführt. Beide lesen das ausgelieferte HTML — und keiner von ihnen führt JavaScript aus.
Wie funktionieren LLM-Crawler?
Ein LLM-Crawler ruft eine URL ab, liest das HTML, extrahiert den Text und folgt Links, wenn er dafür konfiguriert ist. Er beachtet die robots.txt und lässt sich darüber gezielt sperren oder erlauben. Er wartet nicht auf nachgeladene Inhalte, rendert keine Skripte und wiederholt einen Abruf nicht, wenn der Server zu langsam antwortet — Chrissy Kunisch (ONE Beyond Search) nennt beim SISTRIX Meetup im September 2026 eine TTFB unter 500 bis 800 Millisekunden als Richtwert, oberhalb dessen Requests abgebrochen werden.
Ein Abruf im Logfile bedeutet dabei noch keine Sichtbarkeit: Der Agent validiert eine Seite als Kandidaten, er zitiert sie nicht deshalb (Logfiles).
Warum sind LLM-Crawler für die KI-Sichtbarkeit wichtig?
Sie sind der einzige Weg, auf dem Ihre Inhalte in ein KI-System gelangen — ins Training oder in eine Live-Antwort. Was ein Crawler nicht abrufen, nicht lesen oder nicht rechtzeitig laden kann, existiert für das System nicht. Deshalb ist die Technik das Eintrittsticket: Sie bringt eine Seite ins Rennen, entscheidet aber nicht, ob sie gewinnt.
Was bedeutet das für Ihre Website?
Prüfen Sie Ihre robots.txt auf gesperrte KI-Bots. Liefern Sie wichtige Inhalte serverseitig im HTML aus, nicht per JavaScript. Halten Sie die Antwortzeit des Servers niedrig und den DOM schlank. Vermeiden Sie Click- und Login-Walls vor Inhalten, die gefunden werden sollen. Und werten Sie Ihre Logfiles nach AI User Agents aus, um zu sehen, welche Seiten die Systeme tatsächlich abrufen — mit der Einschränkung, dass Google AI Overviews und AI Mode in der Regel keinen Live-Abruf erzeugen.