URL Discovery bezeichnet den ersten Schritt jeder Indexierung: Ein Crawler muss eine URL kennen, bevor er sie abrufen kann. Er lernt URLs über Links auf bereits bekannten Seiten und über die XML-Sitemap. Können Crawler den relevanten Content überhaupt finden? Das ist die Frage, die vor Crawl-Budget, Indexierung und Ranking steht.
Wie funktioniert URL Discovery?
Ein Crawler beginnt bei bekannten URLs — der Startseite, der Sitemap — und folgt den HTML-Links, die er dort findet. Jede verlinkte Seite wird zur nächsten bekannten URL. Seiten ohne eingehenden HTML-Link sind Waisen: Sie werden nur gefunden, wenn sie in der Sitemap stehen, und selbst dann bewertet der Crawler sie als unwichtig, weil nichts auf sie zeigt. LLM-Crawler führen kein JavaScript aus; Links, die erst per Skript entstehen, existieren für sie nicht.
Click-Walls und Login-Walls unterbrechen die Kette an anderer Stelle: Die URL ist bekannt, aber der Inhalt dahinter ist ohne Interaktion nicht erreichbar.
Warum ist URL Discovery für die KI-Sichtbarkeit wichtig?
Weil sie das unterste Glied der Kette ist: URL Discovery, Crawl Management, Index-Management, Verlinkung, Content-Qualität. Eine Leistungsseite, die nur über ein JavaScript-Menü erreichbar ist, wird von KI-Crawlern nicht entdeckt, nicht ins Training aufgenommen und bei einer Live-Antwort nicht abgerufen — unabhängig von ihrer Qualität.
Was bedeutet das für Ihre Website?
Alle wichtigen Seiten müssen über HTML-Links erreichbar sein — aus der Navigation, aus verwandten Seiten, aus dem Footer. Halten Sie die Sitemap aktuell. Setzen Sie keine Click- oder Login-Walls vor Inhalte, die gefunden werden sollen. Und prüfen Sie den Linkgraph: Seiten mit nur einem eingehenden Link sind auch für Menschen kaum zu finden.