# URL Discovery

> URL Discovery ist die Frage, ob Crawler den relevanten Content einer Website überhaupt finden: über HTML-Links, eine aktuelle Sitemap und ohne Click- oder Login-Walls vor wichtigen Inhalten.

Quelle: https://www.codaai.ai/wissen/geo-glossar/url-discovery/
Veroeffentlicht: 2026-09-03
Zitieren mit Quellenangabe und Link auf die Quelle erlaubt.

---

URL Discovery bezeichnet den ersten Schritt jeder Indexierung: Ein Crawler muss eine URL kennen, bevor er sie abrufen kann. Er lernt URLs über Links auf bereits bekannten Seiten und über die XML-Sitemap. Können Crawler den relevanten Content überhaupt finden? Das ist die Frage, die vor Crawl-Budget, Indexierung und Ranking steht.

## Wie funktioniert URL Discovery?

Ein Crawler beginnt bei bekannten URLs — der Startseite, der Sitemap — und folgt den HTML-Links, die er dort findet. Jede verlinkte Seite wird zur nächsten bekannten URL. Seiten ohne eingehenden HTML-Link sind Waisen: Sie werden nur gefunden, wenn sie in der Sitemap stehen, und selbst dann bewertet der Crawler sie als unwichtig, weil nichts auf sie zeigt. [LLM-Crawler](https://www.codaai.ai/wissen/geo-glossar/llm-crawler/) führen kein JavaScript aus; Links, die erst per Skript entstehen, existieren für sie nicht.

Click-Walls und Login-Walls unterbrechen die Kette an anderer Stelle: Die URL ist bekannt, aber der Inhalt dahinter ist ohne Interaktion nicht erreichbar.

## Warum ist URL Discovery für die KI-Sichtbarkeit wichtig?

Weil sie das unterste Glied der Kette ist: URL Discovery, [Crawl Management](https://www.codaai.ai/wissen/geo-glossar/crawl-budget/), [Index-Management](https://www.codaai.ai/wissen/geo-glossar/index-management/), Verlinkung, Content-Qualität. Eine Leistungsseite, die nur über ein JavaScript-Menü erreichbar ist, wird von KI-Crawlern nicht entdeckt, nicht ins Training aufgenommen und bei einer Live-Antwort nicht abgerufen — unabhängig von ihrer Qualität.

## Was bedeutet das für Ihre Website?

Alle wichtigen Seiten müssen über HTML-Links erreichbar sein — aus der Navigation, aus verwandten Seiten, aus dem Footer. Halten Sie die Sitemap aktuell. Setzen Sie keine Click- oder Login-Walls vor Inhalte, die gefunden werden sollen. Und prüfen Sie den Linkgraph: Seiten mit nur einem eingehenden Link sind auch für Menschen kaum zu finden.