Common Crawl

Common Crawl ist eine gemeinnützige Organisation, die monatlich Milliarden von Webseiten crawlt und die Rohdaten als offenes Archiv bereitstellt. Das Archiv umfasst über 300 Milliarden Webseiten aus 19 Jahren. Es ist eine der wichtigsten Quellen, aus denen KI-Anbieter das Modellwissen ihrer Sprachmodelle trainieren.

Wie funktioniert Common Crawl?

Der Crawler von Common Crawl, der CCBot, besucht Webseiten wie ein Suchmaschinen-Crawler und speichert HTML, Metadaten und extrahierten Text in standardisierten Dateiformaten. Die Daten werden monatlich als neuer Snapshot veröffentlicht und sind für jeden kostenlos abrufbar. KI-Anbieter filtern und bereinigen diese Rohdaten, bevor sie in ein Training einfließen; Seiten mit wenig Text, Duplikaten oder schlechter Qualität fallen dabei häufig heraus.

Warum ist Common Crawl für die KI-Sichtbarkeit wichtig?

Was nicht im Common Crawl steht, hat einen schweren Stand im Modellwissen. Eine Website, die den CCBot blockt, hinter Login-Walls liegt oder ihre Inhalte nur per JavaScript nachlädt, kommt in den Trainingsdaten nicht oder nur als leere Hülle vor. Umgekehrt gilt: Eine Seite im Common Crawl ist noch keine Garantie dafür, dass ein Modell ihre Inhalte gelernt hat — aber die Voraussetzung dafür.

Wie wählt Common Crawl Seiten aus?

Common Crawl erfasst nicht jede Domain gleich oft. Laut einer Analyse der Mozilla Foundation priorisiert der Crawler Domains nach ihrer Harmonic Centrality, also danach, wie nah eine Domain im Linkgraphen an allen anderen liegt. Domains mit hohem Wert werden häufiger gecrawlt, Domains mit niedrigem Wert fallen eher heraus (zitiert von Metehan Yeşilyurt, Januar 2026). Common Crawl veröffentlicht diese Werte zusammen mit dem PageRank regelmäßig in seinen WebGraph-Daten.

Harmonic Centrality misst etwas anderes als PageRank: nicht das Gewicht der eingehenden Links, sondern die Nähe zum Rest des Webs. Eine Seite kann einen hohen PageRank und trotzdem eine geringe Harmonic Centrality haben (Stephen Burns, LLM Mastery, September 2026). Für Unternehmen heißt das: Links von gut vernetzten Seiten, etwa Fachmedien, Verbänden und Verzeichnissen, bringen die eigene Domain näher an den Kern des Graphen (Digital PR).

Was bedeutet das für Ihre Website?

Prüfen Sie, ob Ihre wichtigen URLs im Common-Crawl-Index vorkommen und ob der CCBot in Ihrer robots.txt erlaubt ist. Liefern Sie den Text Ihrer Seiten im HTML aus, nicht erst nach dem Rendern durch JavaScript, und halten Sie den Quelltext schlank — die Bereinigung der KI-Anbieter sortiert Seiten aus, bei denen Markup den Inhalt überwiegt. Wie Sie LLM-Crawler insgesamt richtig behandeln, steht im eigenen Begriff.