Crawl Budget

Als Crawl Budget bezeichnet man die Anzahl der Seiten, die Google auf einer Webseite maximal crawlt. Dieses Crawl-Budget ist nicht bei allen Webseiten gleich, sondern wird in erster Linie in Abhängigkeit vom PageRank einer Seite festgelegt. Je höher demnach der PageRank einer Website ist, desto höher ist auch das Crawl Budget.

Was ist der Unterschied zwischen Crawl Budget und Index Budget?

Das Index Budget beschreibt, wie viele Seiten einer Website indexiet werden können. Besitzt eine Website somit viele einzelne Seiten, die einen /404 Fehlercode zurückgeben, wird das Index Budget aufgrund der Fehlermeldung nicht ausgeschöpft, das Crawl Budget jedoch schon, da jede aufgerufene Seite das Crawl Budget belastet.

Bedeutung für die Suchmaschinenoptimierung

Angesichts eines limitierten Crawl-Budgets ist es wichtig, dass der Crawler relativ einfach die relevanten Inhalte einer Seite durchsuchen kann und das vorhandene Crawl Budget möglichst sinnvoll ausnutzt wird.

Es gilt also die Seiten zu identifizieren, die von untergeordneter Bedeutung sind. Hierzu gehören Seiten mit schlechtem Content aber auch fehlerhafte Seiten, die einen /404 Fehler zurückgeben. Diese identifizierten Seiten sollten vom Crawling ausgeschlossen werden, sodass das Crawl Budget für höherwertige Unterseiten verfügbar bleibt.