Was genau ist Crawl-Budget und wie können wir sicherstellen, dass wir es zu unserem Vorteil nutzen? Das Crawl-Budget bezeichnet das Budget was Google oder allgemein Suchmaschinen für das Crawlen einer bzw. mehrerer Webseiten aufwendet. Das Budget ist jedoch begrenzt, sodass die Suchmaschine eventuell nicht genug Budget für das Crawlen aller URLs einer großen Webseite hat. Dazu zählt ebenfalls die Zeit, die für das Crawlen jeder Seite aufgewendet wird, welche von einer Reihe von Faktoren abhängt, wie z. B. der Popularität der Seite, der Antwortzeit der Website und dem Alter des Inhalts
Was bedeuten Crawl-Rate und Crawl-Bedarf?
Das Crawl-Budget setzt sich aus zwei Komponenten zusammen:
- Crawl-Rate: Das Crawl-Rate Limit hängt von der sogenannten Crawl Health ab. Dies bezeichnet die Zeit, die eine Webseite benötigt, um zu reagieren. In der Google Search Console kann ein Limit angegeben werden.
- Crawl Demand / Crawl-Bedarf: Der Crawl-Bedarf hängt davon ab wie hoch die Beliebtheit der URLs ist. Alte und überholte Inhalte können sich negativ auf den Crawl-Bedarf auswirken. Bei einem Domainwechsel oder einem Relaunch kann bspw. ein erhöhter Crawl-Bedarf liegen.
Neben dem Crawl Budget gibt es auch ein Index-Budget.
Optimierung des Crawl-Budgets
Es gibt einige Möglichkeiten, das Crawl-Budget zu optimieren bzw. es sinnvoll zu nutzen. Zunächst sollten Nutzer*innen sicherstellen, dass die Website für Google leicht zu crawlen ist. Das bedeutet, dass eine gut organisierte Struktur mit klarer Navigation und interner Verlinkung vorhanden sein sollte – Stichwort „Breadcrumbs“. Zweitens sollten Nutzer*innen dafür sorgen, dass ihre Website schnell und reaktionsschnell ist. Langsame Websites werden von Google bestraft, indem sie weniger häufig gecrawlt werden. Zu guter Letzt sollte darauf geachtet werden, dass die betroffene Website frische, relevante Inhalte enthält. Bei alten, veralteten Inhalten ist die Wahrscheinlichkeit geringer, dass sie von Google gecrawlt werden.
Weitere Texte zum Thema:
