Was ist ein Crawl-delay? Und wann solltest du es einsetzen und wann lieber nicht?
Was macht die robots.txt?
Die robots.txt-Datei enthält SEO-Anweisungen, welche Seiten oder Unterordner der Webseite angesteuert werden dürfen oder nicht. Damit steuert sie den Googlecrawler und somit die gesamte Google Indexierung. Durch das Ausschließen bestimmter Seiten, Ordner oder Dateien werden auch nicht unnötig Ressourcen verbraucht.
Die robots.txt liegt im Hauptordner der Domain und ist unter https://www.beispiel.de/robots.txt abrufbar. Sobald dies möglich ist, wird sie in der Google Search Console unter Einstellungen > Crawling angezeigt. In diesem Menü lässt sich auch ein erneutes Crawling beantragen.
Was ist ein Crawl-delay?
Durch das Crawl-delay können Webseiten-Betreiber festlegen, wie oft bestimmte Suchmaschinen die Seite durchforsten sollen. Die Anweisung Crawl-delay gibt an, wie viele Sekunden der Bot zwischen den jeweiligen Zugriffen warten soll. Die Angabe
Crawl-delay: 3
bedeutet also, dass der Googlebot mindestens 3 Sekunden warten soll, bis er die Webseite erneut durchforsten darf. Somit wird die Serverlast verringert. Aber auch bei kleineren Webseiten kann das Crawl-delay das begrenzte Trafficlimit schonen.
Die Nachteile des Crawl-delays
Ein zu langer Crawl-delay kann zu einer Verzögerung bei der Indexierung führen. Dadurch werden eventuell neue oder überarbeitete Inhalte nicht indexiert. Auch kann es dazu kommen, dass die Indexierung unvollständig ist. Es werden also nicht alle Seiten durchsucht. Unter Umständen kann der Bot dies so verstehen, dass der Seitenbetreiber nicht möchte, dass die Seite zu häufig angesteuert wird. Zudem unterstützen nicht alle Suchmaschinen ein Crawl-delay. Setze das Crawl-delay daher sehr vorsichtig ein.
Wann sollte ein Crawl-delay verwenden?
Wie gesagt, sollte dies immer mit Bedacht gemacht werden! Bevor ein Crawl-delay definiert wird, sollten andere Faktoren ausgeschlossen werden. Eingesetzt werden sollte es z.B., wenn über mehrere Tage eine hohe Serverlast festgestellt wird. Oder auch die Prioritäten der Crawler zu steuern. So könnte der Yandex-Crawler bspw. erst nach dem Google- und Bingbot mit dem Crawling beginnen dürfen.