In der robots.txt einer Website wurden bislang Hinweise für den Zugriff und das Crawlen der einzelnen Seiten des Internetauftritts durch die Suchmaschinen-Crawler von beispielsweise Google festgelegt.
Somit konnte das Verhalten der Crawler durch die Einstellungen in der robots.txt beeinflusst werden – es ließen sich damit Websitebereiche markieren, die für die Suchmaschinen "gesperrt" oder "offen" sein sollten.
Seit dem 1. September haben sich die Google Richtlinien zur Nutzung der robots.txt allerdings verändert. Da die Einstellungen in der Robots.txt von Webentwicklern und Websitebetreibern laut Google zu selten verwendet werden, werden einige der vornehmbaren Anweisungen zukünfig nicht mehr durch die Suchmaschine unterstützt und beim Crawlen folglich nicht mehr beachtet. Dies betrifft die nachfolgenden Anweisungen der robots.txt:
- Nofollow
- Noindex
- Crawl-delay
Webentwickler und Websitebetreiber haben dennoch weiterhin die Möglichkeit, das Crawling der Suchmaschinen auf ihrer Seite zu beeinflussen.
Als Alternative zu den Noindex-Anweisungen in der robots.txt bieten sich folgende Möglichkeiten, um einzelne Seiten aus dem Suchindex zu entfernen:
- Noindex-Anweisung im X-Robots-Tag
- Noindex-Anweisung im Meta Robots.Tag
- Status-Code auf 404 oder 420 setzen, um vorzugeben, dass die Seiten für Crawler nicht existieren
- Einen Passwortschutz nutzen: mit einem Login können die Inhalte von dem Google-Index nicht erfasst werden
- Das Crawlen der Seite generell auf Disallow in der robots.txt setzen
- Das Remove URL Tool der Google Search Console verwenden
Wichtig: Auch wenn Google selbst angibt, dass die Angaben in der Robots.txt nur von sehr wenigen Website-Betreibern genutzt werden – von 0,001 Prozent – so wird besonders die Angabe "Noindex" doch gar nicht so selten genutzt. Aus diesem Grund empfehlen wir, bestehende Websites jetzt nach dem Google-Update einmal gründlich zu überprüfen, um zu verhindern, dass Unterseiten im Google Index auftauchen, die eigentlich gar nicht gecrawlt werden sollen.
Sie möchten Ihre Website überprüfen lassen? Wir helfen Ihnen gern dabei!
