zurück zur Übersicht

Google Update – Robots.txt

Blogbild

In der robots.txt einer Website wurden bislang Hinweise für den Zugriff und das Crawlen der einzelnen Seiten des Internetauftritts durch die Suchmaschinen-Crawler von beispielsweise Google festgelegt.

Somit konnte das Verhalten der Crawler durch die Einstellungen in der robots.txt beeinflusst werden – es ließen sich damit Websitebereiche markieren, die für die Suchmaschinen "gesperrt" oder "offen" sein sollten. 

Seit dem 1. September haben sich die Google Richtlinien zur Nutzung der robots.txt allerdings verändert. Da die Einstellungen in der Robots.txt von Webentwicklern und Websitebetreibern laut Google zu selten verwendet werden, werden einige der vornehmbaren Anweisungen zukünfig nicht mehr durch die Suchmaschine unterstützt und beim Crawlen folglich nicht mehr beachtet. Dies betrifft die nachfolgenden Anweisungen der robots.txt:

  • Nofollow
  • Noindex
  • Crawl-delay 

Webentwickler und Websitebetreiber haben dennoch weiterhin die Möglichkeit, das Crawling der Suchmaschinen auf ihrer Seite zu beeinflussen.

Als Alternative zu den Noindex-Anweisungen in der robots.txt bieten sich folgende Möglichkeiten, um einzelne Seiten aus dem Suchindex zu entfernen:

  • Noindex-Anweisung im X-Robots-Tag
  • Noindex-Anweisung im Meta Robots.Tag
  • Status-Code auf 404 oder 420 setzen, um vorzugeben, dass die Seiten für Crawler nicht existieren
  • Einen Passwortschutz nutzen: mit einem Login können die Inhalte von dem Google-Index nicht erfasst werden
  • Das Crawlen der Seite generell auf Disallow in der robots.txt setzen
  • Das Remove URL Tool der Google Search Console verwenden

Wichtig: Auch wenn Google selbst angibt, dass die Angaben in der Robots.txt nur von sehr wenigen Website-Betreibern genutzt werden – von 0,001 Prozent – so wird besonders die Angabe "Noindex" doch gar nicht so selten genutzt. Aus diesem Grund empfehlen wir, bestehende Websites jetzt nach dem Google-Update einmal gründlich zu überprüfen, um zu verhindern, dass Unterseiten im Google Index auftauchen, die eigentlich gar nicht gecrawlt werden sollen. 

Sie möchten Ihre Website überprüfen lassen? Wir helfen Ihnen gern dabei!

Weitere Beiträge dieser Kategorie

Unternehmensnews, Online Marketing

5 SEO-Tipps 2024: Eine Handvoll Einblicke

Entdecke unsere 5 SEO-Tipps 2024 für eine verbesserte Online-Präsenz. Von Keyword-Auswahl bis zur Backlink-Strategie. Jetzt mehr erfahren! 

 

 

 

 

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

UND-/ODER-Targeting für LinkedIn Kampagnen

Steigere deine Reichweite gezielt auf LinkedIn! Erfahre, wie du mit UND/ODER-Targeting präzise Zielgruppen für erfolgreiche Kampagnen erreichen kannst.

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Was macht eigentlich Kristin?

Erfahrt Näheres über die Aufgaben, die Kristins Rolle als Leiterin des Online Marketing Teams mit sich bringt und erhaltet einen Einblick in ihren Arbeitsalltag.

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Tipps und Tricks: LinkedIn Ads

Steigere deine Unternehmenssichtbarkeit und erreiche deine Ziele mit LinkedIn Ads! Lese dir jetzt unsere Empfehlungen für erfolgreiche Kampagnen durch. 

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Tipps für einen erfolgreichen Newsletter!

Erfahre, wie du mit unseren Tipps nicht nur deine Öffnungsraten verbessern, sondern auch eine starke Bindung zu deiner Zielgruppe aufbauen kannst.

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Überschriften für die Suchmaschinenoptimierung

Erfahre, wie du deine Website mithilfe von Überschriften für Google und Co. optimieren kannst. Lese dir jetzt unseren Blogbeitrag durch!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Weihnachts-Kommunikation

Die Vorweihnachtszeit spielt in der Unternehmenskommunikation eine ganz besondere Rolle. Jetzt aktiv werden!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Employer Branding auf LinkedIn

Warum eine starke Präsenz entscheidend ist – Erfahrt, wie LinkedIn als Instrument zur Implementierung eurer Arbeitgebermarke dient. 

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

5 Quicktipps für mehr Conversions auf eurer Landingpage

Möchtet ihr die Conversion-Raten eurer Landingpage steigern? Entdeckt in unserem Blogbeitrag fünf Quicktipps zur zielgerichteten Optimierung eurer Landingpage!

mehr erfahren
mehr erfahren