In der robots.txt einer Website wurden bislang Hinweise für den Zugriff und das Crawlen der einzelnen Seiten des Internetauftritts durch die Suchmaschinen-Crawler von beispielsweise Google festgelegt.
Somit konnte das Verhalten der Crawler durch die Einstellungen in der robots.txt beeinflusst werden – es ließen sich damit Websitebereiche markieren, die für die Suchmaschinen "gesperrt" oder "offen" sein sollten.
Seit dem 1. September haben sich die Google Richtlinien zur Nutzung der robots.txt allerdings verändert. Da die Einstellungen in der Robots.txt von Webentwicklern und Websitebetreibern laut Google zu selten verwendet werden, werden einige der vornehmbaren Anweisungen zukünfig nicht mehr durch die Suchmaschine unterstützt und beim Crawlen folglich nicht mehr beachtet. Dies betrifft die nachfolgenden Anweisungen der robots.txt:
Nofollow
Noindex
Crawl-delay
Webentwickler und Websitebetreiber haben dennoch weiterhin die Möglichkeit, das Crawling der Suchmaschinen auf ihrer Seite zu beeinflussen.
Als Alternative zu den Noindex-Anweisungen in der robots.txt bieten sich folgende Möglichkeiten, um einzelne Seiten aus dem Suchindex zu entfernen:
Noindex-Anweisung im X-Robots-Tag
Noindex-Anweisung im Meta Robots.Tag
Status-Code auf 404 oder 420 setzen, um vorzugeben, dass die Seiten für Crawler nicht existieren
Einen Passwortschutz nutzen: mit einem Login können die Inhalte von dem Google-Index nicht erfasst werden
Das Crawlen der Seite generell auf Disallow in der robots.txt setzen
Das Remove URL Tool der Google Search Console verwenden
Wichtig: Auch wenn Google selbst angibt, dass die Angaben in der Robots.txt nur von sehr wenigen Website-Betreibern genutzt werden – von 0,001 Prozent – so wird besonders die Angabe "Noindex" doch gar nicht so selten genutzt. Aus diesem Grund empfehlen wir, bestehende Websites jetzt nach dem Google-Update einmal gründlich zu überprüfen, um zu verhindern, dass Unterseiten im Google Index auftauchen, die eigentlich gar nicht gecrawlt werden sollen.
Sie möchten Ihre Website überprüfen lassen? Wir helfen Ihnen gern dabei!
Die Corporate Culture oder deutsch Unternehmenskultur beschreibt die gemeinsam gelebten Einstellungen, Werte, Normen und Prinzipien von Mitarbeiter*innen und Geschäftsführung eines Unternehmens.…
Wir haben uns unter 70.000 Menschen gemischt! War das nicht unheimlich? Nein, war geil. Wir waren auf dem OMR Festival! Mehr Eindrücke findet ihr hier!
Als soziales Netzwerk bietet LinkedIn viele Vorteile im Bereich Karriere. Wie die Plattform funktioniert und was es sonst noch darüber zu wissen gibt, erfahrt ihr hier!
Wenn man gezielt potenzielle Kund*innen ansprechen möchte, eignet sich eine entsprechende Landingpage ideal dafür. Diese sollte einige Aspekte enthalten. Jetzt mehr erfahren!
Ob zur Adventszeit, für die Weihnachts-Feiertage oder zum Jahreswechsel; Sie haben viele Möglichkeiten an Ihre Kund*innen heranzutreten und sowohl die externe als auch die interne Kommunikation intere…
Der DAUSKONZEPT Open-Friday Plus – nach Monaten voller Zoom-Meetings hat sich das ganze Team versammelt, um eine Vielzahl spannender Sessions zu erleben und interne Themen zu besprechen.
Die Struktur der einzelnen Überschriften auf einer Seitewird oftmals unterschätzt, ist aber ein wichtiger Faktor, um spezifische Keywords nach Wichtigkeit einzusetzen.
Gewinnspiele sind in den sozialen Medien nach wie vor sehr beliebt! Was können sie und was nicht? Bringen sie nur künstliche Reichweite oder auch reale Leads? Durch unseren Case klären wir über Planun…
Insbesondere für die Suchmaschinen-Optimierung (SEO) und die Suchmaschinen-Werbung (SEA) spielen Keywords eine besonders wichtige Rolle. Wir erläutern, wie Sie die optimalen Keywords für Ihren Content…
Erst vor ein paar Tagen kündigte Microsoft das Ende des Supports der Browser „Internet Explorer“ und „Legacy Edge“ an. Damit verbunden werden die Apps sowie weitere Dienste von Microsoft diese Browser…
Der digitale Handel gewinnt zunehmend an Relevanz – auch für kleine und mittelständische Unternehmen. Nutzen Sie jetzt die Potenziale eines Onlineshops für Ihr Unternehmen!
Das Schaffen einer nachhaltigen Arbeitgebermarke hat für viele Unternehmen heute immer größere Bedeutung – nicht nur in Großstädten, sondern auch im ländlichen Raum, wie in Flensburg und Umgebung.…
User nutzen Dienste wie Google inzwischen mit immer komplexere Suchanfragen, auch bedingt durch die prominenter werdende Sprachsuche („Hey Google!“). Künftig sollen Suchergebnisse dank des…
Wir sind als Google-Partner für Sie da. Zuverlässig. Modern. Zielorientiert. Als Google-Partner bieten wir Ihnen viele Vorteile und Sicherheit für Ihr Online-Marketing und die bezahlte…
