zurück zur Übersicht

Google Update – Robots.txt

Blogbild

In der robots.txt einer Website wurden bislang Hinweise für den Zugriff und das Crawlen der einzelnen Seiten des Internetauftritts durch die Suchmaschinen-Crawler von beispielsweise Google festgelegt.

Somit konnte das Verhalten der Crawler durch die Einstellungen in der robots.txt beeinflusst werden – es ließen sich damit Websitebereiche markieren, die für die Suchmaschinen "gesperrt" oder "offen" sein sollten. 

Seit dem 1. September haben sich die Google Richtlinien zur Nutzung der robots.txt allerdings verändert. Da die Einstellungen in der Robots.txt von Webentwicklern und Websitebetreibern laut Google zu selten verwendet werden, werden einige der vornehmbaren Anweisungen zukünfig nicht mehr durch die Suchmaschine unterstützt und beim Crawlen folglich nicht mehr beachtet. Dies betrifft die nachfolgenden Anweisungen der robots.txt:

  • Nofollow
  • Noindex
  • Crawl-delay 

Webentwickler und Websitebetreiber haben dennoch weiterhin die Möglichkeit, das Crawling der Suchmaschinen auf ihrer Seite zu beeinflussen.

Als Alternative zu den Noindex-Anweisungen in der robots.txt bieten sich folgende Möglichkeiten, um einzelne Seiten aus dem Suchindex zu entfernen:

  • Noindex-Anweisung im X-Robots-Tag
  • Noindex-Anweisung im Meta Robots.Tag
  • Status-Code auf 404 oder 420 setzen, um vorzugeben, dass die Seiten für Crawler nicht existieren
  • Einen Passwortschutz nutzen: mit einem Login können die Inhalte von dem Google-Index nicht erfasst werden
  • Das Crawlen der Seite generell auf Disallow in der robots.txt setzen
  • Das Remove URL Tool der Google Search Console verwenden

Wichtig: Auch wenn Google selbst angibt, dass die Angaben in der Robots.txt nur von sehr wenigen Website-Betreibern genutzt werden – von 0,001 Prozent – so wird besonders die Angabe "Noindex" doch gar nicht so selten genutzt. Aus diesem Grund empfehlen wir, bestehende Websites jetzt nach dem Google-Update einmal gründlich zu überprüfen, um zu verhindern, dass Unterseiten im Google Index auftauchen, die eigentlich gar nicht gecrawlt werden sollen. 

Sie möchten Ihre Website überprüfen lassen? Wir helfen Ihnen gern dabei!

Weitere Beiträge dieser Kategorie

Unternehmensnews, Online Marketing

Top 3 Content Formate 2023

Worauf kommt es im Content-Marketing an und welche drei Top Formate sollten verwendet werden? 

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

DAUSKONZEPT goes OMR 2023

2023 waren wir wieder auf der unglaublichen OMR in Hamburg. Zusammen mit der GROW haben wir es krachen lassen. Mehr Eindrücke findet ihr hier!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

DAUSKONZEPT und LinkedIn Newsletter?

Was genau ist ein LinkedIn Newsletter und warum sollte man ihn verwenden? Jetzt mehr erfahren!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

3 SEO-Rankingtrends 2023

Welche SEO-Rankingfaktoren sind wichtig, worauf sollte man achten und was ist SEO überhaupt? Jetzt mehr in unserem Blogbeitrag erfahren!

mehr erfahren
mehr erfahren
Online Marketing, Unternehmensnews

Open Space 2.0

Wir haben am Montag den Relaunch von unserem OPEN SPACE gefeiert. Wozu der dient und wie die Feier an einem Montag war, erfahrt ihr hier!

mehr erfahren
mehr erfahren
Online Marketing, Unternehmensnews

Moin Moin Eyleen

Eyleen Werner unterstützt unsere Werbeagentur ab sofort im Bereich Online Marketing! Herzlich willkommen!

mehr erfahren
mehr erfahren
Online Marketing

DAUSKONZEPT Tipp: Corporate Culture

Die Corporate Culture  oder deutsch Unternehmenskultur beschreibt die gemeinsam gelebten Einstellungen, Werte, Normen und Prinzipien von Mitarbeiter*innen und Geschäftsführung eines Unternehmens.…

mehr erfahren
mehr erfahren
Online Marketing

DAUSKONZEPT Tipp: Instagram Neuerungen

Beiträge fixieren, 90 Sekunden Reels und Co. sind neue Features, die das neue Instagram-Update mit sich bringt. Jetzt mehr erfahren!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

DAUSKONZEPT goes OMR 2022

Wir haben uns unter 70.000 Menschen gemischt! War das nicht unheimlich? Nein, war geil. Wir waren auf dem OMR Festival! Mehr Eindrücke findet ihr hier!

mehr erfahren
mehr erfahren
Programmierung, Online Marketing

TYPO3 vs. Wordpress – Ein aktueller Vergleich

Wir vergleichen die beiden beliebten Content-Management-Systeme in unterschiedlichen Aspekten. Jetzt mehr erfahren!

mehr erfahren
mehr erfahren
Online Marketing

DAUSKONZEPT Tipp: Reichweite durch LinkedIn

Als soziales Netzwerk bietet LinkedIn viele Vorteile im Bereich Karriere. Wie die Plattform funktioniert und was es sonst noch darüber zu wissen gibt, erfahrt ihr hier!

mehr erfahren
mehr erfahren
Programmierung, Online Marketing

DAUSKONZEPT TIPP: Landingpages

Wenn man gezielt potenzielle Kund*innen ansprechen möchte, eignet sich eine entsprechende Landingpage ideal dafür. Diese sollte einige Aspekte enthalten. Jetzt mehr erfahren!

mehr erfahren
mehr erfahren
Online Marketing

Tipp: Neuerungen bei Instagram

Link-Sticker, „Du bist dran - Sticker“ und Co-Autor Funktionen bieten neue Möglichkeiten bei Instagram!

mehr erfahren
mehr erfahren
Programmierung, Online Marketing

Jahresendspurt mit DAUSKONZEPT

Ob zur Adventszeit, für die Weihnachts-Feiertage oder zum Jahreswechsel; Sie haben viele Möglichkeiten an Ihre Kund*innen heranzutreten und sowohl die externe als auch die interne Kommunikation intere…

mehr erfahren
mehr erfahren
Online Marketing

Open-Friday Plus

Der DAUSKONZEPT Open-Friday Plus ­­– nach Monaten voller Zoom-Meetings hat sich das ganze Team versammelt, um eine Vielzahl spannender Sessions zu erleben und interne Themen zu besprechen.

mehr erfahren
mehr erfahren
Programmierung, Online Marketing

TIPP: Überschriftenformatierung

Die Struktur der einzelnen Überschriften auf einer Seite wird oftmals unterschätzt, ist aber ein wichtiger Faktor, um spezifische Keywords nach Wichtigkeit einzusetzen.

mehr erfahren
mehr erfahren
Online Marketing

Social-Media-Gewinnspiele

Gewinnspiele sind in den sozialen Medien nach wie vor sehr beliebt! Was können sie und was nicht? Bringen sie nur künstliche Reichweite oder auch reale Leads? Durch unseren Case klären wir über Planun…

mehr erfahren
mehr erfahren
Online Marketing

DAUSKONZEPT TIPP: Keyword-Recherche

Insbesondere für die Suchmaschinen-Optimierung (SEO) und die Suchmaschinen-Werbung (SEA) spielen Keywords eine besonders wichtige Rolle. Wir erläutern, wie Sie die optimalen Keywords für Ihren Content…

mehr erfahren
mehr erfahren
Online Marketing, Programmierung

Page Experience: Der neue Google Ranking-Faktor

Page Experience: Der neue Google Ranking-Faktor

mehr erfahren
mehr erfahren
Online Marketing

Suchmaschinen-Optimierung oder Suchmaschinen-Werbung?!

SEO und SEA umfassen zwei elementare Bereiche im Online Marketing. Wir erläutern, was es damit auf sich hat!

mehr erfahren
mehr erfahren
Online Marketing, Grafikdesign

Digital vs. Print – und der Sieger ist…

Technologie und Digitalisierung – immer mehr verwurzeln sich diese beiden Dinge in unserem Alltag. Wir erläutern die Vor- und Nachteile...

mehr erfahren
mehr erfahren
Online Marketing

DAUSKONZEPT Tipp – Websiteoptimierung für Social Media

Mit Hilfe von OpenGraph-Daten lässt sich die Darstellung von geteilten Links bei z.B. Facebook optimieren. Mehr dazu!

mehr erfahren
mehr erfahren
Online Marketing

5 Gründe für Newsletter-Marketing

Wir erläutern 5 Gründe, warum Newsletter-Marketing wichtig für den Erfolg Ihres Unternehmens sein kann und was es dabei zu beachten gilt!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Moin Moin Laura

Herzlich willkommen im Team Online Marketing – Laura Brodersen!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Social Media Trend – Clubhouse

Ein Trend an dem keiner in der Social Media Welt vorbeikommt – Clubhouse! Wir erläutern die neue App!

mehr erfahren
mehr erfahren
Online Marketing

Google Core Update Dezember 2020

Anfang Dezember hat Google überraschend ein neues Core-Update angekündigt – mehr dazu in unserem Blog!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Weihnachts-Kommunikation

Die Vorweihnachtszeit spielt in der Unternehmenskommunikation eine ganz besondere Rolle. Jetzt aktiv werden!

mehr erfahren
mehr erfahren
Programmierung, Online Marketing

Tschüss Internet Explorer 11!

Erst vor ein paar Tagen kündigte Microsoft das Ende des Supports der Browser „Internet Explorer“ und „Legacy Edge“ an. Damit verbunden werden die Apps sowie weitere Dienste von Microsoft diese Browser…

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

5 Gründe, die für einen eigenen Blog sprechen!

Sie fragen sich, warum Sie Ihren eigenen Unternehmensblog aufbauen sollten? Wir erläutern die damit verbundenen Vorteile.

mehr erfahren
mehr erfahren
Online Marketing, Programmierung

Das Potenzial von E-Commerce – Jetzt aktiv werden!

Der digitale Handel gewinnt zunehmend an Relevanz – auch für kleine und mittelständische Unternehmen. Nutzen Sie jetzt die Potenziale eines Onlineshops für Ihr Unternehmen!

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Antizyklisch handeln – jetzt Arbeitgebermarke für 2021 aufbauen!

Das Schaffen einer nachhaltigen Arbeitgebermarke hat für viele Unternehmen heute immer größere Bedeutung – nicht nur in Großstädten, sondern auch im ländlichen Raum, wie in Flensburg und Umgebung.…

mehr erfahren
mehr erfahren
Online Marketing

Google Ads – Die Vorteile von Suchmaschinenwerbung

Wir erklären, wann der Einsatz von Google Ads sinnvoll ist und was dabei beachtet werden sollte!

mehr erfahren
mehr erfahren
Online Marketing

BERT – Das wichtigste Google-Update seit Jahren

User nutzen Dienste wie Google inzwischen mit immer komplexere Suchanfragen, auch bedingt durch die prominenter werdende Sprachsuche („Hey Google!“). Künftig sollen Suchergebnisse dank des…

mehr erfahren
mehr erfahren
Unternehmensnews, Online Marketing

Zertifizierter Google-Partner

Wir sind als Google-Partner für Sie da. Zuverlässig. Modern. Zielorientiert.
Als Google-Partner bieten wir Ihnen viele Vorteile und Sicherheit für Ihr Online-Marketing und die bezahlte…

mehr erfahren
mehr erfahren