Skip to main content

Umgang mit robots.txt

Hier möchte ich ein paar Punkte zur robots.txt ansprechen und erklären. Denn die robots.txt ist dafür da, dass Sie den Robotern zeigt, wo sie hin dürfen und wo nicht.

robots.txt – Alle Roboter aussperren (disallow all)

Gib folgenden Code ein, wenn du nicht möchtest, dass die Roboter deine Webseite durchforsten.

User-agent: *               # alle Roboter

Disallow: /                      # komplette Seite darf nicht durchforstet werden

 

robots.txt – Alle Roboter erlauben (allow all)

Um allen Robotern das durchsuchen deiner Seite zu erlauben, musst du folgenden Code eingeben:

User-agent: *             # alle Roboter

Disallow:                   # ohne Slash erlaubt man den Robotern alle Seiten zu durchsuchen

 

robots.txt – Bestimmte Seiten dürfen nicht indexiert werden

Manchmal macht es Sinn, dass einige Seiten nicht indexiert werden sollen und dürfen, wie z. B. der Loginbereich. Dazu ist folgender Code notwendig:

User-agent: *                                     # alle Roboter

Disallow: /login.php                         # /login.php darf nicht durchsucht werden

Disallow: /impressum.html            # /impressum.html darf nicht durchsucht werden

Disallow: /extranet.php                    # /extranet.php darf nicht durchsucht werden

 

robots.txt – Bestimmte Dateien dürfen nicht indexiert werden

Manchmal ist es notwendig, dass bestimmte Dateien nicht durchsucht und indexiert werden dürfen. Somit schreibst du folgendes in deine robots.txt hinein:

User-agent: *                                  # alle Roboter

Disallow: /meinlied.mp3               # /meinlied.mp3 darf nicht indexiert werden

Disallow: /steuer.pdf                      # steuer.pdf darf nicht indexiert werden

Disallow: /dokument.doc               # dokument.doc darf nicht indexiert werden

 

robots.txt – Weitere Parameter

Bei der robots.txt können noch weitere Parameter hinzugefügt werden. Folgende Paramter gibt es noch:

$                                       # Zeilenende-Anker, gilt nur für googlebot, yahoo! Slurp und den msnbot

Beispiel:

Disallow: /*.jpg$            # Alle jpg-Dateien werden ignoriert

?                                       # Urls mit einem „?“ werden ebenfalls behandelt. Gilt nur für den Googlebot

Beispiel:

Disallow: /*?                 # Alle URLs die ein „?“ beinhalten, werden ignoriert.

Crawl-delay:                 # Auslesegeschwindigkeit, gilt nur bei Yahoo Slurp und msnbot

Beispiel:

Crawl-delay: 10         # Alle 10 Sekunden darf eine Seite zum Auslesen aufgerufen werden

 

Für was ist die robots.txt gedacht?

Die robots.txt sagt den Robotern was sie indexieren dürfen und was nicht. So ist es möglich, den Linkjuice auf bestimmte Unterseiten zu verteilen. Eine Loginseite oder Memberarea braucht keinen linkjuice und keinen Pagerank. Oder evtl. hat man bestimmte Unterseiten, Dateien oder subdomains, die noch nicht ganz fertig sind, sich ständig verändern oder von den Suchmaschinen einfach nicht indexiert werden sollen. Die robots.txt ist wichtig und sollte überall vorhanden sein.

 

Was gibt es beim Erstellen der robots.txt zu beachten?

Die richtige Schreibweise ist wichtig. Vertippst du dich, dann greift die Regel nicht.

Unwichtige Seiten sollten von der Indexierung ausgeschlossen sein (z. B. Login Bereich, interner Bereich) um den Linkjuice nicht unnötig zu verschwenden.

Liegt im Rootverzeichnis der Domain, bzw. Subdomain.

So, ich hoffe, ich konnte euch die robots.txt etwas näherbringen und ihr solltet nun in der Lage sein, eine eigene robots.txt nach euren Wünschen zu erstellen.

Ich würde mich sehr freuen, wenn du meine Zeit und Arbeit würdigst und den Beitrag teilst. Es ist nur ein kleiner Klick für dich, aber eine große Hilfe für mich.

Du willst mehr Sichtbarkeit und geilen Content?

Mehr Sichtbarkeit durch geilen Content und Content Marketing. Analyse deine Rankings, optimiere die Schwächen deiner Website und erhalte kostenlos und unverbindlich einen SEO-Check für deine Website. Prüfe, wie sich dein Content schlägt und optimiere ihn mit der Content Suite.

Loslegen, analysieren, optimieren, dominieren!*

Du willst mehr Sichtbarkeit in den Suchmaschinen?

Dann analysiere deine Rankings, optimiere die Schwächen deiner Website und erhalte kostenlos und unverbindlich einen SEO-Check für deine Website. Mache auch eine schnelle WDF*IDF-Analyse und prüfe deinen Content auf duplicate Content.

Jetzt kostenlos einen SEO-Check machen!*

Sponsor: Clixado

Hochwertige Backlinks kaufen

Durch Kooperationen mit unzähligen und unabhängigen Seitenbetreibern stehen uns über 4000 Blogs und Magazine zu verschiedenen Themen zur Verfügung, auf denen wir Artikel mit einem DoFollow Link zu deiner Seite veröffentlichen können.

  • Kein SEO-Netzwerk, verschiedene Seiteninhaber (kein PBN! oder ähnliches)
  • Keine abgestraften oder blackisted Seiten
  • Unterschiedliche Qualitäts- und Preisklassen
  • Einmalzahlung, keine laufenden Kosten

Jetzt kostenlos und unverbindlich Beispiele anfordern



Ähnliche Beiträge



Kommentare

Crawler, Spider, Bots, Slurps – die Arbeiter der Suchmaschinen. März 25, 2012 um 09:45

[…] Roboter die Seite impressum.html auf deiner Seite nicht durchsuchen. Wenn du mehr über die robots.txt wissen möchtest, dann schaue bei dem Artikel "Umgang mit robots.txt" vorbei.Posts […]

Antworten

Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *