Skip to main content

robots.txt, disallow all, allow all, noindex, SEO, Google Checker & Tester

Hier möchte ich ein paar Punkte zur robots.txt ansprechen und erklären. Denn die robots.txt ist dafür da, dass Sie den Robotern zeigt, wo sie hin dürfen und wo nicht.

robots.txt disallow all – Alle Roboter & Bots aussperren

Gib folgenden Code ein, wenn du nicht möchtest, dass die Roboter deine Webseite durchforsten.

User-agent: *               # alle Roboter

Disallow: /                      # komplette Seite darf nicht durchforstet werden

 

robots.txt allow all – Alle Roboter & Crawler erlauben

Um allen Robotern das durchsuchen deiner Seite zu erlauben, musst du folgenden Code eingeben:

User-agent: *             # alle Roboter

Disallow:                   # ohne Slash erlaubt man den Robotern alle Seiten zu durchsuchen

 

robots.txt noindex – Bestimmte Seiten dürfen nicht indexiert werden

Manchmal macht es Sinn, dass einige Seiten nicht indexiert werden sollen und dürfen, wie z. B. der Loginbereich. Dazu ist folgender Code notwendig:

User-agent: *                                     # alle Roboter

Disallow: /login.php                         # /login.php darf nicht durchsucht werden

Disallow: /impressum.html            # /impressum.html darf nicht durchsucht werden

Disallow: /extranet.php                    # /extranet.php darf nicht durchsucht werden

 

robots.txt – Bestimmte Dateien dürfen nicht indexiert werden

Manchmal ist es notwendig, dass bestimmte Dateien nicht durchsucht und indexiert werden dürfen. Somit schreibst du folgendes in deine robots.txt hinein:

User-agent: *                                  # alle Roboter

Disallow: /meinlied.mp3               # /meinlied.mp3 darf nicht indexiert werden

Disallow: /steuer.pdf                      # steuer.pdf darf nicht indexiert werden

Disallow: /dokument.doc               # dokument.doc darf nicht indexiert werden

 

robots.txt – Weitere Parameter

Bei der robots.txt können noch weitere Parameter hinzugefügt werden. Folgende Paramter gibt es noch:

$                                       # Zeilenende-Anker, gilt nur für googlebot, yahoo! Slurp und den msnbot

Beispiel:

Disallow: /*.jpg$            # Alle jpg-Dateien werden ignoriert

?                                       # Urls mit einem „?“ werden ebenfalls behandelt. Gilt nur für den Googlebot

Beispiel:

Disallow: /*?                 # Alle URLs die ein „?“ beinhalten, werden ignoriert.

Crawl-delay:                 # Auslesegeschwindigkeit, gilt nur bei Yahoo Slurp und msnbot

Beispiel:

Crawl-delay: 10         # Alle 10 Sekunden darf eine Seite zum Auslesen aufgerufen werden

 

Für was ist die robots.txt gedacht?

Die robots.txt sagt den Robotern was sie indexieren dürfen und was nicht. So ist es möglich, den Linkjuice auf bestimmte Unterseiten zu verteilen. Eine Loginseite oder Memberarea braucht keinen linkjuice und keinen Pagerank. Oder evtl. hat man bestimmte Unterseiten, Dateien oder subdomains, die noch nicht ganz fertig sind, sich ständig verändern oder von den Suchmaschinen einfach nicht indexiert werden sollen. Die robots.txt ist wichtig und sollte überall vorhanden sein.

 

Was gibt es beim Erstellen der robots.txt zu beachten?

Die richtige Schreibweise ist wichtig. Vertippst du dich, dann greift die Regel nicht.

Unwichtige Seiten sollten von der Indexierung ausgeschlossen sein (z. B. Login Bereich, interner Bereich) um den Linkjuice nicht unnötig zu verschwenden.

Liegt im Rootverzeichnis der Domain, bzw. Subdomain.

So, ich hoffe, ich konnte euch die robots.txt etwas näherbringen und ihr solltet nun in der Lage sein, eine eigene robots.txt nach euren Wünschen zu erstellen.

 

Ich würde mich sehr freuen, wenn du meine Zeit und Arbeit würdigst und den Beitrag teilst. Es ist nur ein kleiner Klick für dich, aber eine große Hilfe für mich.

Du willst deutlich mehr Sichtbarkeit in den Suchmaschinen?

Dann analysiere deine Positionen im Ranking, optimiere die Schwächen der Website und bekomme unentgeltlich & unverbindlich eine SEO-Analyse für deine Website. Mach auch eine schnelle WDF*IDF-Analyse & prüfe den Text auf duplicate Content.

Jetzt kostenfrei eine SEO-Analyse anstellen!*

Du hättest gerne viel mehr Sichtbarkeit und super Content?

Erhöhte Sichtbarkeit wegen guten Inhalt und Content Marketing. Untersuche deine Platzierung, verbessere die Schwächen der Website und bekomme kostenlos & unverbindlich eine SEO Prüfung für deine Website. Analysiere, wie sich dein neuer Content schlägt und verändere ihn ggf. mit der Content Suite.

Loslegen, analysieren, optimieren, dominieren!*

Partner: Lexx-net

HochwertigeSuchmaschinenoptimierungerwerben

Aufgrund der langfristigen Expertise im SEO Bereich können wir viele Resultate vorweisen.

Und deshalb können wir auch Ihnen helfen, Ihre Ergebnisse zu optimieren.

Das sind unsere Leistungen:

Jetzt unentgeltlich und unverbindlich ein Angebot anfragen



Ähnliche Beiträge



Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

vgw