Skip to main content

Crawler, Spider, Bots, Slurps – Die Arbeiter der Suchmaschinen

Sicherlich hast du schon von einem Crawler, Spider, Slurp oder Bot gehört. Das sind alles Arbeiter der Suchmaschinen. Klar, Bot ist nicht unbedingt ein gut gewählter Name, da es viele verschiedene Bots gibt. Es gibt bei Computerspielen Bots, es gibt Bots die routine Arbeiten im Internet übernehmen, es gibt viele verschiedene Bots. Dennoch ist ein Bot in jeder Hinsicht gleich. Er verrichtet bestimmte Arbeiten vollkommen automatisch mit einer gewissen Intelligenz.

Die Suchmaschinen Bots durchsuchen das Internet, filtern und bewerten Seiten, Inhalte und Links. So passiert es, dass deine Seite in den Rankings auftaucht oder auch wieder verschwindet, bestraft oder belohnt wird.

Wann besuchen die Crawler, Spider, Slurps oder Bots meine Seite?

Nun, das ist immer verschieden und kann eigentlich nicth vorhergesagt werden. Eins ist aber sicher, je öfter du deine Seite aktualisierst, desto öfter schaut der Bot bei deiner Seite vorbei um nach neuen Inhalten zu suchen. Veröffentlichst du täglich neue Inhalte, so kommt er immer öfter vorbei und nimmt die neuen Inhalte in den Index auf.

Was bewertet der Bot auf meiner Seite?

Der Bot bewertetet als erstes die Ladezeit deiner Seite. Je schneller die Seite geladen wird, desto besser ist es. Danach kommt der Code dran. Nur wenn der Code sauber und lesbar für den Bot ist, kann dieser bewertet werden. Bilder und Flash kann der Bot nicht oder nur sehr schlecht lesen, deswegen gibt es beim Bild das „ALT“-Tag. So verfolgt der Bot weiterführende Links, die er auf deiner Seite findet. Sind Links mit „nofollow“ gekennzeichnet, werden diese nicht gefolgt. So kann man den Linkjuice auch in eine bestimmte Richtung lenken.

 

Wie kann ich den Google Bot beeinflussen?

Indem du schaust, dass deine Seite immer gut erreichbar ist, guter Content vorgefunden wird, sauberer Code vorliegt und möglichst keine Flashnavigation sowie Bildernavigation verwendest. Bilder sollten unbedingt mit dem „ALT“-Tag ausgestattet werden. Schreibe deinen Inhalt für den Menschen und nicht für die Suchmaschine. Denn, 100 Kunden, die etwas kaufen sind besser als 100.000 Kunden die nichts kaufen.

 

Wie sieht der Google Bot meine Seite?

Abruf wie durch Googlebot

Am besten du meldest dich bei den Google Webmaster-Tools an und lässt deine Seite dort analysieren. Dort kannst du unter dem Punkt „Abruf wie durch Googlebot„, den du unter „Diagnose“ findest, einen Abruf starten und falls der Abruf erfolgreich war, die Details einsehen.

Abruf wie durch Google - Erfolgreich Details

Die Google Webmaster-Tools sind ohnehin ein sehr nützliches Werkzeug, welches benutzt werden kann. Die Tools sind natürlich – wie fast alles bei google – kostenlos.

 

 

 

 

 

Wie kann ich die Bots von bestimmten Seiten aussperren?

Das ist ganz einfach. Im root deiner Webseite liegt eine robots.txt Datei. Sollte diese nicht vorhanden sein, so kannst du dir eine erstellen. Wenn du die Bots von bestimmten Seiten oder Dateien aussperren möchtest so füge folgendes in die robots.txt hinzu:

User-agent: *

Disallow: /impressum.html

Somit dürfen alle Roboter die Seite impressum.html auf deiner Seite nicht durchsuchen. Wenn du mehr über die robots.txt wissen möchtest, dann schaue bei dem Artikel „Umgang mit robots.txt“ vorbei.

Ich würde mich sehr freuen, wenn du meine Zeit und Arbeit würdigst und den Beitrag teilst. Es ist nur ein kleiner Klick für dich, aber eine große Hilfe für mich Ja, bring mich zu den Social Buttons.


Du willst mehr Sichtbarkeit in den Suchmaschinen?

Dann analysiere deine Rankings, optimiere die Schwächen deiner Website und erhalte kostenlos und unverbindlich einen SEO-Check für deine Website.

Jetzt kostenlos SEO-Check machen!

Eine Anzeige von Clixado

Hochwertige Backlinks kaufen

Durch Kooperationen mit unzähligen und unabhängigen Seitenbetreibern stehen uns über 4000 Blogs und Magazine zu verschiedenen Themen zur Verfügung, auf denen wir Artikel mit einem DoFollow Link zu deiner Seite veröffentlichen können.

  • Kein SEO-Netzwerk, verschiedene Seiteninhaber (kein PBN! oder ähnliches)
  • Keine abgestraften oder blackisted Seiten
  • Unterschiedliche Qualitäts- und Preisklassen
  • Einmalzahlung, keine laufenden Kosten

Jetzt kostenlos und unverbindlich Beispiele anfordern
 



Ähnliche Beiträge