Skip to main content

Crawler, Spider, Bots, Slurps – Die Arbeiter der Suchmaschinen

Sicherlich hast du schon von einem Crawler, Spider, Slurp oder Bot gehört. Das sind alles Arbeiter der Suchmaschinen. Klar, Bot ist nicht unbedingt ein gut gewählter Name, da es viele verschiedene Bots gibt. Es gibt bei Computerspielen Bots, es gibt Bots die routine Arbeiten im Internet übernehmen, es gibt viele verschiedene Bots. Dennoch ist ein Bot in jeder Hinsicht gleich. Er verrichtet bestimmte Arbeiten vollkommen automatisch mit einer gewissen Intelligenz.

Die Suchmaschinen Bots durchsuchen das Internet, filtern und bewerten Seiten, Inhalte und Links. So passiert es, dass deine Seite in den Rankings auftaucht oder auch wieder verschwindet, bestraft oder belohnt wird.

Wann besuchen die Crawler, Spider, Slurps oder Bots meine Seite?

Nun, das ist immer verschieden und kann eigentlich nicth vorhergesagt werden. Eins ist aber sicher, je öfter du deine Seite aktualisierst, desto öfter schaut der Bot bei deiner Seite vorbei um nach neuen Inhalten zu suchen. Veröffentlichst du täglich neue Inhalte, so kommt er immer öfter vorbei und nimmt die neuen Inhalte in den Index auf.

Was bewertet der Bot auf meiner Seite?

Der Bot bewertetet als erstes die Ladezeit deiner Seite. Je schneller die Seite geladen wird, desto besser ist es. Danach kommt der Code dran. Nur wenn der Code sauber und lesbar für den Bot ist, kann dieser bewertet werden. Bilder und Flash kann der Bot nicht oder nur sehr schlecht lesen, deswegen gibt es beim Bild das “ALT”-Tag. So verfolgt der Bot weiterführende Links, die er auf deiner Seite findet. Sind Links mit “nofollow” gekennzeichnet, werden diese nicht gefolgt. So kann man den Linkjuice auch in eine bestimmte Richtung lenken.

 

Wie kann ich den Google Bot beeinflussen?

Indem du schaust, dass deine Seite immer gut erreichbar ist, guter Content vorgefunden wird, sauberer Code vorliegt und möglichst keine Flashnavigation sowie Bildernavigation verwendest. Bilder sollten unbedingt mit dem “ALT”-Tag ausgestattet werden. Schreibe deinen Inhalt für den Menschen und nicht für die Suchmaschine. Denn, 100 Kunden, die etwas kaufen sind besser als 100.000 Kunden die nichts kaufen.

 

Wie sieht der Google Bot meine Seite?

Abruf wie durch Googlebot

Am besten du meldest dich bei den Google Webmaster-Tools an und lässt deine Seite dort analysieren. Dort kannst du unter dem Punkt “Abruf wie durch Googlebot“, den du unter “Diagnose” findest, einen Abruf starten und falls der Abruf erfolgreich war, die Details einsehen.

Abruf wie durch Google - Erfolgreich Details

Die Google Webmaster-Tools sind ohnehin ein sehr nützliches Werkzeug, welches benutzt werden kann. Die Tools sind natürlich – wie fast alles bei google – kostenlos.

 

 

 

 

 

Wie kann ich die Bots von bestimmten Seiten aussperren?

Das ist ganz einfach. Im root deiner Webseite liegt eine robots.txt Datei. Sollte diese nicht vorhanden sein, so kannst du dir eine erstellen. Wenn du die Bots von bestimmten Seiten oder Dateien aussperren möchtest so füge folgendes in die robots.txt hinzu:

User-agent: *

Disallow: /impressum.html

Somit dürfen alle Roboter die Seite impressum.html auf deiner Seite nicht durchsuchen. Wenn du mehr über die robots.txt wissen möchtest, dann schaue bei dem Artikel “Umgang mit robots.txt” vorbei.

 

Ich würde mich sehr freuen, wenn du meine Zeit und Arbeit würdigst und den Beitrag teilst. Es ist nur ein kleiner Klick für dich, aber eine große Hilfe für mich.

Du brauchst deutlich mehr Sichtbarkeit in den Suchmaschinen?

Dann überprüfe deine Positionen im Ranking, verändere die Schwächen deiner Seite und erhalte kostenlos & unverbindlich eine SEO-Prüfung für deine Seite. Mache eine schnelle WDF*IDF-Analyse und prüfe den Content auf duplicate Content.

Jetzt kostenlos eine SEO-Prüfung machen!*

Du willst viel mehr Sichtbarkeit und noch dazu geilen Content?

Erhöhte Sichtbarkeit durch top Inhalt und Content Marketing. Untersuche deine Rankings, optimiere die Schwächen deiner Seite und bekomme kostenlos und ohne Zwang eine SEO Prüfung für deine Seite. Analysiere, wie sich der Content verhält & verändere ihn ggf. mit der Content Suite.

Loslegen, analysieren, optimieren, dominieren!*

Sponsor: Lexx-net

Qualitäts-SEO Arbeiterwerben

Durch der langfristigen Expertise im Bereich der Suchmaschinenoptimierung können wir zahlreiche Resultate vorweisen.

Und deshalb können wir auch Ihnen helfen, Ihre Ergebnisse zu steigern.

Das sind unsere Leistungen:

  • SEO Optimierung regional
  • SEO Optimierung überregional
  • Offpage Optimierung
  • Verschiedene
    Qualitäts- und Preisklassen

Jetzt unentgeltlich und unverbindlich ein Angebot anfragen



Ähnliche Beiträge



Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *