Skip to main content

Crawler, Spider, Bots, Slurps – Die Arbeiter der Suchmaschinen

Sicherlich hast du schon von einem Crawler, Spider, Slurp oder Bot gehört. Das sind alles Arbeiter der Suchmaschinen. Klar, Bot ist nicht unbedingt ein gut gewählter Name, da es viele verschiedene Bots gibt. Es gibt bei Computerspielen Bots, es gibt Bots die routine Arbeiten im Internet übernehmen, es gibt viele verschiedene Bots. Dennoch ist ein Bot in jeder Hinsicht gleich. Er verrichtet bestimmte Arbeiten vollkommen automatisch mit einer gewissen Intelligenz.

Die Suchmaschinen Bots durchsuchen das Internet, filtern und bewerten Seiten, Inhalte und Links. So passiert es, dass deine Seite in den Rankings auftaucht oder auch wieder verschwindet, bestraft oder belohnt wird.

Wann besuchen die Crawler, Spider, Slurps oder Bots meine Seite?

Nun, das ist immer verschieden und kann eigentlich nicth vorhergesagt werden. Eins ist aber sicher, je öfter du deine Seite aktualisierst, desto öfter schaut der Bot bei deiner Seite vorbei um nach neuen Inhalten zu suchen. Veröffentlichst du täglich neue Inhalte, so kommt er immer öfter vorbei und nimmt die neuen Inhalte in den Index auf.

Was bewertet der Bot auf meiner Seite?

Der Bot bewertetet als erstes die Ladezeit deiner Seite. Je schneller die Seite geladen wird, desto besser ist es. Danach kommt der Code dran. Nur wenn der Code sauber und lesbar für den Bot ist, kann dieser bewertet werden. Bilder und Flash kann der Bot nicht oder nur sehr schlecht lesen, deswegen gibt es beim Bild das “ALT”-Tag. So verfolgt der Bot weiterführende Links, die er auf deiner Seite findet. Sind Links mit “nofollow” gekennzeichnet, werden diese nicht gefolgt. So kann man den Linkjuice auch in eine bestimmte Richtung lenken.

 

Wie kann ich den Google Bot beeinflussen?

Indem du schaust, dass deine Seite immer gut erreichbar ist, guter Content vorgefunden wird, sauberer Code vorliegt und möglichst keine Flashnavigation sowie Bildernavigation verwendest. Bilder sollten unbedingt mit dem “ALT”-Tag ausgestattet werden. Schreibe deinen Inhalt für den Menschen und nicht für die Suchmaschine. Denn, 100 Kunden, die etwas kaufen sind besser als 100.000 Kunden die nichts kaufen.

 

Wie sieht der Google Bot meine Seite?

Abruf wie durch Googlebot

Am besten du meldest dich bei den Google Webmaster-Tools an und lässt deine Seite dort analysieren. Dort kannst du unter dem Punkt “Abruf wie durch Googlebot“, den du unter “Diagnose” findest, einen Abruf starten und falls der Abruf erfolgreich war, die Details einsehen.

Abruf wie durch Google - Erfolgreich Details

Die Google Webmaster-Tools sind ohnehin ein sehr nützliches Werkzeug, welches benutzt werden kann. Die Tools sind natürlich – wie fast alles bei google – kostenlos.

 

 

 

 

 

Wie kann ich die Bots von bestimmten Seiten aussperren?

Das ist ganz einfach. Im root deiner Webseite liegt eine robots.txt Datei. Sollte diese nicht vorhanden sein, so kannst du dir eine erstellen. Wenn du die Bots von bestimmten Seiten oder Dateien aussperren möchtest so füge folgendes in die robots.txt hinzu:

User-agent: *

Disallow: /impressum.html

Somit dürfen alle Roboter die Seite impressum.html auf deiner Seite nicht durchsuchen. Wenn du mehr über die robots.txt wissen möchtest, dann schaue bei dem Artikel “Umgang mit robots.txt” vorbei.

 

Ich würde mich sehr freuen, wenn du meine Zeit und Arbeit würdigst und den Beitrag teilst. Es ist nur ein kleiner Klick für dich, aber eine große Hilfe für mich.

Du brauchst deutlich mehr Sichtbarkeit in Google & Co.?

Dann überprüfe deine Rankings in den SERPs, optimiere die Schwächen der Webseite & bekomme kostenlos & unverbindlich deine SEO-Prüfung für deine Website. Mach auch eine schnelle WDF*IDF-Analyse und checke den Text auf gleichen Content.

Jetzt kostenlos eine SEO-Prüfung durchführen!*

Du brauchst viel mehr Sichtbarkeit und guten Inhalt?

Verbesserte Sichtbarkeit durch top Inhalt und Content Marketing. Untersuche deine aktuelle Rankings, verbessere die Schwächen der Seite & bekomme unentgeltlich und ohne Zwang einen SEO-Check
für deine Seite. Analysiere, wie sich der neue Content verhält & verändere ihn mit der Content Suite.

Loslegen, analysieren, optimieren, dominieren!*

Partner: Lexx-net

HochwertigeSuchmaschinenoptimierungerwerben

Durch der langfristigen Erfahrung im Bereich der Suchmaschinenoptimierung können wir zahlreiche Resultate vorweisen.

Und aus diesem Grund können wir auch Sie unterstützen, Ihre Ergebnisse zu steigern.

Das sind unsere Leistungen:

  • SEO Optimierung lokal
  • SEO Optimierung überregional
  • Offpage Optimierung
  • Verschiedene
    Qualitäts- und Preisklassen

Jetzt unentgeltlich und unverbindlich ein Angebot anfordern



Ähnliche Beiträge



Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *