Skip to main content

Crawler, Spider, Bots, Slurps – Die Arbeiter der Suchmaschinen

Sicherlich hast du schon von einem Crawler, Spider, Slurp oder Bot gehört. Das sind alles Arbeiter der Suchmaschinen. Klar, Bot ist nicht unbedingt ein gut gewählter Name, da es viele verschiedene Bots gibt. Es gibt bei Computerspielen Bots, es gibt Bots die routine Arbeiten im Internet übernehmen, es gibt viele verschiedene Bots. Dennoch ist ein Bot in jeder Hinsicht gleich. Er verrichtet bestimmte Arbeiten vollkommen automatisch mit einer gewissen Intelligenz.

Die Suchmaschinen Bots durchsuchen das Internet, filtern und bewerten Seiten, Inhalte und Links. So passiert es, dass deine Seite in den Rankings auftaucht oder auch wieder verschwindet, bestraft oder belohnt wird.

Wann besuchen die Crawler, Spider, Slurps oder Bots meine Seite?

Nun, das ist immer verschieden und kann eigentlich nicth vorhergesagt werden. Eins ist aber sicher, je öfter du deine Seite aktualisierst, desto öfter schaut der Bot bei deiner Seite vorbei um nach neuen Inhalten zu suchen. Veröffentlichst du täglich neue Inhalte, so kommt er immer öfter vorbei und nimmt die neuen Inhalte in den Index auf.

Was bewertet der Bot auf meiner Seite?

Der Bot bewertetet als erstes die Ladezeit deiner Seite. Je schneller die Seite geladen wird, desto besser ist es. Danach kommt der Code dran. Nur wenn der Code sauber und lesbar für den Bot ist, kann dieser bewertet werden. Bilder und Flash kann der Bot nicht oder nur sehr schlecht lesen, deswegen gibt es beim Bild das “ALT”-Tag.

So verfolgt der Bot weiterführende Links, die er auf deiner Seite findet. Sind Links mit “nofollow” gekennzeichnet, werden diese nicht gefolgt. So kann man den Linkjuice auch in eine bestimmte Richtung lenken. Das bedeutet also, dass der Crawler deine Webseite komplett durchsucht. Dabei sieht er lediglich den Code und kann deine Seite auch mittlerweile interpretieren.

Die Suchmaschine liebt es, wenn der Crawler möglichst schnell durch die Websetie kommt, denn, jede Verzögerung kostet Ressourcen und somit auch Geld. Aus diesem Grund solltest du auf eine gute PageSpeed achten.

Aber nicht nur das, sondern auch die korrekte Einhaltung der Google Webmaster-Richtlinien. Zudem ist es auch wichtig, dass deine Webseite frei von Fehlern sind, damit der Crawler entsprechend gut die Seite crawlen kann.

 

Wie kann ich den Google Bot beeinflussen?

Indem du schaust, dass deine Seite immer gut erreichbar ist, guter Content vorgefunden wird, sauberer Code vorliegt und möglichst keine Flashnavigation sowie Bildernavigation verwendest. Bilder sollten unbedingt mit dem “ALT”-Tag ausgestattet werden. Schreibe deinen Inhalt für den Menschen und nicht für die Suchmaschine. Denn, 100 Kunden, die etwas kaufen sind besser als 100.000 Kunden die nichts kaufen.

Am besten beeinflusst du den Google Bot so, indem du deine Seite frei von Fehler machst und hältst. Das ist wichtig, damit die Ressourcen des Bots entsprechend gut verwendet werden.

 

Wie sieht der Google Bot meine Seite?

Abruf wie durch Googlebot

Am besten du meldest dich bei den Google Webmaster-Tools an und lässt deine Seite dort analysieren. Dort kannst du unter dem Punkt “Abruf wie durch Googlebot“, den du unter “Diagnose” findest, einen Abruf starten und falls der Abruf erfolgreich war, die Details einsehen.

Abruf wie durch Google - Erfolgreich Details

Die Google Webmaster-Tools, bzw. Google Search Console sind ohnehin ein sehr nützliches Werkzeug, welches benutzt werden kann. Die Tools sind natürlich – wie fast alles bei google – kostenlos.

Der Google Bot sieht deine Seite also komplett aus Sicht des Codes. Das bedeutet, er sieht nichts anderes als Code, den er interpretiert und die Seite dadurch darstellt.

 

Wie kann ich die Bots von bestimmten Seiten aussperren?

Das ist ganz einfach. Im root deiner Webseite liegt eine robots.txt Datei. Sollte diese nicht vorhanden sein, so kannst du dir eine erstellen. Wenn du die Bots von bestimmten Seiten oder Dateien aussperren möchtest so füge folgendes in die robots.txt hinzu:

User-agent: *

Disallow: /impressum.html

Somit dürfen alle Roboter die Seite impressum.html auf deiner Seite nicht durchsuchen. Wenn du mehr über die robots.txt wissen möchtest, dann schaue bei dem Artikel “Umgang mit robots.txt” vorbei.

 

Ich würde mich sehr freuen, wenn du meine Zeit und Arbeit würdigst und den Beitrag teilst. Es ist nur ein kleiner Klick für dich, aber eine große Hilfe für mich.

Du brauchst viel mehr Sichtbarkeit in Google & Co.?

Dann überprüfe deine Rankings, verändere die Fehler deiner Webseite & bekomme unentgeltlich und unverbindlich deine SEO-Prüfung für deine Website. Mache eine schnelle WDF*IDF-Analyse & analysiere deinen Content auf doppelten Inhalt.

Jetzt kostenfrei eine SEO-Analyse machen!*


Du hättest gerne viel mehr Leads um deinen Umsatz zu erhöhen?

Gesteigerte Leads aufgrund top Landing Pages und Marketing Strategie. Erprobte Funnels mit schneller Pagespeed, verschiedene Tracking Tools, Splittest Tools und simplen Drag & Drop Editor ermöglichen es dir, hohe Conversions zu erreichen.

Spare wertvolle Zeit bei Funnel Erstellung und erreiche höhere Conversion Rates mit dem professionellen Funnel Builder: Loslegen, 14 Tage kostenlos testen, optimieren, dominieren!*


Du möchtest einen tollen Mitgliederbereich?

Dann sind außer dem Layout ein paar weitere Features essenziell. Ein Kursbereich kann in der Regel sehr viel deiner Zeit und auch bares Geld einsparen, weil vieles vereinfacht. Durch vereinfachte Handhabung schont es deine Nerven und zugleich die deiner Klienten. Deswegen einfacher gleich den Marktführer nutzen.Hör auf deine Zeit und Geld zu verschwenden und verwende  Profi Software.

Jetzt für 1 € Kursplattform Tool ausprobieren!*

Bekomme mit dem Gutscheincode seotech10 10 Prozent auf alle Tarife.



Ähnliche Beiträge



Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *