Skip to main content

yahoo bot

robots.txt, disallow all, allow all, noindex, SEO, Google Checker & Tester

Hier möchte ich ein paar Punkte zur robots.txt ansprechen und erklären. Denn die robots.txt ist dafür da, dass Sie den Robotern zeigt, wo sie hin dürfen und wo nicht. robots.txt disallow all – Alle Roboter & Bots aussperren Gib folgenden Code ein, wenn du nicht möchtest, dass die Roboter deine Webseite durchforsten. User-agent: *               # […]

Crawler, Spider, Bots, Slurps – Die Arbeiter der Suchmaschinen

Sicherlich hast du schon von einem Crawler, Spider, Slurp oder Bot gehört. Das sind alles Arbeiter der Suchmaschinen. Klar, Bot ist nicht unbedingt ein gut gewählter Name, da es viele verschiedene Bots gibt. Es gibt bei Computerspielen Bots, es gibt Bots die routine Arbeiten im Internet übernehmen, es gibt viele verschiedene Bots. Dennoch ist ein […]