robots.txt Vorlage für Springer
Autor: Peter Maier 05.12.12 - 19:39
User-Agent: Googlebot-News
Disallow: /
Diese 2 Zeilen reichen, um weiterhin in den Google-Suchergebnissen zu erscheinen und von den News-Seiten zu verschwinden. War das jetzt so schwer und benötigt ein neues Gesetz?
Darüber hinaus ...
1) Fast alle Springer-Sites haben eine robots.txt, also wissen WIE man damit entsprechend umgeht.
2) Fast alle Springer-Sites haben eine Sitemap-XML, über die ebenfalls genaueste Crawl-Anweisungen zugänglich gemacht werden können.
3) Auf news.google.de gibt es (und gab es noch nie) Werbung.
4) Fast alle Springer-Seiten enthalten ein robots-Meta-Tag (was man dynamisch auf einen Google-News User-Agent anpassen könnte, wenn man denn wollte).
5) Die robots.txt und sitemap.xml Dateien wurden teilweise mit den "Google Webmaster Tools" generiert. (Gut, dieser Punkt tut nichts zur Sache, ist aber m.M.n. erwähnenswert.)
6) ALLE Springer Seiten verfügen über MINDESTENS 2 der oben genannten Punkte, einige auch über alle.
