1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol: Google…

Robots Exclusion Protocol: Google will Robots.txt zu IETF-Standard machen

Mit Hilfe des Robots Exclusion Protocol können Webmaster festlegen, ob und wie Crawler ihre Webseite durchsuchen sollen. Die Technik rund um die Robots.txt soll 25 Jahre nach Entstehen nun zu einem IETF-Standard werden und Google macht seinen Parser dafür Open Source.


Stellenmarkt
  1. LISTAN GmbH, Glinde bei Hamburg
  2. Statistisches Bundesamt, Wiesbaden
  3. Insight Health GmbH & Co. KG, Waldems
  4. Zahoransky AG, Todtnau

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 23,99€
  2. 16,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de