1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol: Google…

Robots Exclusion Protocol: Google will Robots.txt zu IETF-Standard machen

Mit Hilfe des Robots Exclusion Protocol können Webmaster festlegen, ob und wie Crawler ihre Webseite durchsuchen sollen. Die Technik rund um die Robots.txt soll 25 Jahre nach Entstehen nun zu einem IETF-Standard werden und Google macht seinen Parser dafür Open Source.


Stellenmarkt
  1. (Senior) Software-Entwickler (m/w/d) Elektronische Gesundheitskarte (eGK)
    AOK Systems GmbH, Bonn
  2. Teamleiter IT Solutions (m/w/d)
    Melitta Gruppe, Bremen
  3. Business Intelligence Analyst (w/m/d)
    Horváth, Berlin, Düsseldorf, Frankfurt am Main, Hamburg, München, Stuttgart
  4. Integration Solution Engineer (w/m/d)
    Dürr IT Service GmbH, Bietigheim-Bissingen

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. (u. a. Ni no Kuni II: Revenant Kingdom für 7,99€, Rainbow Six Siege - Deluxe Edition für 9...
  2. (u. a. Age of Empires Definitive Collection für 17,99€, Age of Empires Definitive Collection...
  3. 1,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de