1. Foren
  2. Kommentare
  3. OpenSource-Forum
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol…

Robots Exclusion Protocol: Google will Robots.txt zu IETF-Standard machen

Mit Hilfe des Robots Exclusion Protocol können Webmaster festlegen, ob und wie Crawler ihre Webseite durchsuchen sollen. Die Technik rund um die Robots.txt soll 25 Jahre nach Entstehen nun zu einem IETF-Standard werden und Google macht seinen Parser dafür Open Source.


Stellenmarkt
  1. (Senior) Production IT Engineer*
    SCHOTT AG, Mainz
  2. IT-Spezialist/-in (m/w/d) Entwicklung & Administration - Datenbanken, Finanz- und Verwaltungslösungen
    Ludwig-Maximilians-Universität München, München
  3. Mitarbeiter IT-Support 1st Level (m/w/d)
    Raven51 AG, Frankfurt am Main
  4. IT-Architektin bzw. IT-Architekt (m/w/d)
    Bundesamt für Migration und Flüchtlinge, Nürnberg

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. (u. a. Nioh 2 - The Complete Edition für 29,99€)
  2. (u. a. Nass-/Trockensauger GAS 18V-10 L für 79,99€, Tischkreissäge GTS 10 XC 2100 Watt für 599...
  3. 10 Punkte pro ausgegebenem Euro - einlösbar im Markt und online
  4. (u. a. RoboVac 15C Max Saugroboter für 179,99€, Security Sicherheitskamera 1080p mit Türklingel...


Haben wir etwas übersehen?

E-Mail an news@golem.de