1. Foren
  2. Kommentare
  3. OpenSource-Forum
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol…

Robots Exclusion Protocol: Google will Robots.txt zu IETF-Standard machen

Mit Hilfe des Robots Exclusion Protocol können Webmaster festlegen, ob und wie Crawler ihre Webseite durchsuchen sollen. Die Technik rund um die Robots.txt soll 25 Jahre nach Entstehen nun zu einem IETF-Standard werden und Google macht seinen Parser dafür Open Source.


Stellenmarkt
  1. Product Configuration Manager (w/m/d)
    WILO SE, Dortmund
  2. Analyst / Spezialist mit dem Schwerpunkt Business Analytics / Intelligence (BI) (m/w/d)
    LYRECO Deutschland GmbH, Bantorf-Barsinghausen
  3. Junior Product-Owner (m/w/d) Software-Entwicklung
    MVZ Martinsried GmbH, Martinsried
  4. SAP-Berater (m/w/d) Schwerpunkt SCM
    Vitakraft pet care GmbH & Co. KG, Bremen

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote


Haben wir etwas übersehen?

E-Mail an news@golem.de