1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol: Google…

Robots Exclusion Protocol: Google will Robots.txt zu IETF-Standard machen

Mit Hilfe des Robots Exclusion Protocol können Webmaster festlegen, ob und wie Crawler ihre Webseite durchsuchen sollen. Die Technik rund um die Robots.txt soll 25 Jahre nach Entstehen nun zu einem IETF-Standard werden und Google macht seinen Parser dafür Open Source.

Neues Thema Ansicht wechseln


Thema
 

Bringt auf diese Weise nichts.

Anonymer Nutzer | 02.07.19 11:53
 

Re: Bringt auf diese Weise nichts.

AllDayPiano | 02.07.19 12:02
 

Re: Bringt auf diese Weise nichts.

HeroFeat | 02.07.19 12:30
 

Re: Bringt auf diese Weise nichts.

ZeldaFreak | 02.07.19 13:06
 

Re: Bringt auf diese Weise nichts.

phade | 02.07.19 13:09
 

Re: Bringt auf diese Weise nichts.

kazhar | 02.07.19 19:04
 

Re: Bringt auf diese Weise nichts.

Kein Kostverächter | 03.07.19 10:26

Neues Thema Ansicht wechseln



Stellenmarkt
  1. Ministerium des Innern und für Kommunales des Landes Brandenburg, Potsdam
  2. Landratsamt Starnberg, Starnberg
  3. Radeberger Gruppe KG, Frankfurt am Main
  4. Dusyma Kindergartenbedarf GmbH, Schorndorf bei Stuttgart

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 12,99€
  2. 16,49€
  3. 24,29€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Freebuds Pro im Test: Huaweis bester ANC-Hörstöpsel schlägt die Airpods Pro nicht
Freebuds Pro im Test
Huaweis bester ANC-Hörstöpsel schlägt die Airpods Pro nicht

Die Freebuds Pro haben viele Besonderheiten der Airpods Pro übernommen und sind teilweise sogar besser. Trotzdem bleiben die Apple-Stöpsel etwas Besonderes.
Ein Test von Ingo Pakalski

  1. Elite 85t Jabra bringt ANC-Hörstöpsel für 230 Euro
  2. Galaxy Buds Live im Test So hat Samsung gegen Apples Airpods Pro keine Chance
  3. Freebuds Pro Huawei bringt eine Fast-Kopie der Airpods Pro

IT-Freelancer: Der kürzeste Pfad zum nächsten Projekt
IT-Freelancer
Der kürzeste Pfad zum nächsten Projekt

Die Nachfrage nach IT-Freelancern ist groß - die Konkurrenz aber auch. Der nächste Auftrag kommt meist aus dem eigenen Netzwerk oder von Vermittlern. Doch wie findet man den passenden Mix?
Ein Bericht von Manuel Heckel

  1. Selbstständiger Sysadmin "Jetzt fehlen nur noch die Aufträge"

Super Mario Bros.: Mehr Klassiker geht nicht
Super Mario Bros.
Mehr Klassiker geht nicht

Super Mario Bros. wird 35 Jahre alt! Golem.de hat den Klassiker im Original erneut gespielt - und nicht nur Lob für ihn.
Von Benedikt Plass-Fleßenkämper

  1. Super Mario 3D All-Stars Nintendo kündigt überarbeitete Klempner-Klassiker an
  2. Nintendo Update erlaubt Weltenbau in Super Mario Maker 2
  3. Nintendo Auch Lego Super Mario sammelt Münzen