Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Suchmaschinen: Internet Archive will…

Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren

Das Archiv des Internets will der Robots.txt-Datei einer Webseite künftig keine Bedeutung mehr beimessen. Der Schritt sei notwendig, weil die Datei einer echten Archivierung des Internets aus Nutzersicht entgegenstehe, schreiben die Macher.

Neues Thema Ansicht wechseln


Beiträge

  1. Google ist dann der nächste 12

    Oktavian | 24.04.17 11:15 30.05.17 17:41

  2. Vollidioten (Seiten: 1 2 ) 31

    q0r0 | 24.04.17 10:09 26.04.17 12:42

  3. Wer von Euch liefert das Pflichtexemplar der Website ab? 1

    okidoki | 26.04.17 12:25 26.04.17 12:25

  4. Toll ... (Seiten: 1 2 ) 23

    Icestorm | 24.04.17 09:55 25.04.17 05:40

  5. Inhalt? 9

    bugmenotbugmenot2017 | 24.04.17 09:38 25.04.17 05:26

  6. genial wie sie alle heulen... 3

    Anonymer Nutzer | 24.04.17 21:57 25.04.17 05:19

  7. Wie ist das eigentlich mit dem Copyright? 5

    motzerator | 24.04.17 17:09 24.04.17 22:14

  8. Anarchie? 19

    HansiHinterseher | 24.04.17 11:33 24.04.17 21:51

  9. Kommt leider viel zu spät ... 1

    luarix | 24.04.17 18:29 24.04.17 18:29

  10. Nicht mal mehr darauf kann man vertrauen 8

    GaliMali | 24.04.17 14:02 24.04.17 16:00

  11. Leistungsschutzrecht 3

    EWCH | 24.04.17 12:41 24.04.17 15:03

  12. robots.txt nicht nur um Inhalte zu blocken 12

    FibreFoX | 24.04.17 09:44 24.04.17 14:56

  13. dann wird halt via UA geblockt 8

    Proctrap | 24.04.17 09:41 24.04.17 14:52

  14. Was ist mit generierten Pfaden? 1

    Otto d.O. | 24.04.17 13:19 24.04.17 13:19

  15. Hätten sie von Anfang an machen sollen 1

    Malocher | 24.04.17 12:26 24.04.17 12:26

  16. Re: Vollidioten

    mnementh | 24.04.17 11:13 Das Thema wurde verschoben.

Neues Thema Ansicht wechseln



Stellenmarkt
  1. Deutsche Welle, Bonn
  2. SEW-EURODRIVE GmbH & Co KG, Bruchsal
  3. Lidl Dienstleistung GmbH & Co. KG, Neckarsulm
  4. Modis GmbH, Essen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 2,99€
  2. 4,99€
  3. 20,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Watch Dogs Legion angespielt: Eine Seniorin als Ein-Frau-Armee
Watch Dogs Legion angespielt
Eine Seniorin als Ein-Frau-Armee

E3 2019 Elitesoldaten brauchen wir nicht - in Watch Dogs Legion hacken und schießen wir auch als Pensionistin für den Widerstand. Beim Anspielen haben wir sehr über die ebenso klapprige wie kampflustige Oma Gwendoline gelacht.


    5G-Auktion: Warum der Preis der 5G-Frequenzen so hoch war
    5G-Auktion
    Warum der Preis der 5G-Frequenzen so hoch war

    Dass die Frequenzen für den 5G-Mobilfunk teuer wurden, lasten Telekom, Vodafone und Telefónica dem Newcomer United Internet an. Doch dies ist laut dem Netzplaner Kai Seim nicht so gewesen.
    Eine Analyse von Achim Sawall

    1. Funklöcher Hohe Bußgelder gegen säumige Mobilfunknetzbetreiber
    2. Bundesnetzagentur 5G-Frequenzauktion erreicht 6,5 Milliarden Euro
    3. 5G-Auktion Etablierte wollen Preis für 1&1 Drillisch hochtreiben

    WD Blue SN500 ausprobiert: Die flotte günstige Blaue
    WD Blue SN500 ausprobiert
    Die flotte günstige Blaue

    Mit der WD Blue SN500 bietet Western Digital eine spannende NVMe-SSD an: Das M.2-Kärtchen basiert auf einem selbst entwickelten Controller und eigenem Flash-Speicher. Das Resultat ist ein schnelles, vor allem aber günstiges Modell als bessere Alternative zu Sata-SSDs.
    Von Marc Sauter

    1. WD Black SN750 ausprobiert Direkt hinter Samsungs SSDs
    2. WD Black SN750 Leicht optimierte NVMe-SSD mit 2 TByte
    3. Ultrastar DC ME200 Western Digital baut PCIe-Arbeitsspeicher mit 4 TByte

    1. Apple: Öffentliche Beta von iOS 13 und iPadOS erschienen
      Apple
      Öffentliche Beta von iOS 13 und iPadOS erschienen

      Apple hat nach der zweiten Entwickler-Beta nun auch die erste Beta von iOS 13 und iPadOS für interessierte Anwender bereitgestellt.

    2. Apple: Öffentliche Beta von MacOS Catalina ist da
      Apple
      Öffentliche Beta von MacOS Catalina ist da

      Apple hat mit der ersten öffentlichen Betaversion von MacOS 10.15 die erste Vorabversion seines künftigen Desktop-Betriebssystems veröffentlicht. Die wichtigste Neuerung sind iPad-Apps, die auf dem Mac laufen, eine Dreiteilung von iTunes und vieles mehr.

    3. Refarming: Das wird nicht "das 5G, was sich viele erträumen"
      Refarming
      Das wird nicht "das 5G, was sich viele erträumen"

      5G muss in den richtigen Frequenzbereichen angeboten werden, um die volle Leistung zu bieten. Huawei spricht hier von 5G-Hype.


    1. 23:55

    2. 23:24

    3. 18:53

    4. 18:15

    5. 17:35

    6. 17:18

    7. 17:03

    8. 16:28