1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Suchmaschinen: Internet Archive will…

Inhalt?

  1. Thema

Neues Thema Ansicht wechseln


  1. Inhalt?

    Autor: bugmenotbugmenot2017 24.04.17 - 09:38

    Aus diesem Artikel ist weder hervorgegangen, was denn Robots.txt Dateien sind, noch wieso sie nun nicht mehr mitgespeichert worden sind. Dafür hätte auch ein Einzeiler geeicht.

  2. Re: Inhalt?

    Autor: vlad_tepesch 24.04.17 - 09:44

    Dass die robot.txt nicht mehr mitgespeichert wird ist nicht der Inhalt des Textes.

    Die Datei ist sowas wie ein freundliches Verbotsschild.
    Da kann sowas drin stehen: "@agentXY: Bitte hier keine Fotos machen".

    Normalerwesie gehört es zum guten Ton, dass crawler usw sich daran halten.
    Archive.org sagt jetzt aber, dass sie diese Bitten ignorieren wollen und die Seiten dennoch speichern.

  3. Re: Inhalt?

    Autor: hg (Golem.de) 24.04.17 - 09:47

    Ich empfehle die vollständige Lektüre des Textes ;)

    "Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte Teile einer Webseite vor Suchmaschinencrawlern verstecken können. Dies kann für die gesamte Webseite gelten, aber auch nur für einzelne Teile wie zum Beispiel den Loginbereich des Content-Management-Systems. Robots.txt ist kein verbindlicher technischer Standard, sondern eine Konvention, die die meisten großen Suchmaschinenbetreiber beachten."

    Hauke Gierow - Golem.de

  4. Re: Inhalt?

    Autor: Ceroc 24.04.17 - 09:47

    Ich verstehe deine Aussage nicht. Im letzten Absatz wird doch erklärt was "Robots.txt" für eine Datei ist. Du hättest deine Information bekommen wenn du den Text zumindest überflogen hättest.

  5. Re: Inhalt?

    Autor: Wurschtb3mme 24.04.17 - 10:10

    Die Aufgabe der Robots.txt am Anfang zu erklären hätte aus meiner Sicht das Lesen des Artikels schon ein wenig erleichtert, weil man nicht während des gesamten Artikels von der Frage "was ist die Robots.txt denn jetzt und was genau macht die?" abgelenkt ist. Ging mir zumindest so. ;)

    Sonnige Grüße!

  6. dem schließe ich mich an

    Autor: ksi 24.04.17 - 12:15

    Sowas sollte dem Schreiber der Nachricht von selbst einfallen. Gut, dass er es erklärt. Schlecht, dass es erst am Ende passiert.

  7. Re: dem schließe ich mich an

    Autor: Tantalus 24.04.17 - 12:21

    ksi schrieb:
    --------------------------------------------------------------------------------
    > Sowas sollte dem Schreiber der Nachricht von selbst einfallen. Gut, dass er
    > es erklärt. Schlecht, dass es erst am Ende passiert.

    Also ich finde, die robots.txt gehört zum IT-Grundwissen. Es wird ja auch nicht bei Artikeln über GPUs erklärt, wozu eine GPU überhaupt da ist.

    Gruß
    Tantalus

    ___________________________

    Man sollte sich die Ruhe und Nervenstärke eines Stuhles zulegen. Der muss auch mit jedem Arsch klarkommen.

  8. Re: dem schließe ich mich an

    Autor: luzipha 24.04.17 - 17:33

    Bei der großen IT-Zeitschrift mit den vier Großbuchstaben steht doch auch alles immer in Infoboxen am Rand haargenau erklärt... Ist das so nicht üblich?

    Ne, mal im Ernst. Wenn mich ein Artikel über ein Thema, bei dem ich mich nicht auskenne, interessiert, dann informiere ich mich parallel und/oder überfliege den Artikel erstmal.
    Das Einfließen überflüssiger Zusatzinformationen würde mich in meinem Lesefluss enorm stören und langweilen.

  9. Re: Inhalt?

    Autor: Anonymer Nutzer 25.04.17 - 05:26

    hg (Golem.de) schrieb:
    --------------------------------------------------------------------------------
    > Ich empfehle die vollständige Lektüre des Textes ;)
    >
    > "Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte
    > Teile einer Webseite vor Suchmaschinencrawlern verstecken können.
    Genau das kann die robots.txt eben nicht leisten. Sie bittet nur darum bestimmte seiten nicht zu indexieren.
    Versteckt wird gar nix.

    > Dies kann
    > für die gesamte Webseite gelten, aber auch nur für einzelne Teile wie zum
    > Beispiel den Loginbereich des Content-Management-Systems. Robots.txt ist
    > kein verbindlicher technischer Standard, sondern eine Konvention, die die
    > meisten großen Suchmaschinenbetreiber beachten."

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. EnBW Energie Baden-Württemberg AG, Karlsruhe
  2. SySS GmbH, Tübingen
  3. notebooksbilliger.de AG, Potsdam
  4. Deutsche Welle, Bonn

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 37,49€
  2. 4,65€
  3. (-35%) 25,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Amazon, Netflix und Sky: Disney bringt 2020 den großen Umbruch beim Videostreaming
Amazon, Netflix und Sky
Disney bringt 2020 den großen Umbruch beim Videostreaming

In diesem Jahr wird sich der Video-Streaming-Markt in Deutschland stark verändern. Der Start von Disney+ setzt Netflix, Amazon und Sky gehörig unter Druck. Die ganz großen Umwälzungen geschehen vorerst aber woanders.
Eine Analyse von Ingo Pakalski

  1. Peacock NBC Universal setzt gegen Netflix auf Gratis-Streaming
  2. Joyn Plus+ Probleme bei der Kündigung
  3. Android TV Magenta-TV-Stick mit USB-Anschluss vergünstigt erhältlich

Europäische Netzpolitik: Die Rückkehr des Axel Voss
Europäische Netzpolitik
Die Rückkehr des Axel Voss

Elektronische Beweismittel, Nutzertracking, Terrorinhalte: In der EU stehen in diesem Jahr wichtige netzpolitische Entscheidungen an. Auch Axel Voss will wieder mitmischen. Und wird Ursula von der Leyen mit dem "Digitale-Dienste-Gesetz" wieder zu "Zensursula"?
Eine Analyse von Friedhelm Greis

  1. Mitgliederentscheid Netzpolitikerin Esken wird SPD-Chefin
  2. Nach schwerer Krankheit FDP-Netzpolitiker Jimmy Schulz gestorben

Schräges von der CES 2020: Die Connected-Kartoffel
Schräges von der CES 2020
Die Connected-Kartoffel

CES 2020 Wer geglaubt hat, er hätte schon alles gesehen, musste sich auch dieses Jahr auf der CES eines Besseren belehren lassen. Wir haben uns die Zukunft der Kartoffel angesehen: Sie ist smart.
Ein Bericht von Martin Wolf

  1. Smart Lock Netatmo und Yale zeigen smarte Türschlösser
  2. Eracing Simulator im Hands on Razers Renn-Simulator bringt uns zum Schwitzen
  3. Zu lange Ladezeiten Ford setzt auf Hybridantrieb bei autonomen Taxis

  1. Kickstarter: Gebundener Mars-Atlas zeigt Karten des Roten Planeten
    Kickstarter
    Gebundener Mars-Atlas zeigt Karten des Roten Planeten

    The Mars-Atlas ist ein interessantes Buch: Es zeigt detaillierte Karten vom Mars statt der Erde. Mehr als 2.000 Standorte sind darauf zu sehen. Auch eine digitale Applikation wird angeboten, auf der Hobbyforscher ein 3D-Modell des Mars erkunden können - ähnlich wie bei Google Mars.

  2. 5G: Österreich sieht sich beim Mobilfunk klar vor Deutschland
    5G
    Österreich sieht sich beim Mobilfunk klar vor Deutschland

    Das schlechteste Mobilfunknetz in Österreich sei immer noch besser als das beste Netz in Deutschland, hat Wirtschaftsministerin Margarete Schramböck behauptet. Auch Messungen bestätigen das.

  3. TLS: Netgear verteilt private Schlüssel in Firmware
    TLS
    Netgear verteilt private Schlüssel in Firmware

    Sicherheitsforscher haben private Schlüssel für TLS-Zertifikate veröffentlicht, die Netgear mit seiner Router-Firmware verteilt. Der Hersteller hatte nur wenige Tage Reaktionszeit. Die Forscher lehnen die Praktiken von Netgear prinzipiell ab, was zur Veröffentlichung geführt hat.


  1. 17:20

  2. 17:07

  3. 16:45

  4. 15:59

  5. 15:21

  6. 13:38

  7. 13:21

  8. 12:30