1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Suchmaschinen: Internet Archive will…

Inhalt?

  1. Thema

Neues Thema Ansicht wechseln


  1. Inhalt?

    Autor: bugmenotbugmenot2017 24.04.17 - 09:38

    Aus diesem Artikel ist weder hervorgegangen, was denn Robots.txt Dateien sind, noch wieso sie nun nicht mehr mitgespeichert worden sind. Dafür hätte auch ein Einzeiler geeicht.

  2. Re: Inhalt?

    Autor: vlad_tepesch 24.04.17 - 09:44

    Dass die robot.txt nicht mehr mitgespeichert wird ist nicht der Inhalt des Textes.

    Die Datei ist sowas wie ein freundliches Verbotsschild.
    Da kann sowas drin stehen: "@agentXY: Bitte hier keine Fotos machen".

    Normalerwesie gehört es zum guten Ton, dass crawler usw sich daran halten.
    Archive.org sagt jetzt aber, dass sie diese Bitten ignorieren wollen und die Seiten dennoch speichern.

  3. Re: Inhalt?

    Autor: hg (Golem.de) 24.04.17 - 09:47

    Ich empfehle die vollständige Lektüre des Textes ;)

    "Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte Teile einer Webseite vor Suchmaschinencrawlern verstecken können. Dies kann für die gesamte Webseite gelten, aber auch nur für einzelne Teile wie zum Beispiel den Loginbereich des Content-Management-Systems. Robots.txt ist kein verbindlicher technischer Standard, sondern eine Konvention, die die meisten großen Suchmaschinenbetreiber beachten."

    Hauke Gierow - Golem.de

  4. Re: Inhalt?

    Autor: Ceroc 24.04.17 - 09:47

    Ich verstehe deine Aussage nicht. Im letzten Absatz wird doch erklärt was "Robots.txt" für eine Datei ist. Du hättest deine Information bekommen wenn du den Text zumindest überflogen hättest.

  5. Re: Inhalt?

    Autor: Wurschtb3mme 24.04.17 - 10:10

    Die Aufgabe der Robots.txt am Anfang zu erklären hätte aus meiner Sicht das Lesen des Artikels schon ein wenig erleichtert, weil man nicht während des gesamten Artikels von der Frage "was ist die Robots.txt denn jetzt und was genau macht die?" abgelenkt ist. Ging mir zumindest so. ;)

    Sonnige Grüße!

  6. dem schließe ich mich an

    Autor: ksi 24.04.17 - 12:15

    Sowas sollte dem Schreiber der Nachricht von selbst einfallen. Gut, dass er es erklärt. Schlecht, dass es erst am Ende passiert.

  7. Re: dem schließe ich mich an

    Autor: Tantalus 24.04.17 - 12:21

    ksi schrieb:
    --------------------------------------------------------------------------------
    > Sowas sollte dem Schreiber der Nachricht von selbst einfallen. Gut, dass er
    > es erklärt. Schlecht, dass es erst am Ende passiert.

    Also ich finde, die robots.txt gehört zum IT-Grundwissen. Es wird ja auch nicht bei Artikeln über GPUs erklärt, wozu eine GPU überhaupt da ist.

    Gruß
    Tantalus

    ___________________________

    Man sollte sich die Ruhe und Nervenstärke eines Stuhles zulegen. Der muss auch mit jedem Arsch klarkommen.

  8. Re: dem schließe ich mich an

    Autor: luzipha 24.04.17 - 17:33

    Bei der großen IT-Zeitschrift mit den vier Großbuchstaben steht doch auch alles immer in Infoboxen am Rand haargenau erklärt... Ist das so nicht üblich?

    Ne, mal im Ernst. Wenn mich ein Artikel über ein Thema, bei dem ich mich nicht auskenne, interessiert, dann informiere ich mich parallel und/oder überfliege den Artikel erstmal.
    Das Einfließen überflüssiger Zusatzinformationen würde mich in meinem Lesefluss enorm stören und langweilen.

  9. Re: Inhalt?

    Autor: Anonymer Nutzer 25.04.17 - 05:26

    hg (Golem.de) schrieb:
    --------------------------------------------------------------------------------
    > Ich empfehle die vollständige Lektüre des Textes ;)
    >
    > "Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte
    > Teile einer Webseite vor Suchmaschinencrawlern verstecken können.
    Genau das kann die robots.txt eben nicht leisten. Sie bittet nur darum bestimmte seiten nicht zu indexieren.
    Versteckt wird gar nix.

    > Dies kann
    > für die gesamte Webseite gelten, aber auch nur für einzelne Teile wie zum
    > Beispiel den Loginbereich des Content-Management-Systems. Robots.txt ist
    > kein verbindlicher technischer Standard, sondern eine Konvention, die die
    > meisten großen Suchmaschinenbetreiber beachten."

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. TenneT TSO GmbH, Bayreuth
  2. Schwarz Dienstleistung KG, Neckarsulm
  3. HABA Group B.V. & Co. KG, Bad Rodach
  4. Hartmetall-Werkzeugfabrik Paul Horn GmbH, Tübingen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. (u. a. Star Wars: Knights of the Old Republic II - The Sith Lords für 1,99€, Star Wars Empire at...
  2. (u. a. Monster Hunter World: Iceborne Digital Deluxe für 29,99€, Phoenix Wright: Ace Attorney...
  3. 2,50€


Haben wir etwas übersehen?

E-Mail an news@golem.de


  1. Bug: Tausende Daten aus britischen Polizeiakten gelöscht
    Bug
    Tausende Daten aus britischen Polizeiakten gelöscht

    Das britische Innenministerium hat versehentlich die Daten gelöscht, die es behalten wollte. Darunter auch Fingerabdrücke und DNA-Daten.

  2. Backhaul: Satellit kann 5G ermöglichen
    Backhaul
    Satellit kann 5G ermöglichen

    Das Deutsche Zentrum für Luft- und Raumfahrt hält die neue Satellitentechnik für tauglich, bei 5G als Backhaul zu agieren. Bis zu 100 MBit/s im Download und 6 MBit/s im Upload seien mit modernen, geostationären Satelliten möglich.

  3. Kriminalität: Microsoft-Betrüger erbeuten 20.000 Euro von Rentnerin
    Kriminalität
    Microsoft-Betrüger erbeuten 20.000 Euro von Rentnerin

    Die Täter gaben sich als Microsoft-Mitarbeiter aus und erfragten die Daten für das Onlinebanking. Als die Betroffene von der Masche erfuhr, war das Geld schon weg.


  1. 18:58

  2. 18:32

  3. 18:02

  4. 17:37

  5. 17:17

  6. 17:00

  7. 16:24

  8. 15:12