1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Suchmaschinen: Internet Archive will…

Vollidioten

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Vollidioten

    Autor: q0r0 24.04.17 - 10:09

    Wie stellen die sich das vor? Soll jeder Seitenbetreiber erst einmal jeder crawler Seite, die existiert, Bescheid geben, anstatt einfach eine robots.txt mit whitelist zu verwenden?

    Egal.. ich schicke denen gerne eine Liste mit ein paar tausend Domains, damit die sehen wie dumm diese Idee war. :-)

  2. Re: Vollidioten

    Autor: staples 24.04.17 - 10:19

    Wow, du bist so ein Freiheitskämpfer.

    Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird, der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.

  3. Re: Vollidioten

    Autor: Poison Nuke 24.04.17 - 10:21

    was ist das für eine dumme Argumentation? Es ist doch egal ob da eine Whitelist drin ist oder Blacklist... wenn die Datei ignoriert wird, wird einfach alles gescannt. Was ist daran nicht zu verstehen?

    Normale Suchmaschinenen beachten doch auch weiterhin diese Datei.

    Und falls es dir darum geht, dass bestimmte Seiten in den Index aufgenommen werden: von einer Sitemap hast du noch nie etwas gehört, oder?

  4. Re: Vollidioten

    Autor: Apfelbrot 24.04.17 - 10:21

    staples schrieb:
    --------------------------------------------------------------------------------
    > Wow, du bist so ein Freiheitskämpfer.
    >
    > Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird,
    > der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.

    Falls dir noch was blöderes einfällt einfach Bescheid geben!

  5. Re: Vollidioten

    Autor: q0r0 24.04.17 - 10:32

    staples schrieb:
    --------------------------------------------------------------------------------
    > Wow, du bist so ein Freiheitskämpfer.
    >
    > Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird,
    > der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.


    Wow, du bist so ein Checker. Kapierst nicht, dass das eine dumme Idee ist und dass ein Seitenbetreiber Sachen veröffentlicht, damit sie auf der eigenen Seite abgerufen werden.

  6. Re: Vollidioten

    Autor: Poison Nuke 24.04.17 - 10:39

    q0r0 schrieb:
    --------------------------------------------------------------------------------
    > Wow, du bist so ein Checker. Kapierst nicht, dass das eine dumme Idee ist
    > und dass ein Seitenbetreiber Sachen veröffentlicht, damit sie auf der
    > eigenen Seite abgerufen werden.

    wenn der Seitenbetreiber zu unfähig ist, eine einfache Webserver-Konfig vorzunehmen, warum sollte das andere interessieren? Als Admin sollte man sich schon etwas mit seinem Job auskennen, und dazu gehört auch das man keine robots.txt benötigt um Dinge vor "unsachgemäßen" Zugriffswegen zu schützen. Wenn du willst das bestimmte Inhalte nur durch ein interes Portal oder so zu erreichen sind, dann schützt man diesen Bereich eben gegen externen Zugriff. Am einfachsten mit einer htaccess, oder durch ein rewrite oder durch Proxy usw.

    Da geht sovieles, und nichts davon beruht auf dem schieren Vertrauen, dass andere vllt deine robots.txt beachten.

  7. Re: Vollidioten

    Autor: egal 24.04.17 - 11:07

    Dass die quasi die ganze Website kopieren und selbst veröffentlichen ist dir schon bewusst? Dazu auch noch historisch abrufbar. Mag sein, dass dir das bei irgendwelchen eigenen Popel-Seiten egal ist.
    Für viele stellt das nachvollziehbarerweiße ein Problem dar.
    Und jetzt wurde diesen Leuten eine sinnvolle Funktion genommen, darüber einfach selbst bestimmen zu können.

  8. Re: Vollidioten

    Autor: mnementh 24.04.17 - 11:09

    q0r0 schrieb:
    --------------------------------------------------------------------------------
    > staples schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Wow, du bist so ein Freiheitskämpfer.
    > >
    > > Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird,
    > > der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.
    >
    > Wow, du bist so ein Checker. Kapierst nicht, dass das eine dumme Idee ist
    > und dass ein Seitenbetreiber Sachen veröffentlicht, damit sie auf der
    > eigenen Seite abgerufen werden.

    Ich veröffentliche Inhalte, damit sie öffentlich sind. Weshalb sollte ich Nutzer auf meiner Seite festpinnen? Archive.org liefert einen nützlichen Service. Wieso sollten den nicht auch Nutzer meiner Seite nutzen können.

  9. Re: Vollidioten

    Autor: Muhaha 24.04.17 - 11:23

    egal schrieb:
    --------------------------------------------------------------------------------
    > Dass die quasi die ganze Website kopieren und selbst veröffentlichen ist
    > dir schon bewusst?

    Ja, das ist ihm bewusst.

    > Dazu auch noch historisch abrufbar.

    Genau DAS ist ja Sinn und Zweck der Sache. Das Internet archivieren und dokumentieren. So wie man veröffentlichte Bücher in eine Bibliothek stellt.

    > Für viele stellt das nachvollziehbarerweiße ein Problem dar.

    Das stellt für für sehr wenige Leute ein Problem dar. Vornehmlich Leute, die etwas vertuschen wollen oder die den gesellschaftlichen, kulturellen Zweck einer Archivierung nicht begreifen können.

    > Und jetzt wurde diesen Leuten eine sinnvolle Funktion genommen, darüber
    > einfach selbst bestimmen zu können.

    Weil hier aus gesellschaftlichen Gründen die Archivierung als wichtiger erachtet wird als die individuelle Freiheit Inhalte mit robots.txt mehr schlecht als recht "zu schützen". Wir alle müssen in gewissem Maße Einschränkungen unserer persönlichen Freiheit hinnehmen, wenn es der Gesellschaft als Ganzes nützt.

  10. Re: Vollidioten

    Autor: Poison Nuke 24.04.17 - 11:39

    egal schrieb:
    --------------------------------------------------------------------------------
    > Dass die quasi die ganze Website kopieren und selbst veröffentlichen

    denk mal über den Begriff "veröffentlichen" nach, was er bedeutet. Niemand stellt hier die Urheberschaft in Frage, die bleibt weiterhin erhalten. Es wird einfach nur eine Kopie angefertigt.

    Wie war das denn früher bei Zeitungen? Die wurden auch von Leuten eingescannt/kopiert und archiviert, damit man in Zukunft auch noch darauf zugreifen kann, wenn es den Verlag nicht mehr geben sollte. Dahinter steht einzig und allein ein öffentliches Interesse: Die Dinge die einmal öffentlich sind, sollen auch dauerhaft zugänglich sein.

  11. Re: Vollidioten

    Autor: jayrworthington 24.04.17 - 11:48

    Muhaha schrieb:
    --------------------------------------------------------------------------------
    > Weil hier aus gesellschaftlichen Gründen die Archivierung als wichtiger

    ...was weder Du noch archive.org entscheidet.

    > erachtet wird als die individuelle Freiheit Inhalte mit robots.txt mehr

    Sag das mal Disney. Oder auch nur den Leistungschutzrecht-Fanatikern. Das ganze wird nach hinten losgehen, so-oder-so. Frage ist nur, ob sie's frueh genug einsehen, oder ob sie von einem US-Gericht plattgemacht werden...

    > schlecht als recht "zu schützen". Wir alle müssen in gewissem Maße
    > Einschränkungen unserer persönlichen Freiheit hinnehmen, wenn es der
    > Gesellschaft als Ganzes nützt.

    Nein, muessen wir nicht. Wenn searchengines (was archive.org ist, egal wie man es redefinieren will) anfangen, das robots.txt zu ignorieren, wird die konsequenz sein, dass die Leute sehr schnell anfangen werden, geschuetzte websites wie zB mit cloudflare zu bauen (cloudflare checkt erst, ob Du ein browser bist, wenn nicht eindeutig ja, gibts Captcha oder einfach gleich ein access denied), und auch fuer apache wird sich sowas finden lassen. Es gibt auch viele Sites, die iP-listen von Firmen (MS, Cloudflare, Amazon, Google etc) zusammenstellen, wenn es archive.org nicht einsehen will, werden sie einfach komplett geblockt...

  12. Re: Vollidioten

    Autor: Muhaha 24.04.17 - 11:54

    jayrworthington schrieb:
    --------------------------------------------------------------------------------
    > Muhaha schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Weil hier aus gesellschaftlichen Gründen die Archivierung als wichtiger
    >
    > ...was weder Du noch archive.org entscheidet.

    Die aber den offiziellen Status einer Bibliothek hat. Man genießt deswegen gewisse Ausnahmeregelungen, die nur für Bibliotheken gelten. Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so entschieden hat.

    > > schlecht als recht "zu schützen". Wir alle müssen in gewissem Maße
    > > Einschränkungen unserer persönlichen Freiheit hinnehmen, wenn es der
    > > Gesellschaft als Ganzes nützt.
    >
    > Nein, muessen wir nicht.

    Doch, müssen wir.

    > Wenn searchengines (was archive.org ist, egal wie
    > man es redefinieren will) anfangen, das robots.txt zu ignorieren, wird die
    > konsequenz sein, dass die Leute sehr schnell anfangen werden, geschuetzte
    > websites wie zB mit cloudflare zu bauen (cloudflare checkt erst, ob Du ein
    > browser bist, wenn nicht eindeutig ja, gibts Captcha oder einfach gleich
    > ein access denied), und auch fuer apache wird sich sowas finden lassen. Es
    > gibt auch viele Sites, die iP-listen von Firmen (MS, Cloudflare, Amazon,
    > Google etc) zusammenstellen, wenn es archive.org nicht einsehen will,
    > werden sie einfach komplett geblockt...

    Search-Engines, vor allem kommerzielle, haben nicht den gesetzlichen Status einer Bibliothek.

  13. Re: Vollidioten

    Autor: violator 24.04.17 - 12:26

    Muhaha schrieb:
    --------------------------------------------------------------------------------
    > Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so entschieden hat.

    Wessen Gesetzgeber?

  14. Re: Vollidioten

    Autor: Cok3.Zer0 24.04.17 - 13:17

    Auch hinsichtlich des Rechts auf Vergessen ist das ein Problem...

  15. Re: Vollidioten

    Autor: Oktavian 24.04.17 - 13:19

    > > Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so
    > entschieden hat.
    >
    > Wessen Gesetzgeber?

    Der globale Gesetzgeber des Internets. Also der US-amerikanische. Oder habe ich da was verpasst.

  16. Re: Vollidioten

    Autor: Oktavian 24.04.17 - 13:23

    > > Dass die quasi die ganze Website kopieren und selbst veröffentlichen
    >
    > denk mal über den Begriff "veröffentlichen" nach, was er bedeutet. Niemand
    > stellt hier die Urheberschaft in Frage, die bleibt weiterhin erhalten. Es
    > wird einfach nur eine Kopie angefertigt.

    Das heißt also, wenn ich eine Zeitschrift, beispielsweise die ct einscanne und veröffentliche, ist das vollkommen okay? Ich stelle ja nicht infrage, dass die Urheberschaft beim heise-Verlag verbleibt, ich mache ja einfach nur eine Kopie.

    > Wie war das denn früher bei Zeitungen? Die wurden auch von Leuten
    > eingescannt/kopiert und archiviert, damit man in Zukunft auch noch darauf
    > zugreifen kann, wenn es den Verlag nicht mehr geben sollte.

    Meist wurden die sogar im Original archiviert, und das ist auch vollkommen okay. Sie werden aber nicht veröffentlicht, sondern können im Archiv eingesehen werden.

    > Dahinter steht
    > einzig und allein ein öffentliches Interesse: Die Dinge die einmal
    > öffentlich sind, sollen auch dauerhaft zugänglich sein.

    Also so wie meine Kopie der ct. Da ich sie kostenlos verteile, erhöhe ich ja sogar noch die Reichweite und mache sie besser zugänglich. Da kann doch nichts schlechtes dran sein, oder?

  17. Re: Vollidioten

    Autor: Anonymer Nutzer 24.04.17 - 13:31

    > als die individuelle Freiheit Inhalte mit robots.txt mehr
    > schlecht als recht "zu schützen".

    "Schützen" ist in diesem Zusammenhang aber auch wirklich wohlwollend. Nicht mal mit einem "Betreten verboten!"-Schild zu vergleichen. Allenfalls mit dem Hinweis, "Es wäre echt voll sozial und so, wenn Du hier nicht crawlen würdest, mkayy?"
    Eine robots.txt schützt gar nichts. Wer seine Inhalte nicht im Netz sehen will, darf sie entweder da nicht reinstellen oder muss sie effektiv gegen Zugriff durch Crawler schützen.

    Selbst Google sieht es nicht gern, wenn z.B. CSS oder JS durch die robots.txt ausgeschlossen werden, da sie die Seiten nicht nur inhaltlich indizieren sondern auch wirklich "sehen" wollen.
    So wie der Nutzer im Archive. Der will die Seiten nicht sehen, wie diese sich einem Crawler präsentiert haben, sondern wie sie ein Nutzer gesehen hat.

  18. Re: Vollidioten

    Autor: Muhaha 24.04.17 - 13:33

    Oktavian schrieb:
    --------------------------------------------------------------------------------
    > > > Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so
    > > entschieden hat.
    > >
    > > Wessen Gesetzgeber?
    >
    > Der globale Gesetzgeber des Internets. Also der US-amerikanische.

    Genau der.

  19. Re: Vollidioten

    Autor: Oktavian 24.04.17 - 13:33

    > Selbst Google sieht es nicht gern, wenn z.B. CSS oder JS durch die
    > robots.txt ausgeschlossen werden, da sie die Seiten nicht nur inhaltlich
    > indizieren sondern auch wirklich "sehen" wollen.

    Das kann ich gut verstehen, und trotzdem hält Google sich daran. Natürlich steht es Google frei, die entsprechende Seite im Ranking herunterzustufen oder ganz auszulisten und so sanften Druck auf die Seitenbetreiber auszuüben.

  20. Re: Vollidioten

    Autor: Anonymer Nutzer 24.04.17 - 13:38

    > und trotzdem hält Google sich daran.

    Das mag ja sein. Ich finde lediglich, dass der eher einer Empfehlung gleichenden robots.txt zu viel Bedeutung beigemessen wird, was den "Schutz" oder das "Verstecken" von Daten auf Webservern angeht. Kann man auch gleich eine Schatzkiste mit dem Schild "Nicht reinschauen" auf den Marktplatz stellen.

    Wie gesagt will das Archive die Seiten so zeigen, wie sie der Benutzer zum jeweiligen Zeitpunkt gesehen hat. Nicht, wie eine Suchmaschine diese vorfand. Wenn dann die robots.txt schon das Durchforsten von Stylesheets verbietet, kann der Zweck nicht mehr erfüllt werden.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Stiegelmeyer GmbH & Co. KG, Herford
  2. Deutsche Rentenversicherung Bund, Berlin
  3. ING-DiBa AG, Frankfurt am Main
  4. über duerenhoff GmbH, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. (-40%) 32,99€
  2. 37,49€
  3. (-92%) 0,75€
  4. 3,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Ryzen Mobile 4000 (Renoir): Lasst die Ära der schrottigen AMD-Notebooks enden!
Ryzen Mobile 4000 (Renoir)
Lasst die Ära der schrottigen AMD-Notebooks enden!

Seit vielen Jahren gibt es kaum Premium-Geräte mit AMD-Chips und selbst bei vermeintlich identischer Ausstattung fehlen Eigenschaften wie eine beleuchtete Tastatur oder Thunderbolt 3. Schluss damit!
Ein IMHO von Marc Sauter

  1. HEDT-Prozessor 64-kerniger Threadripper schlägt 20.000-Dollar-Xeons
  2. Ryzen Mobile 4000 AMDs Renoir hat acht 7-nm-Kerne für Ultrabooks
  3. Zen+ AMD verkauft Ryzen 5 1600 mit flotteren CPU-Kernen

Mr. Robot rezensiert: Domo Arigato, Mr. Robot!
Mr. Robot rezensiert
Domo Arigato, Mr. Robot!

Wie im Achtziger-Klassiker Mr. Roboto von Styx hat auch Elliot in Mr. Robot Geheimnisse. Die Dramaserie um den Hacker ist nicht nur wegen Rami Malek grandios. Sie hat einen ganz eigenen beeindruckenden visuellen Stil und zeigt Hacking, wie es wirklich ist. Wir blicken nach dem Serienfinale zurück.
Eine Rezension von Oliver Nickel und Moritz Tremmel

  1. Openideo-Wettbewerb Die fünf besten Hacker-Symbolbilder sind ausgewählt
  2. Cyberangriffe Attribution ist wie ein Indizienprozess
  3. Double Dragon APT41 soll für Staat und eigenen Geldbeutel hacken

Kailh-Box-Switches im Test: Besser und lauter geht ein klickender Switch kaum
Kailh-Box-Switches im Test
Besser und lauter geht ein klickender Switch kaum

Wer klickende Tastatur-Switches mag, wird die dunkelblauen Kailh-Box-Schalter lieben: Eine eingebaute Stahlfeder sorgt für zwei satte Klicks pro Anschlag. Im Test merken unsere Finger aber schnell den hohen taktilen Widerstand.
Ein Test von Tobias Költzsch

  1. Keychron K6 Kompakte drahtlose Tastatur mit austauschbaren Switches
  2. Charachorder Schneller tippen als die Tastatur erlaubt
  3. Brydge+ iPad-Tastatur mit Multi-Touch-Trackpad

  1. Vodafone: Kabelfernsehkunden sterben in Zukunft aus
    Vodafone
    Kabelfernsehkunden sterben in Zukunft aus

    Vodafone sieht bei jungen Menschen wenig Interesse, Kabelfernsehen zu abonnieren. Ein deutscher Netflix-Manager sprach über den Streaminganbieter.

  2. FBI-Wunsch: Apple verzichtete auf iCloud-Verschlüsselung
    FBI-Wunsch
    Apple verzichtete auf iCloud-Verschlüsselung

    Apple war einer Bitte des FBI laut der Nachrichtenagentur Reuters nachgekommen und verzichtete auf die Einführung verschlüsselter iPhone-Backups in der iCloud. Apple habe einem Streit mit Beamten aus dem Weg gehen wollen, erklärte eine Reuters-Quelle - geholfen hat es indes nicht.

  3. Rainbow Six Siege: Ubisoft verklagt DDoS-Anbieter
    Rainbow Six Siege
    Ubisoft verklagt DDoS-Anbieter

    Seit Monaten gibt es DDOS-Angriffe gegen Rainbow Six Siege, nun klagt Ubisoft gegen einen Anbieter. Der offeriert das Lahmlegen der Server ab 150 Euro, offenbar stecken auch Deutsche hinter den Attacken.


  1. 19:21

  2. 18:24

  3. 17:16

  4. 17:01

  5. 16:47

  6. 16:33

  7. 15:24

  8. 15:09