1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Suchmaschinen: Internet Archive will…

Vollidioten

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Vollidioten

    Autor: q0r0 24.04.17 - 10:09

    Wie stellen die sich das vor? Soll jeder Seitenbetreiber erst einmal jeder crawler Seite, die existiert, Bescheid geben, anstatt einfach eine robots.txt mit whitelist zu verwenden?

    Egal.. ich schicke denen gerne eine Liste mit ein paar tausend Domains, damit die sehen wie dumm diese Idee war. :-)

  2. Re: Vollidioten

    Autor: staples 24.04.17 - 10:19

    Wow, du bist so ein Freiheitskämpfer.

    Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird, der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.

  3. Re: Vollidioten

    Autor: Poison Nuke 24.04.17 - 10:21

    was ist das für eine dumme Argumentation? Es ist doch egal ob da eine Whitelist drin ist oder Blacklist... wenn die Datei ignoriert wird, wird einfach alles gescannt. Was ist daran nicht zu verstehen?

    Normale Suchmaschinenen beachten doch auch weiterhin diese Datei.

    Und falls es dir darum geht, dass bestimmte Seiten in den Index aufgenommen werden: von einer Sitemap hast du noch nie etwas gehört, oder?

  4. Re: Vollidioten

    Autor: Apfelbrot 24.04.17 - 10:21

    staples schrieb:
    --------------------------------------------------------------------------------
    > Wow, du bist so ein Freiheitskämpfer.
    >
    > Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird,
    > der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.

    Falls dir noch was blöderes einfällt einfach Bescheid geben!

  5. Re: Vollidioten

    Autor: q0r0 24.04.17 - 10:32

    staples schrieb:
    --------------------------------------------------------------------------------
    > Wow, du bist so ein Freiheitskämpfer.
    >
    > Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird,
    > der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.


    Wow, du bist so ein Checker. Kapierst nicht, dass das eine dumme Idee ist und dass ein Seitenbetreiber Sachen veröffentlicht, damit sie auf der eigenen Seite abgerufen werden.

  6. Re: Vollidioten

    Autor: Poison Nuke 24.04.17 - 10:39

    q0r0 schrieb:
    --------------------------------------------------------------------------------
    > Wow, du bist so ein Checker. Kapierst nicht, dass das eine dumme Idee ist
    > und dass ein Seitenbetreiber Sachen veröffentlicht, damit sie auf der
    > eigenen Seite abgerufen werden.

    wenn der Seitenbetreiber zu unfähig ist, eine einfache Webserver-Konfig vorzunehmen, warum sollte das andere interessieren? Als Admin sollte man sich schon etwas mit seinem Job auskennen, und dazu gehört auch das man keine robots.txt benötigt um Dinge vor "unsachgemäßen" Zugriffswegen zu schützen. Wenn du willst das bestimmte Inhalte nur durch ein interes Portal oder so zu erreichen sind, dann schützt man diesen Bereich eben gegen externen Zugriff. Am einfachsten mit einer htaccess, oder durch ein rewrite oder durch Proxy usw.

    Da geht sovieles, und nichts davon beruht auf dem schieren Vertrauen, dass andere vllt deine robots.txt beachten.

  7. Re: Vollidioten

    Autor: egal 24.04.17 - 11:07

    Dass die quasi die ganze Website kopieren und selbst veröffentlichen ist dir schon bewusst? Dazu auch noch historisch abrufbar. Mag sein, dass dir das bei irgendwelchen eigenen Popel-Seiten egal ist.
    Für viele stellt das nachvollziehbarerweiße ein Problem dar.
    Und jetzt wurde diesen Leuten eine sinnvolle Funktion genommen, darüber einfach selbst bestimmen zu können.

  8. Re: Vollidioten

    Autor: mnementh 24.04.17 - 11:09

    q0r0 schrieb:
    --------------------------------------------------------------------------------
    > staples schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Wow, du bist so ein Freiheitskämpfer.
    > >
    > > Ernsthaft, wer nicht will, dass auf irgendwelche Daten zugegriffen wird,
    > > der soll die entsprechenden Bereiche mit Zugangskontrollen versehen.
    >
    > Wow, du bist so ein Checker. Kapierst nicht, dass das eine dumme Idee ist
    > und dass ein Seitenbetreiber Sachen veröffentlicht, damit sie auf der
    > eigenen Seite abgerufen werden.

    Ich veröffentliche Inhalte, damit sie öffentlich sind. Weshalb sollte ich Nutzer auf meiner Seite festpinnen? Archive.org liefert einen nützlichen Service. Wieso sollten den nicht auch Nutzer meiner Seite nutzen können.

  9. Re: Vollidioten

    Autor: Muhaha 24.04.17 - 11:23

    egal schrieb:
    --------------------------------------------------------------------------------
    > Dass die quasi die ganze Website kopieren und selbst veröffentlichen ist
    > dir schon bewusst?

    Ja, das ist ihm bewusst.

    > Dazu auch noch historisch abrufbar.

    Genau DAS ist ja Sinn und Zweck der Sache. Das Internet archivieren und dokumentieren. So wie man veröffentlichte Bücher in eine Bibliothek stellt.

    > Für viele stellt das nachvollziehbarerweiße ein Problem dar.

    Das stellt für für sehr wenige Leute ein Problem dar. Vornehmlich Leute, die etwas vertuschen wollen oder die den gesellschaftlichen, kulturellen Zweck einer Archivierung nicht begreifen können.

    > Und jetzt wurde diesen Leuten eine sinnvolle Funktion genommen, darüber
    > einfach selbst bestimmen zu können.

    Weil hier aus gesellschaftlichen Gründen die Archivierung als wichtiger erachtet wird als die individuelle Freiheit Inhalte mit robots.txt mehr schlecht als recht "zu schützen". Wir alle müssen in gewissem Maße Einschränkungen unserer persönlichen Freiheit hinnehmen, wenn es der Gesellschaft als Ganzes nützt.

  10. Re: Vollidioten

    Autor: Poison Nuke 24.04.17 - 11:39

    egal schrieb:
    --------------------------------------------------------------------------------
    > Dass die quasi die ganze Website kopieren und selbst veröffentlichen

    denk mal über den Begriff "veröffentlichen" nach, was er bedeutet. Niemand stellt hier die Urheberschaft in Frage, die bleibt weiterhin erhalten. Es wird einfach nur eine Kopie angefertigt.

    Wie war das denn früher bei Zeitungen? Die wurden auch von Leuten eingescannt/kopiert und archiviert, damit man in Zukunft auch noch darauf zugreifen kann, wenn es den Verlag nicht mehr geben sollte. Dahinter steht einzig und allein ein öffentliches Interesse: Die Dinge die einmal öffentlich sind, sollen auch dauerhaft zugänglich sein.

  11. Re: Vollidioten

    Autor: jayrworthington 24.04.17 - 11:48

    Muhaha schrieb:
    --------------------------------------------------------------------------------
    > Weil hier aus gesellschaftlichen Gründen die Archivierung als wichtiger

    ...was weder Du noch archive.org entscheidet.

    > erachtet wird als die individuelle Freiheit Inhalte mit robots.txt mehr

    Sag das mal Disney. Oder auch nur den Leistungschutzrecht-Fanatikern. Das ganze wird nach hinten losgehen, so-oder-so. Frage ist nur, ob sie's frueh genug einsehen, oder ob sie von einem US-Gericht plattgemacht werden...

    > schlecht als recht "zu schützen". Wir alle müssen in gewissem Maße
    > Einschränkungen unserer persönlichen Freiheit hinnehmen, wenn es der
    > Gesellschaft als Ganzes nützt.

    Nein, muessen wir nicht. Wenn searchengines (was archive.org ist, egal wie man es redefinieren will) anfangen, das robots.txt zu ignorieren, wird die konsequenz sein, dass die Leute sehr schnell anfangen werden, geschuetzte websites wie zB mit cloudflare zu bauen (cloudflare checkt erst, ob Du ein browser bist, wenn nicht eindeutig ja, gibts Captcha oder einfach gleich ein access denied), und auch fuer apache wird sich sowas finden lassen. Es gibt auch viele Sites, die iP-listen von Firmen (MS, Cloudflare, Amazon, Google etc) zusammenstellen, wenn es archive.org nicht einsehen will, werden sie einfach komplett geblockt...

  12. Re: Vollidioten

    Autor: Muhaha 24.04.17 - 11:54

    jayrworthington schrieb:
    --------------------------------------------------------------------------------
    > Muhaha schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Weil hier aus gesellschaftlichen Gründen die Archivierung als wichtiger
    >
    > ...was weder Du noch archive.org entscheidet.

    Die aber den offiziellen Status einer Bibliothek hat. Man genießt deswegen gewisse Ausnahmeregelungen, die nur für Bibliotheken gelten. Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so entschieden hat.

    > > schlecht als recht "zu schützen". Wir alle müssen in gewissem Maße
    > > Einschränkungen unserer persönlichen Freiheit hinnehmen, wenn es der
    > > Gesellschaft als Ganzes nützt.
    >
    > Nein, muessen wir nicht.

    Doch, müssen wir.

    > Wenn searchengines (was archive.org ist, egal wie
    > man es redefinieren will) anfangen, das robots.txt zu ignorieren, wird die
    > konsequenz sein, dass die Leute sehr schnell anfangen werden, geschuetzte
    > websites wie zB mit cloudflare zu bauen (cloudflare checkt erst, ob Du ein
    > browser bist, wenn nicht eindeutig ja, gibts Captcha oder einfach gleich
    > ein access denied), und auch fuer apache wird sich sowas finden lassen. Es
    > gibt auch viele Sites, die iP-listen von Firmen (MS, Cloudflare, Amazon,
    > Google etc) zusammenstellen, wenn es archive.org nicht einsehen will,
    > werden sie einfach komplett geblockt...

    Search-Engines, vor allem kommerzielle, haben nicht den gesetzlichen Status einer Bibliothek.

  13. Re: Vollidioten

    Autor: violator 24.04.17 - 12:26

    Muhaha schrieb:
    --------------------------------------------------------------------------------
    > Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so entschieden hat.

    Wessen Gesetzgeber?

  14. Re: Vollidioten

    Autor: Cok3.Zer0 24.04.17 - 13:17

    Auch hinsichtlich des Rechts auf Vergessen ist das ein Problem...

  15. Re: Vollidioten

    Autor: Oktavian 24.04.17 - 13:19

    > > Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so
    > entschieden hat.
    >
    > Wessen Gesetzgeber?

    Der globale Gesetzgeber des Internets. Also der US-amerikanische. Oder habe ich da was verpasst.

  16. Re: Vollidioten

    Autor: Oktavian 24.04.17 - 13:23

    > > Dass die quasi die ganze Website kopieren und selbst veröffentlichen
    >
    > denk mal über den Begriff "veröffentlichen" nach, was er bedeutet. Niemand
    > stellt hier die Urheberschaft in Frage, die bleibt weiterhin erhalten. Es
    > wird einfach nur eine Kopie angefertigt.

    Das heißt also, wenn ich eine Zeitschrift, beispielsweise die ct einscanne und veröffentliche, ist das vollkommen okay? Ich stelle ja nicht infrage, dass die Urheberschaft beim heise-Verlag verbleibt, ich mache ja einfach nur eine Kopie.

    > Wie war das denn früher bei Zeitungen? Die wurden auch von Leuten
    > eingescannt/kopiert und archiviert, damit man in Zukunft auch noch darauf
    > zugreifen kann, wenn es den Verlag nicht mehr geben sollte.

    Meist wurden die sogar im Original archiviert, und das ist auch vollkommen okay. Sie werden aber nicht veröffentlicht, sondern können im Archiv eingesehen werden.

    > Dahinter steht
    > einzig und allein ein öffentliches Interesse: Die Dinge die einmal
    > öffentlich sind, sollen auch dauerhaft zugänglich sein.

    Also so wie meine Kopie der ct. Da ich sie kostenlos verteile, erhöhe ich ja sogar noch die Reichweite und mache sie besser zugänglich. Da kann doch nichts schlechtes dran sein, oder?

  17. Re: Vollidioten

    Autor: Anonymer Nutzer 24.04.17 - 13:31

    > als die individuelle Freiheit Inhalte mit robots.txt mehr
    > schlecht als recht "zu schützen".

    "Schützen" ist in diesem Zusammenhang aber auch wirklich wohlwollend. Nicht mal mit einem "Betreten verboten!"-Schild zu vergleichen. Allenfalls mit dem Hinweis, "Es wäre echt voll sozial und so, wenn Du hier nicht crawlen würdest, mkayy?"
    Eine robots.txt schützt gar nichts. Wer seine Inhalte nicht im Netz sehen will, darf sie entweder da nicht reinstellen oder muss sie effektiv gegen Zugriff durch Crawler schützen.

    Selbst Google sieht es nicht gern, wenn z.B. CSS oder JS durch die robots.txt ausgeschlossen werden, da sie die Seiten nicht nur inhaltlich indizieren sondern auch wirklich "sehen" wollen.
    So wie der Nutzer im Archive. Der will die Seiten nicht sehen, wie diese sich einem Crawler präsentiert haben, sondern wie sie ein Nutzer gesehen hat.

  18. Re: Vollidioten

    Autor: Muhaha 24.04.17 - 13:33

    Oktavian schrieb:
    --------------------------------------------------------------------------------
    > > > Archive.org darf das, weil der Gesetzgeber bereits im Vorfeld so
    > > entschieden hat.
    > >
    > > Wessen Gesetzgeber?
    >
    > Der globale Gesetzgeber des Internets. Also der US-amerikanische.

    Genau der.

  19. Re: Vollidioten

    Autor: Oktavian 24.04.17 - 13:33

    > Selbst Google sieht es nicht gern, wenn z.B. CSS oder JS durch die
    > robots.txt ausgeschlossen werden, da sie die Seiten nicht nur inhaltlich
    > indizieren sondern auch wirklich "sehen" wollen.

    Das kann ich gut verstehen, und trotzdem hält Google sich daran. Natürlich steht es Google frei, die entsprechende Seite im Ranking herunterzustufen oder ganz auszulisten und so sanften Druck auf die Seitenbetreiber auszuüben.

  20. Re: Vollidioten

    Autor: Anonymer Nutzer 24.04.17 - 13:38

    > und trotzdem hält Google sich daran.

    Das mag ja sein. Ich finde lediglich, dass der eher einer Empfehlung gleichenden robots.txt zu viel Bedeutung beigemessen wird, was den "Schutz" oder das "Verstecken" von Daten auf Webservern angeht. Kann man auch gleich eine Schatzkiste mit dem Schild "Nicht reinschauen" auf den Marktplatz stellen.

    Wie gesagt will das Archive die Seiten so zeigen, wie sie der Benutzer zum jeweiligen Zeitpunkt gesehen hat. Nicht, wie eine Suchmaschine diese vorfand. Wenn dann die robots.txt schon das Durchforsten von Stylesheets verbietet, kann der Zweck nicht mehr erfüllt werden.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. TenneT TSO GmbH, Bayreuth
  2. NETZSCH Pumpen & Systeme GmbH, Waldkraiburg
  3. Hays AG, Ansbach
  4. Hartmetall-Werkzeugfabrik Paul Horn GmbH, Tübingen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Mobile-Angebote
  1. (u. a. Galaxy S21 mit Galaxy Buds Pro In-Ears und Galaxy Smart Tag für 849€)
  2. 189,99€ (Bestpreis)
  3. 189€ (Bestpreis)
  4. 819€ (Ebay Plus - Bestpreis)


Haben wir etwas übersehen?

E-Mail an news@golem.de


USA: Die falsche Toleranz im Silicon Valley muss endlich aufhören
USA
Die falsche Toleranz im Silicon Valley muss endlich aufhören

Github wirft einen Juden raus, der vor Nazis warnt, weil das den Betrieb stört. Das ist moralisch verkommen - wie üblich im Silicon Valley.
Ein IMHO von Sebastian Grüner

  1. Handyortung Sinnloser Traum vom elektronischen Zaun gegen Corona
  2. CD Projekt Red Crunch trifft auf Cyberpunk 2077
  3. Open Source Niemand hat die Absicht, Sicherheitslücken zu schließen

Star Trek: Discovery 3. Staffel: Zwischendurch schwer zu ertragen
Star Trek: Discovery 3. Staffel
Zwischendurch schwer zu ertragen

Die dritte Staffel von Star Trek: Discovery beginnt und endet stark - zwischendrin müssen sich Zuschauer mit grottenschlechten Dialogen, sinnlosem Storytelling und Langeweile herumschlagen. Achtung, Spoiler!
Eine Rezension von Tobias Költzsch

  1. Amazon Star Trek: Lower Decks kommt im Januar nach Deutschland
  2. Star Trek Discovery Harte Landung im 32. Jahrhundert
  3. Star Trek Prodigy Captain Janeway spielt in Star-Trek-Cartoonserie mit

Westküste 100: Wie die Energiewende an der Küste aussehen soll
Westküste 100
Wie die Energiewende an der Küste aussehen soll

An der Nordseeküste stehen die Windräder auch bei einer frischen Brise oft still. Besser ist, mit dem Strom Wasserstoff zu erzeugen. Das Reallabor Westküste 100 testet das.
Ein Bericht von Werner Pluta

  1. 450 MHz Energiewirtschaft gewinnt Streit um Funkfrequenzen
  2. Energiewende Statkraft baut Schwungradspeicher in Schottland

  1. Bug: Tausende Daten aus britischen Polizeiakten gelöscht
    Bug
    Tausende Daten aus britischen Polizeiakten gelöscht

    Das britische Innenministerium hat versehentlich die Daten gelöscht, die es behalten wollte. Darunter auch Fingerabdrücke und DNA-Daten.

  2. Backhaul: Satellit kann 5G ermöglichen
    Backhaul
    Satellit kann 5G ermöglichen

    Das Deutsche Zentrum für Luft- und Raumfahrt hält die neue Satellitentechnik für tauglich, bei 5G als Backhaul zu agieren. Bis zu 100 MBit/s im Download und 6 MBit/s im Upload seien mit modernen, geostationären Satelliten möglich.

  3. Kriminalität: Microsoft-Betrüger erbeuten 20.000 Euro von Rentnerin
    Kriminalität
    Microsoft-Betrüger erbeuten 20.000 Euro von Rentnerin

    Die Täter gaben sich als Microsoft-Mitarbeiter aus und erfragten die Daten für das Onlinebanking. Als die Betroffene von der Masche erfuhr, war das Geld schon weg.


  1. 18:58

  2. 18:32

  3. 18:02

  4. 17:37

  5. 17:17

  6. 17:00

  7. 16:24

  8. 15:12