1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Suchmaschinen: Internet Archive will…

Google ist dann der nächste

  1. Thema

Neues Thema Ansicht wechseln


  1. Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 11:15

    Mit der gleichen Argumentation können natürlich Google, Bing und Co. die Datei ebenso ignorieren.

    Über die Jahre habe man festgestellt, dass die Einträge in der Datei "nicht notwendigerweise unseren Indexierungs-Zwecken dienen", schreibt Google.

    Ach nee, wer hätte das gedacht.

    Ich finde das schon ziemlich dreist. Natürlich kann ein Webseiten-Betreiber den Zugriff auch technisch unterbinden, aber um genau dieses Katz-und-Maus Spiel nicht treiben zu müssen, wurde die robots.txt erfunden.

  2. Re: Google ist dann der nächste

    Autor: Muhaha 24.04.17 - 11:24

    Oktavian schrieb:
    --------------------------------------------------------------------------------
    > Mit der gleichen Argumentation können natürlich Google, Bing und Co. die
    > Datei ebenso ignorieren.

    Google, Bing und Co. sind keine Non-Profit-Organisationen und haben auch nicht den gesetzlichen Status einer Bibliothek.

  3. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 11:34

    > Google, Bing und Co. sind keine Non-Profit-Organisationen und haben auch
    > nicht den gesetzlichen Status einer Bibliothek.

    Und deshalb darf man gleich alle guten Sitten über den Haufen werfen?

    Wenn ich ein Schild an meine Türe hänge mit der freundlichen Bitte, die Schuhe auszuziehen, bevor man eintritt, dann ist es mir egal, ob ein Verkäufer oder eine Bibliothekarin mit dreckigen Latschen durch mein Haus stapft. Es bleibt eine Frechheit.

    Natürlich könnte ich beiden den Zutritt zu meinem Haus gänzlich verwehren, ich haben ja eine Türe, aber das habe ich nicht vor. Ich habe ein offenes Haus. Trotzdem bitte ich, meine Wünsche diesbezüglich zu respektieren, mein Haus, meine Regeln. Sich ganz selbstherrlich darüber hinwegzusetzen ist schon ziemlich dreist.

  4. Re: Google ist dann der nächste

    Autor: Muhaha 24.04.17 - 11:37

    Oktavian schrieb:
    --------------------------------------------------------------------------------
    > > Google, Bing und Co. sind keine Non-Profit-Organisationen und haben auch
    > > nicht den gesetzlichen Status einer Bibliothek.
    >
    > Und deshalb darf man gleich alle guten Sitten über den Haufen werfen?

    Man hat eine gute Begründung für eine Ausnahme von der ansonsten guten Regel. Der gesamtgesellschaftliche Nutzen dieser Ausnahme (Archivierung und Dokumentation des Internet-Inhaltes) wiegt in diesem Falle schwerer als die Einhaltung dieser Regel.

  5. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 11:44

    > > > Google, Bing und Co. sind keine Non-Profit-Organisationen und haben
    > auch
    > > > nicht den gesetzlichen Status einer Bibliothek.

    Den Status hat IA zunächst einmal nur in den USA, und auch dort ist sie als non profit Organisation anerkannt. Mir wäre nicht bewusst, dass US-Gesetze inzwischen im ganzen Internet gelten. Das mag zwar der feuchte Traum der US-Administration sein. Zunächst sind es aber einfach Rüpel, die sich nicht an die Regeln halten wollen.

    > > Und deshalb darf man gleich alle guten Sitten über den Haufen werfen?
    >
    > Man hat eine gute Begründung für eine Ausnahme von der ansonsten guten
    > Regel.

    Google auch, die stellen ihre Suche ja auch selbstlos kostenfrei zur Verfügung. Und ob ein Webseitenbetreiber seine Seite, die eben der nationalen Gesetzgebung seines Landes unterliegt, indiziert oder archiviert haben möchte, mag man doch bitte ihm selber überlassen.

    In Deutschland dürfen diese Aufgabe gerne die beiden Nationalbibliotheken wahrnehmen, aber dass ein amerikanisches Unternehmen meint, sich weltweit über gute Sitten hinwegsetzen zu dürfen, ist schon dreist.

    > Der gesamtgesellschaftliche Nutzen dieser Ausnahme (Archivierung und
    > Dokumentation des Internet-Inhaltes) wiegt in diesem Falle schwerer als die
    > Einhaltung dieser Regel.

    Das bestreite ich. Und jetzt? Wer darf das entscheiden? Welche Instanz ist dazu befugt?

    Solange das nicht geklärt ist, handelt es sich nur um irgendwen, der meinen Wunsch auf meiner Webseite dreist ignoriert.



    1 mal bearbeitet, zuletzt am 24.04.17 11:53 durch Oktavian.

  6. Re: Google ist dann der nächste

    Autor: Muhaha 24.04.17 - 11:55

    Oktavian schrieb:
    --------------------------------------------------------------------------------

    > Den Status hat IA zunächst einmal nur in den USA, und auch dort ist sie als
    > non profit Organisation anerkannt. Mir wäre nicht bewusst, dass US-Gesetze
    > inzwischen im ganzen Internet gelten. Das mag zwar der feuchte Traum der
    > US-Administration sein. Zunächst sind es aber einfach Rüpel, die sich nicht
    > an die Regeln halten wollen.

    Jaja, red Dir deine Borniertheit nur mit Anti-Amerikanismus schön :)

  7. Re: Google ist dann der nächste

    Autor: violator 24.04.17 - 12:29

    Ändert trotzdem nix daran, dass archive.org nur von den USA als Bibliothek anerkannt sind und sie nur in den USA Ausnahmeregeln haben.

  8. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 12:53

    > Jaja, red Dir deine Borniertheit nur mit Anti-Amerikanismus schön :)

    Okay, wenn einem die Argumente ausgehen, einfach ad hominem, das funktioniert immer. Warum sachlich, wenn es auch persönlich geht.

    Das hat für mich nichts im Anti-Amerikanismus zu tun. Sollte ein russisches, britisches oder französisches Unternehmen gleiches tun wollen, wäre ich genauso wenig begeistert. Gelegentlich hat der französische Staat ja auch solche Anwandlungen, seine Kompetenz weit über die Landesgrenzen ausdehnen zu wollen, was auch regelmäßig auf Unmut oder Belustigung trifft.

    Würde IA mal freundlich fragen, könnte man darüber ja reden. Würde das IA dieses Vorgehen zunächst mal zur Diskussion stellen, vielleicht eine Abstimmung ansetzen, auch das hätte etwas transparentes. Einfach die Durchsetzung zu verkünden passt aber eben ziemlich ins klischeehafte Bild.

    Am elegantesten hätte das IA die IETF und http://www.robotstxt.org gebeten, RFC 5785 und robots.txt so anzupassen, dass die Ausnahme zu Archivzwecken explizit vorgesehen ist, und dass auch dieser innerhalb der robots.txt widersprochen werden kann. Dies wäre konform gewesen mit den Gepflogenheites des Internets.

    Aber natürlich kann man auch einfach in den Saloon stürzen, in die Decke schießen und das Recht des Stärkeren durchsetzen. Ist nicht fein, aber der Betreiber kann ja die Saloon-Türe abschließen und Gesichtskontrolle einführen. Der freundliche Bitte, rumballern zu unterlassen, muss man ja nicht nachkommen.



    1 mal bearbeitet, zuletzt am 24.04.17 13:03 durch Oktavian.

  9. Re: Google ist dann der nächste

    Autor: lestard 24.04.17 - 15:17

    Welche Motivation sollte Google denn dafür haben?
    Vor allem: Als ob Google diesen Anstoß vom Internet Archive braucht um auf die Idee zu kommen, die robots.txt in Zukunft ignorieren zu können. Wenn das irgendwie im Interesse von Google wäre, würden sie es längst schon so machen. Nicht unwahrscheinlich, dass sie es bereits jetzt schon so machen. Vielleicht wird alles indexiert aber nur das laut robots.txt erlaubte taucht auch öffentlich in Suchergebnissen auf.
    Wie auch immer: Es braucht diesen Anstoß nicht. Diese Aktion von Internet Archive spielt überhaupt keine Rolle für Google und co.

  10. Re: Google ist dann der nächste

    Autor: Tantalus 24.04.17 - 15:22

    lestard schrieb:
    --------------------------------------------------------------------------------
    > Nicht unwahrscheinlich, dass sie es bereits jetzt schon so machen.
    > Vielleicht wird alles indexiert aber nur das laut robots.txt erlaubte
    > taucht auch öffentlich in Suchergebnissen auf.

    Das würde doch in den Serverlogs auftauchen, und bei der Masse an Webservern, die "da draussen" durchgecrawlert werden, wäre das schon längst aufgeflogen.

    Gruß
    Tantalus

    ___________________________

    Man sollte sich die Ruhe und Nervenstärke eines Stuhles zulegen. Der muss auch mit jedem Arsch klarkommen.

  11. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 15:39

    > Welche Motivation sollte Google denn dafür haben?

    Den Anstoß dafür brauchen sie natürlich nicht. Aber wenn jemand anders das Tabu bereits gebrochen hat, es also kein Tabu mehr ist, kann der nächste ja einfach nachziehen.

    > Vor allem: Als ob Google diesen Anstoß vom Internet Archive braucht um auf
    > die Idee zu kommen, die robots.txt in Zukunft ignorieren zu können.

    Die Idee haben sie schon lange, das ist nicht das Problem. Aber man hält sich an die Selbstregulierung in diesem Bereich, einfach weil man das halt so macht. Das ist so mit Sitten und Tabus, sie existieren, weil sie gut sind. Nenn es Usus, Tradition, Folklore.

    Wenn jemand sich nicht daran hält, riskiert er negative Reputation. Wenn jemand anders aber bereits das Tabu gebrochen hat, braucht sich auch niemand anders mehr daran zu halten.

    > Nicht unwahrscheinlich, dass sie es bereits jetzt schon so machen.
    > Vielleicht wird alles indexiert aber nur das laut robots.txt erlaubte
    > taucht auch öffentlich in Suchergebnissen auf.

    So, und jetzt setzen wir den Aluhut mal wieder ab. In den Serverlogs kann man sehr schön sehen, wenn Google, Bing und Co. vorbei kommen, dass sie zunächst die robots.txt lesen, und sich dann auch genau daran halten.

  12. Re: Google ist dann der nächste

    Autor: FreiGeistler 30.05.17 - 17:41

    violator schrieb:
    --------------------------------------------------------------------------------
    > Ändert trotzdem nix daran, dass archive.org nur von den USA als Bibliothek
    > anerkannt sind und sie nur in den USA Ausnahmeregeln haben.

    Wenn du nur Besucher willst die europäischem Recht unterliegen, solltest du den europäischen IP-Range whitelisten.
    Weil, stell dir vor, sonst könnte auch ein Chinese deine ach so tolle Webseite kopieren.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. VerbaVoice GmbH, München
  2. Statistisches Bundesamt, Wiesbaden
  3. Claranet GmbH, Frankfurt am Main
  4. MBDA Deutschland, Schrobenhausen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 90,99€ (Bestpreis)
  2. (u. a. 256GB microSDXC für 52,99€, 128GB für 24,39€ und 512 GB für 114,99€)
  3. 304,99€ (Vergleichspreis 379,00€)
  4. (u. a. The Inner World für 9,99€, Steel Division: Normandy 44 für 53,99€, Urban Empire für...


Haben wir etwas übersehen?

E-Mail an news@golem.de


Amazon, Netflix und Sky: Disney bringt 2020 den großen Umbruch beim Videostreaming
Amazon, Netflix und Sky
Disney bringt 2020 den großen Umbruch beim Videostreaming

In diesem Jahr wird sich der Video-Streaming-Markt in Deutschland stark verändern. Der Start von Disney+ setzt Netflix, Amazon und Sky gehörig unter Druck. Die ganz großen Umwälzungen geschehen vorerst aber woanders.
Eine Analyse von Ingo Pakalski

  1. Peacock NBC Universal setzt gegen Netflix auf Gratis-Streaming
  2. Joyn Plus+ Probleme bei der Kündigung
  3. Android TV Magenta-TV-Stick mit USB-Anschluss vergünstigt erhältlich

Shitrix: Das Citrix-Desaster
Shitrix
Das Citrix-Desaster

Eine Sicherheitslücke in Geräten der Firma Citrix zeigt in erschreckender Weise, wie schlecht es um die IT-Sicherheit in Behörden steht. Es fehlt an den absoluten Grundlagen.
Ein IMHO von Hanno Böck

  1. Perl-Injection Citrix-Geräte mit schwerer Sicherheitslücke und ohne Update

Support-Ende von Windows 7: Für wen Linux eine Alternative zu Windows 10 ist
Support-Ende von Windows 7
Für wen Linux eine Alternative zu Windows 10 ist

Windows 7 erreicht sein Lebensende (End of Life) und wird von Microsoft künftig nicht mehr mit Updates versorgt. Lohnt sich ein Umstieg auf Linux statt auf Windows 10? Wir finden: in den meisten Fällen schon.
Von Martin Loschwitz

  1. Lutris EA verbannt offenbar Linux-Gamer aus Battlefield 5
  2. Linux-Rechner System 76 will eigene Laptops bauen
  3. Grafiktreiber Nvidia will weiter einheitliches Speicher-API für Linux

  1. Gaming: PC bleibt für Spielentwickler die wichtigste Plattform
    Gaming
    PC bleibt für Spielentwickler die wichtigste Plattform

    Trotz Playstation 5 und Xbox Series X: Mehr als die Hälfte der Spielentwickler setzen für aktuelle und künftige Projekte auf den PC. Bereits rund acht Prozent der Entwickler arbeiten an Titeln für Abodienste wie Apple Arcade und Xbox Game Pass.

  2. 5G: EU-Kommission eindeutig gegen Ausschluss von Huawei
    5G
    EU-Kommission eindeutig gegen Ausschluss von Huawei

    Laut einem Bericht hat die EU-Kommission ihren Standpunkt zu Huawei gefunden. Ein monatelanger Austausch mit den nationalen Sicherheitsbehörden ging der Entscheidung voraus.

  3. Microsoft IDE: Visual Studio vereinfacht Arbeit mit Linux-Systemen
    Microsoft IDE
    Visual Studio vereinfacht Arbeit mit Linux-Systemen

    Mit einer aktuellen Vorschau von Visual Studio 2019 zeigt Microsoft eine Reihe neuer Funktionen, die die Entwicklung für Linux vereinfachen sollen. Auch die Nutzung von CMake wird verbessert.


  1. 11:17

  2. 10:52

  3. 10:26

  4. 09:38

  5. 09:00

  6. 08:50

  7. 08:34

  8. 08:19