1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Suchmaschinen: Internet Archive will…

Google ist dann der nächste

  1. Thema

Neues Thema Ansicht wechseln


  1. Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 11:15

    Mit der gleichen Argumentation können natürlich Google, Bing und Co. die Datei ebenso ignorieren.

    Über die Jahre habe man festgestellt, dass die Einträge in der Datei "nicht notwendigerweise unseren Indexierungs-Zwecken dienen", schreibt Google.

    Ach nee, wer hätte das gedacht.

    Ich finde das schon ziemlich dreist. Natürlich kann ein Webseiten-Betreiber den Zugriff auch technisch unterbinden, aber um genau dieses Katz-und-Maus Spiel nicht treiben zu müssen, wurde die robots.txt erfunden.

  2. Re: Google ist dann der nächste

    Autor: Muhaha 24.04.17 - 11:24

    Oktavian schrieb:
    --------------------------------------------------------------------------------
    > Mit der gleichen Argumentation können natürlich Google, Bing und Co. die
    > Datei ebenso ignorieren.

    Google, Bing und Co. sind keine Non-Profit-Organisationen und haben auch nicht den gesetzlichen Status einer Bibliothek.

  3. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 11:34

    > Google, Bing und Co. sind keine Non-Profit-Organisationen und haben auch
    > nicht den gesetzlichen Status einer Bibliothek.

    Und deshalb darf man gleich alle guten Sitten über den Haufen werfen?

    Wenn ich ein Schild an meine Türe hänge mit der freundlichen Bitte, die Schuhe auszuziehen, bevor man eintritt, dann ist es mir egal, ob ein Verkäufer oder eine Bibliothekarin mit dreckigen Latschen durch mein Haus stapft. Es bleibt eine Frechheit.

    Natürlich könnte ich beiden den Zutritt zu meinem Haus gänzlich verwehren, ich haben ja eine Türe, aber das habe ich nicht vor. Ich habe ein offenes Haus. Trotzdem bitte ich, meine Wünsche diesbezüglich zu respektieren, mein Haus, meine Regeln. Sich ganz selbstherrlich darüber hinwegzusetzen ist schon ziemlich dreist.

  4. Re: Google ist dann der nächste

    Autor: Muhaha 24.04.17 - 11:37

    Oktavian schrieb:
    --------------------------------------------------------------------------------
    > > Google, Bing und Co. sind keine Non-Profit-Organisationen und haben auch
    > > nicht den gesetzlichen Status einer Bibliothek.
    >
    > Und deshalb darf man gleich alle guten Sitten über den Haufen werfen?

    Man hat eine gute Begründung für eine Ausnahme von der ansonsten guten Regel. Der gesamtgesellschaftliche Nutzen dieser Ausnahme (Archivierung und Dokumentation des Internet-Inhaltes) wiegt in diesem Falle schwerer als die Einhaltung dieser Regel.

  5. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 11:44

    > > > Google, Bing und Co. sind keine Non-Profit-Organisationen und haben
    > auch
    > > > nicht den gesetzlichen Status einer Bibliothek.

    Den Status hat IA zunächst einmal nur in den USA, und auch dort ist sie als non profit Organisation anerkannt. Mir wäre nicht bewusst, dass US-Gesetze inzwischen im ganzen Internet gelten. Das mag zwar der feuchte Traum der US-Administration sein. Zunächst sind es aber einfach Rüpel, die sich nicht an die Regeln halten wollen.

    > > Und deshalb darf man gleich alle guten Sitten über den Haufen werfen?
    >
    > Man hat eine gute Begründung für eine Ausnahme von der ansonsten guten
    > Regel.

    Google auch, die stellen ihre Suche ja auch selbstlos kostenfrei zur Verfügung. Und ob ein Webseitenbetreiber seine Seite, die eben der nationalen Gesetzgebung seines Landes unterliegt, indiziert oder archiviert haben möchte, mag man doch bitte ihm selber überlassen.

    In Deutschland dürfen diese Aufgabe gerne die beiden Nationalbibliotheken wahrnehmen, aber dass ein amerikanisches Unternehmen meint, sich weltweit über gute Sitten hinwegsetzen zu dürfen, ist schon dreist.

    > Der gesamtgesellschaftliche Nutzen dieser Ausnahme (Archivierung und
    > Dokumentation des Internet-Inhaltes) wiegt in diesem Falle schwerer als die
    > Einhaltung dieser Regel.

    Das bestreite ich. Und jetzt? Wer darf das entscheiden? Welche Instanz ist dazu befugt?

    Solange das nicht geklärt ist, handelt es sich nur um irgendwen, der meinen Wunsch auf meiner Webseite dreist ignoriert.



    1 mal bearbeitet, zuletzt am 24.04.17 11:53 durch Oktavian.

  6. Re: Google ist dann der nächste

    Autor: Muhaha 24.04.17 - 11:55

    Oktavian schrieb:
    --------------------------------------------------------------------------------

    > Den Status hat IA zunächst einmal nur in den USA, und auch dort ist sie als
    > non profit Organisation anerkannt. Mir wäre nicht bewusst, dass US-Gesetze
    > inzwischen im ganzen Internet gelten. Das mag zwar der feuchte Traum der
    > US-Administration sein. Zunächst sind es aber einfach Rüpel, die sich nicht
    > an die Regeln halten wollen.

    Jaja, red Dir deine Borniertheit nur mit Anti-Amerikanismus schön :)

  7. Re: Google ist dann der nächste

    Autor: violator 24.04.17 - 12:29

    Ändert trotzdem nix daran, dass archive.org nur von den USA als Bibliothek anerkannt sind und sie nur in den USA Ausnahmeregeln haben.

  8. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 12:53

    > Jaja, red Dir deine Borniertheit nur mit Anti-Amerikanismus schön :)

    Okay, wenn einem die Argumente ausgehen, einfach ad hominem, das funktioniert immer. Warum sachlich, wenn es auch persönlich geht.

    Das hat für mich nichts im Anti-Amerikanismus zu tun. Sollte ein russisches, britisches oder französisches Unternehmen gleiches tun wollen, wäre ich genauso wenig begeistert. Gelegentlich hat der französische Staat ja auch solche Anwandlungen, seine Kompetenz weit über die Landesgrenzen ausdehnen zu wollen, was auch regelmäßig auf Unmut oder Belustigung trifft.

    Würde IA mal freundlich fragen, könnte man darüber ja reden. Würde das IA dieses Vorgehen zunächst mal zur Diskussion stellen, vielleicht eine Abstimmung ansetzen, auch das hätte etwas transparentes. Einfach die Durchsetzung zu verkünden passt aber eben ziemlich ins klischeehafte Bild.

    Am elegantesten hätte das IA die IETF und http://www.robotstxt.org gebeten, RFC 5785 und robots.txt so anzupassen, dass die Ausnahme zu Archivzwecken explizit vorgesehen ist, und dass auch dieser innerhalb der robots.txt widersprochen werden kann. Dies wäre konform gewesen mit den Gepflogenheites des Internets.

    Aber natürlich kann man auch einfach in den Saloon stürzen, in die Decke schießen und das Recht des Stärkeren durchsetzen. Ist nicht fein, aber der Betreiber kann ja die Saloon-Türe abschließen und Gesichtskontrolle einführen. Der freundliche Bitte, rumballern zu unterlassen, muss man ja nicht nachkommen.



    1 mal bearbeitet, zuletzt am 24.04.17 13:03 durch Oktavian.

  9. Re: Google ist dann der nächste

    Autor: lestard 24.04.17 - 15:17

    Welche Motivation sollte Google denn dafür haben?
    Vor allem: Als ob Google diesen Anstoß vom Internet Archive braucht um auf die Idee zu kommen, die robots.txt in Zukunft ignorieren zu können. Wenn das irgendwie im Interesse von Google wäre, würden sie es längst schon so machen. Nicht unwahrscheinlich, dass sie es bereits jetzt schon so machen. Vielleicht wird alles indexiert aber nur das laut robots.txt erlaubte taucht auch öffentlich in Suchergebnissen auf.
    Wie auch immer: Es braucht diesen Anstoß nicht. Diese Aktion von Internet Archive spielt überhaupt keine Rolle für Google und co.

  10. Re: Google ist dann der nächste

    Autor: Tantalus 24.04.17 - 15:22

    lestard schrieb:
    --------------------------------------------------------------------------------
    > Nicht unwahrscheinlich, dass sie es bereits jetzt schon so machen.
    > Vielleicht wird alles indexiert aber nur das laut robots.txt erlaubte
    > taucht auch öffentlich in Suchergebnissen auf.

    Das würde doch in den Serverlogs auftauchen, und bei der Masse an Webservern, die "da draussen" durchgecrawlert werden, wäre das schon längst aufgeflogen.

    Gruß
    Tantalus

    ___________________________

    Man sollte sich die Ruhe und Nervenstärke eines Stuhles zulegen. Der muss auch mit jedem Arsch klarkommen.

  11. Re: Google ist dann der nächste

    Autor: Oktavian 24.04.17 - 15:39

    > Welche Motivation sollte Google denn dafür haben?

    Den Anstoß dafür brauchen sie natürlich nicht. Aber wenn jemand anders das Tabu bereits gebrochen hat, es also kein Tabu mehr ist, kann der nächste ja einfach nachziehen.

    > Vor allem: Als ob Google diesen Anstoß vom Internet Archive braucht um auf
    > die Idee zu kommen, die robots.txt in Zukunft ignorieren zu können.

    Die Idee haben sie schon lange, das ist nicht das Problem. Aber man hält sich an die Selbstregulierung in diesem Bereich, einfach weil man das halt so macht. Das ist so mit Sitten und Tabus, sie existieren, weil sie gut sind. Nenn es Usus, Tradition, Folklore.

    Wenn jemand sich nicht daran hält, riskiert er negative Reputation. Wenn jemand anders aber bereits das Tabu gebrochen hat, braucht sich auch niemand anders mehr daran zu halten.

    > Nicht unwahrscheinlich, dass sie es bereits jetzt schon so machen.
    > Vielleicht wird alles indexiert aber nur das laut robots.txt erlaubte
    > taucht auch öffentlich in Suchergebnissen auf.

    So, und jetzt setzen wir den Aluhut mal wieder ab. In den Serverlogs kann man sehr schön sehen, wenn Google, Bing und Co. vorbei kommen, dass sie zunächst die robots.txt lesen, und sich dann auch genau daran halten.

  12. Re: Google ist dann der nächste

    Autor: FreiGeistler 30.05.17 - 17:41

    violator schrieb:
    --------------------------------------------------------------------------------
    > Ändert trotzdem nix daran, dass archive.org nur von den USA als Bibliothek
    > anerkannt sind und sie nur in den USA Ausnahmeregeln haben.

    Wenn du nur Besucher willst die europäischem Recht unterliegen, solltest du den europäischen IP-Range whitelisten.
    Weil, stell dir vor, sonst könnte auch ein Chinese deine ach so tolle Webseite kopieren.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Universität zu Köln, Köln
  2. Gasnetz Hamburg GmbH, Hamburg
  3. Soley GmbH, München
  4. Marc Cain GmbH, Bodelshausen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 389€ (Bestpreis)
  2. 399€ (Bestpreis)
  3. (u. a. Dark Souls 3 - Digital Deluxe Edition für 14,49€, Civilization VI - Gathering Storm...


Haben wir etwas übersehen?

E-Mail an news@golem.de


Elektromobilität 2020/21: Nur Tesla legte in der Krise zu
Elektromobilität 2020/21
Nur Tesla legte in der Krise zu

Für die Autoindustrie war 2020 ein hartes Jahr. Wer im Homeoffice arbeitet und auch sonst zu Hause bleibt, braucht kein neues Auto. Doch in einem schwierigen Umfeld entwickelten sich die E-Auto-Verkäufe sehr gut.
Eine Analyse von Dirk Kunde

  1. Elektromobilität Akkupreise fallen auf Rekord von 66 Euro/kWh
  2. Transporter Mercedes eSprinter bekommt neue Elektroplattform
  3. Aptera Günstige Elektrofahrzeuge vorbestellbar

Hitman 3 im Test: Agent 47 verabschiedet sich mörderisch
Hitman 3 im Test
Agent 47 verabschiedet sich mörderisch

Das (vorerst) letzte Hitman bietet einige der besten Einsätze der Serie - daran dürften aber vor allem langjährige Fans Spaß haben.
Von Peter Steinlechner

  1. Hitman 3 angespielt Agent 47 in ungewohnter Mission

Azure Active Directory: Weniger Verzeichnisdienst, mehr Tresor
Azure Active Directory
Weniger Verzeichnisdienst, mehr Tresor

Microsofts bekannten Verzeichnisdienst Active Directory gibt es inzwischen auch in der Cloud des Herstellers. Golem.de zeigt, wie er dort funktioniert.
Von Martin Loschwitz

  1. Microsoft Neue Datenschutzregeln für Sprachsteuerung
  2. Microsoft Betrüger erbeuten 20.000 Euro von Rentnerin
  3. Windows 10 20H2 Microsoft hebt Update-Sperre für einige Windows-PCs auf