Kleines Experiment

[Peter Maier]

Ich war eben auf der französischen News-Seite von Google und habe mir ca. 10 Tabs von verschiedenen Zeitungen geöffnet.

Dann habe ich alles nach dem "/" gelöscht und robots.txt rangehängt.

ALLE Websites sagen - für den Laien übersetzt - folgendes: "Hallo Google, schön dass du da bist, bitte durchsuche und indexiere sämtliche meiner Unterseiten, ich habe dir hier schon mal eine Auswahl zusammengestellt, weil ich so gerne bei der News-Suche erscheinen möchte".

Selbst hier bei Golem gibt es viele Leistungsschutzrechtbefürworter, die von der Materie offensichtlich keinen blassen Schimmer haben.

Noch mal zum Mitschreiben:
- die bloße Existenz einer robots.txt bedeutet, dass der Verlag GANZ GENAU weiß, wie man im Google-Index erscheint, oder die eigenen Seiten verbirgt.
- die robots.txt enthalten in fast allen Fällen bewusst Regeln FÜR Google, die AUSDRÜCKLICH besagen, dass Google den Content benutzen soll!
- ALLE Verlage bieten extra für Google zusammengestellte Sitemap-XML-Dateien an, um den Such- und Indexiervorgang zu optimieren.
- ALLE Verlagsseiten sind SEO optimiert, um bei Google & Co möglichst weit oben zu erscheinen!

Sogar wenn "nur" ein allgemeiner User-Agent-Switch definiert ist, bedeutet das übersetzt soviel wie "Hallo ihr Suchmaschinen da draußen, ladet euch alles von mir runter und durchsucht sämtliche Seiten, egal ob es sich dabei um Google, Bing, Yahoo, oder sonstewen handelt".

Nochmal: Das machen die Verlage 100% bewusst und sie WOLLEN indexiert werden ... nur sagen sie der Regierung und vor Gerichten genau das Gegenteil. Warum auch immer ...

Es gibt noch einen Sonderfall, in dem KEINE robots.txt existiert. Dabei ist es allgemeiner Konsens, dass es übersetzt so viel heißt wie "Es ist OK, alle Seiten ohne Einschränkungen zu indexieren."

Ich muss aber betonen, dass mir solch ein Fall noch NICHT untergekommen ist ... ALLE Verlage haben eine robots.txt, größtenteils speziell auf Google optimiert!!!

Zum Schluss möchte ich noch sagen, dass ich das gleiche Experiment bei deutsch- und englischsprachigen Verlagen / Zeitungen gemacht habe, mit identischem Ergebnis.

Da kann man - wenn man das Thema halbwegs überblickt - nur zu dem Schluss kommen: Die gierigen Verlage kriegen den Hals nicht voll genug.

Unglaublich ...

Edit: Mini-Ergänzung :)



1 mal bearbeitet, zuletzt am 19.10.12 13:23 durch Peter Maier.

[Peter Maier]

Ein User hat auf mein Posting geantwortet und gefragt, ob ich meine Aussagen denn auch belegen könne.

Dieses Posting ist aber plötzlich verschwunden ... vermutlich wegen Selbsterkenntnis gelöscht. :)

Ich übersetze jetzt mal einige robots.txt für den Laien:

> http://www.spiegel.de/robots.txt

enthält folgenden Text:

> User-agent: WebReaper
> Disallow: /
> User-agent: Slurp
> Crawl-delay: 18

Die Tatsache, dass eine robots.txt vorhanden ist, und mittels eines Sternchens * keine allgemeinen und Google-Bots im speziellen blockt heißt: "Google soll hier bitte ausnahmslos alles indexieren!"

Darüber hinaus gibt es unter ...

> http://www.spiegel.de/sitemap.xml

... eine für Google optimierte Sitemap die EXPLIZIT besagt, dass Spiegel indexiert werden möchte. (gibts auch bei JEDEM anderen Verlag!)

Weiter gehts mit ner Französischen Seite:

> http://tempsreel.nouvelobs.com/robots.txt

Enthält den für Google zuständigen folgenden Teil:

> User-agent: *
> Disallow: /async/
> Allow: /async/go_article.php
> Disallow: /scripts/
> Disallow: /includes/
> Allow: /includes/reagir.html
> Allow: /includes/wsgu_inscription.php
> Disallow: /partners/
> Disallow: /municipales2008/
> Disallow: /inscription.php

Da werden bewusst tatsächlich Skripte, Werbeanzeigen und einige Include-Dateien ausgeschlossen, aber ALLES andere AUSDRÜCKLICH erlaubt!

Weil es im Artikel um Französische Seiten geht, hier noch eine:

> http://www.lefigaro.fr/robots.txt

enthält folgenden Text:

> User-agent: *
> Disallow: /synsearch/
> Disallow: /brouillon/

Diese Seite erlaubt dem Google-Bot EXPLIZIT Zugriff auf restlos ALLES, außer zwei Verzeichnisse. Wenn der Figaro wirklich nicht in Google-News erscheinen will, reicht ein einfaches "Disallow: /" aus, und schon kommt Google nicht mehr zu Besuch. :)

Ich hab jetzt keine Lust noch mehr zu schreiben, aber ich möchte noch mal ganz deutlich festhalten: ALLE Verlage WOLLEN 100% BEWUSST in Google gelistet werden! Zumindest sagen das deren Websites.

Wer meine "Übersetzungen" immer noch nicht versteht, sollte sich mal mit dem Robots-Standard befassen:

http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

Es ist einfach Absurd, wenn von Google Geld verlangt wird. :)

PS: Falls doch noch ein Leistungsschutzrechtbeführworter hier rumirrt, möge er / sie mir doch bitte mal eine Nachrichtenseite eines schutzbedürftigen Verlages zeigen, die wider AUSDRÜCKLICHEN Willen in Google gelistet wird!!! Sowas gibt es nämlich auf diesem Planeten nicht! :)

[aktenwaelzer]

Peter Maier schrieb:

> Dieses Posting ist aber plötzlich verschwunden ... vermutlich wegen
> Selbsterkenntnis gelöscht. :)

Wohl eher wegen schreckhafter Moderation.

> Ich übersetze jetzt mal einige robots.txt für den Laien:

Das hast Du doch oben schon. Dort hast Du behauptet, die Webseiten möchten "so gerne bei der News-Suche erscheinen".

Nun sehe ich in Deinen Beispielen genau dieses Szenario aber nicht. Vielmehr wird dort generell der Zugriff erlaubt, z.B. damit die Seite in einen Suchmaschinenindex bei Google aufgenommen wird. Dagegen hat wohl niemand etwas.

Ein Einverständnis, diese Inhalte bzw. Teile davon für beliebige Dienste (Google News) gewerblich nutzen zu dürfen, wird mit einer vorhanden robots.txt aber nicht ausgedrückt. Erst recht kein rechtlich bindendes. Schon alleine, weil es sich hierbei um ein Opt Out-System handelt.

> Ich hab jetzt keine Lust noch mehr zu schreiben, aber ich möchte noch mal
> ganz deutlich festhalten: ALLE Verlage WOLLEN 100% BEWUSST in Google
> gelistet werden! Zumindest sagen das deren Websites.

Dieser Formulierung kann ich zustimmen.

> Es ist einfach Absurd, wenn von Google Geld verlangt wird. :)

Nein, ist es nicht.

[Tantalus]

aktenwaelzer schrieb:
--------------------------------------------------------------------------------
> Nein, ist es nicht.

Ich möchte, dass Google einen Dienst für mich erbringt (indexieren meiner Webseite, anbeiten eines Suchdienstes mitdem interessierte User auf meine Seite gelenkt werden, wodurch ich widerum Umsatz generiere) und verlange dafür von Google auch noch Geld. Und das ist für Dich nicht absurd?

Gruß
Tantalus

___________________________

Man sollte sich die Ruhe und Nervenstärke eines Stuhles zulegen. Der muss auch mit jedem Arsch klarkommen.

[Peter Maier]

> Nun sehe ich in Deinen Beispielen genau dieses Szenario aber nicht.
> Vielmehr wird dort generell der Zugriff erlaubt, z.B. damit die Seite in
> einen Suchmaschinenindex bei Google aufgenommen wird. Dagegen hat wohl
> niemand etwas.

> Ein Einverständnis, diese Inhalte bzw. Teile davon für beliebige Dienste
> (Google News) gewerblich nutzen zu dürfen, wird mit einer vorhanden
> robots.txt aber nicht ausgedrückt. Erst recht kein rechtlich bindendes.
> Schon alleine, weil es sich hierbei um ein Opt Out-System handelt.

In den robots.txt Dateien steht als User-Agent ein * ... das schließt eindeutig den Google-News-Crawler mit ein. D.h. der Mensch, der die robots.txt geschrieben hat, WUSSTE das und hat sich bewusst dagegen entschieden extra "Google-News" mit einer "Disallow: /" Regel einzutragen.

Für mich, ist das eine ganz klare Einverständniserklärung!

Das ...

> User-Agent: *
> Disallow:

... heißt, alle Crawler, inklusive Google sind willkommen.

Das ...

> User-Agent: Google-News
> Disallow: /

... heißt, der Google-News-Crawler möchte bitte draußen bleiben. (Alle anderen Crawler, inkl. Google-Web sind willkommen!)

Im Übrigen gibt es ein Gebot der Verhältnismäßigkeit, zumindest im deutschen Recht. Demnach ist es unter Strafe verboten, bei Gerichten unnötige Kosten zu verursachen. Und wenn ich abwäge, ob es verhältnismäßiger ist, einen 2-Zeiler in eine Datei einzutragen, oder durch alle Instanzen zu klagen und auf ein Gesetz zu pochen, weiß ich natürlich sofort, was effektiver ist.

[ktoff]

Natürlich wollen die Verlage indexiert werden.

Jetzt wird aber doch niemand bestreiten, dass Google damit Geld verdient. Und die Verlage wollen an den Teilen wo Verlagsinhalte präsentiert werden mitverdienen.

Es geht ja nicht darum, dass die nicht bei Google auftauchen wollen. Die wollen nur von dem Kuchen etwas abhaben. google will nichts abgeben und sagt, dass die durch Google ohnehin schon profitieren....

[Tantalus]

ktoff schrieb:
--------------------------------------------------------------------------------
> Natürlich wollen die Verlage indexiert werden.
>
> Jetzt wird aber doch niemand bestreiten, dass Google damit Geld verdient.
> Und die Verlage wollen an den Teilen wo Verlagsinhalte präsentiert werden
> mitverdienen.

Nun, wäre ich Google würde ich ganz einfach so vorgehen: Die Verlage werden in der Suche gelistet, aber ohne Snippets, nur auf die Startseite verlinkend und irgendwo auf Seite 10+. Damit wären alle Forderungen der Verlage erfüllt: Google zeigt *keinerlei* Verlagsinhalte mehr an, die Seiten werden aber immer noch über Google gefunden. Mal sehen, ob die Verlage dann zufrieden wären... ;-)

Gruß
Tantalus

___________________________

Man sollte sich die Ruhe und Nervenstärke eines Stuhles zulegen. Der muss auch mit jedem Arsch klarkommen.

[asic]

Wenn ich bei Google oder Google.news 'Spiegel ESM' eingebe, erhalte ich Links zu dem entsprechenden Thema, die mich zu spiegel.de führen.
Was ich nicht sehe (auf keiner der beiden Seiten), ist Werbung.

Ernst gemeinte Frage: woran soll Google in dieser Hinsicht also Geld verdienen?

[pythoneer]

ktoff schrieb:
--------------------------------------------------------------------------------
> Natürlich wollen die Verlage indexiert werden.
>
> Jetzt wird aber doch niemand bestreiten, dass Google damit Geld verdient.
> Und die Verlage wollen an den Teilen wo Verlagsinhalte präsentiert werden
> mitverdienen.
>
> Es geht ja nicht darum, dass die nicht bei Google auftauchen wollen. Die
> wollen nur von dem Kuchen etwas abhaben. google will nichts abgeben und
> sagt, dass die durch Google ohnehin schon profitieren....

Ja und? Die Verlage wissen doch, dass Google Werbung schaltet. Wenn ihnen das nicht passt, dann müssen die, die Google Dienstleitung auch nicht in Anspruch nehmen. Wenn jemandem ein Geschäftsmodell nicht gefällt muss man auch keine Dienstleistung annehmen. Es gibt in so ziemlich jedem Rechtssytem so etwas wie Vertragsfreiheit was sich bei uns z.B. aus dem GG heraus bildet. Wenn die Verlage Google kostenlose Dienstleistung nicht mögen, dann sollen sie doch bitte den Dienst einfach nicht in Anspruch nehmen.

Überleg doch mal, die Verlage wollen für eine kostenlose Dienstleistung auch noch Geld haben! Wann bist du das letzt mal zu einer Änderungsschneiderei gegangen und hast fürs Hose-kürzen 20€ bekommen?



1 mal bearbeitet, zuletzt am 19.10.12 15:30 durch pythoneer.

[Peter Maier]

ktoff schrieb:
--------------------------------------------------------------------------------
> Natürlich wollen die Verlage indexiert werden.
>
> Jetzt wird aber doch niemand bestreiten, dass Google damit Geld verdient.
> Und die Verlage wollen an den Teilen wo Verlagsinhalte präsentiert werden
> mitverdienen.
>
> Es geht ja nicht darum, dass die nicht bei Google auftauchen wollen. Die
> wollen nur von dem Kuchen etwas abhaben. google will nichts abgeben und
> sagt, dass die durch Google ohnehin schon profitieren....

1) Google schaltet keine Werbung auf news.google.de

2) Du sagst, die Verlage wollen etwas vom Kuchen abhaben ... bekommen sie ja auch. Und zwar nicht in Form von Geld, sondern in Form von Lesern.

Momentan sieht es so aus, dass die Verlage enorm von Google profitieren und Google im Umkehrschluss keinen ersichtlichen Vorteil von der ganzen Sache hat.

Es würde Google nicht kratzen, die eigenen News-Sammel-Seiten einzustellen, im Gegensatz zu den Verlagen, die dadurch den allergrößten Teil ihrer Kundschaft verlieren würden.

[Dasepure]

Peter Maier schrieb:
--------------------------------------------------------------------------------
> Nochmal: Das machen die Verlage 100% bewusst und sie WOLLEN indexiert
> werden ... nur sagen sie der Regierung und vor Gerichten genau das
> Gegenteil. Warum auch immer ...

Ich habe gerade keine Zeit, alle anderen Antworten auf deinen Kommentar durchzulesen, vielleicht wurde das hier also schon gesagt:

Die Verlage wollen indexiert werden, und das dementieren sie vor Gericht auch nicht. Sie sagen vor Gericht bloß, dass sie für die Ausschnitte aus Artikeln, die Google anzeigt, bezahlt werden möchten.
Genau das ist wahrscheinlich essenziell für die Verlage, damit jemand auf die Google-Ergebnisse ihrer Seiten klickt. Also ist der Wunsch, dass die Seiten nicht indexiert werden, absolut hinfällig: Das würde das Geschäft ruinieren!

Und zum Geschäft: Soweit ich weiß, stecken Verläge derzeit in der Krise, vor allem wegen der Online-Konkurrenz, die sie sich zum Teil selbst schaffen. Da ist es mehr als logisch, dass sie ihr Online-Geschäft profitreicher gestalten wollen.
Die Verläge wissen wahrscheinlich selbst, dass ihr Online-Geschäft ohne Google niemals gut laufen würde: Sie wissen also, dass sie bereits ein "Stück vom Kuchen" abbekommen. Trotzdem wollen sie mehr, und das wahrscheinlich nicht aus Geiz sondern aus der Not heraus.
Die denken sich dann eben: "Google macht 2mrd Gewinn pro Quartal und wir haben bald rote Zahlen, wieso nicht etwas da abzwacken? Die zeigen schließlich einen Teil unserer Artikel an!"

[pythoneer]

Dasepure schrieb:
--------------------------------------------------------------------------------
> Peter Maier schrieb:
> ---------------------------------------------------------------------------
> -----
> > Nochmal: Das machen die Verlage 100% bewusst und sie WOLLEN indexiert
> > werden ... nur sagen sie der Regierung und vor Gerichten genau das
> > Gegenteil. Warum auch immer ...
>
> Ich habe gerade keine Zeit, alle anderen Antworten auf deinen Kommentar
> durchzulesen, vielleicht wurde das hier also schon gesagt:
>
> Die Verlage wollen indexiert werden, und das dementieren sie vor Gericht
> auch nicht. Sie sagen vor Gericht bloß, dass sie für die Ausschnitte aus
> Artikeln, die Google anzeigt, bezahlt werden möchten.

Ich ergänze/berichtige den Satz noch mal ein wenig: Sie sagen vor Gericht bloß,
dass sie für eine kostenlose Dienstleistung, die sie jederzeit abbestellen können,
bezahlt werden wollen.

> Genau das ist wahrscheinlich essenziell für die Verlage, damit jemand auf
> die Google-Ergebnisse ihrer Seiten klickt. Also ist der Wunsch, dass die
> Seiten nicht indexiert werden, absolut hinfällig: Das würde das Geschäft
> ruinieren!

Ja das ist natürlich ganz schlimm für das Geschäft! Für mein Geschäft wäre es
auch schlimm, wenn ich meine Mitarbeiten bezahlen müsste. Schon mal daran
gedacht, dass eigentlich die Verlage, dafür dass sie bei Google auftauchen,
bezahlen müssten? Was ist das bitte für ein Geschäftsmodell, dass darauf
beruht mit kostenloser Werbung bekannt zu werden. Ich muss in meinem
Laden auch alles bezahlen, vor allem Werbung. Das bekommen die Verlage
kostenlos!

Jetzt zu sagen: sie müssen sich ja kostenlos von Google listen lassen, sonst
würde das ihr Geschäft ruinieren ... also wirklich!


> Und zum Geschäft: Soweit ich weiß, stecken Verläge derzeit in der Krise,
> vor allem wegen der Online-Konkurrenz, die sie sich zum Teil selbst
> schaffen. Da ist es mehr als logisch, dass sie ihr Online-Geschäft
> profitreicher gestalten wollen.
> Die Verläge wissen wahrscheinlich selbst, dass ihr Online-Geschäft ohne
> Google niemals gut laufen würde: Sie wissen also, dass sie bereits ein
> "Stück vom Kuchen" abbekommen. Trotzdem wollen sie mehr, und das
> wahrscheinlich nicht aus Geiz sondern aus der Not heraus.
> Die denken sich dann eben: "Google macht 2mrd Gewinn pro Quartal und wir
> haben bald rote Zahlen, wieso nicht etwas da abzwacken? Die zeigen
> schließlich einen Teil unserer Artikel an!"

Den Teil kann ich nicht so ganz einordnen, er sagt, für mich zumindest, nur, dass
die Verlage Geld wollen, dass ihnen nicht zusteht. Ja da stimm ich mit dir überein.

[Crass Spektakel]

Spiegel ist ein blödes Beispiel weil genau der Spiegel damit hausieren geht daß sie KEINE Gebühren haben wollen und gegen das Leistungsschutzrecht in der geplanten Form sind.

[tingelchen]

Das kannst du vergessen. Die Befürworter des Leistungsschutzgesetztes werden dieser Argumentation niemals zugänglich sein. Dabei vergessen sie ganz das es beim Leistungsschutzgesetzt nicht nur um Google geht, sondern um alle Suchmaschinen sowie auch Foren und Blog Seiten. Eigentlich alle Seiten, bei denen man Auszüge aus Erzeugnissen von Verlegern postet.

Ich weis nicht, ab wann in Frankreich eine Seite als kommerziell betrachtet wird. Hier in D ist eine Seite dann kommerziell, sobald man auf irgend eine weise damit Einnahmen generiert.

"Auszüge" ist dabei afaik nicht näher definiert. D.h. man streitet sich darüber ab wann ein Auszug als Zitat gilt und ab wann nicht mehr. Damit erreicht man lediglich eine Rechtsunsicherheit und die einfachste Methode ist der Ausschluss. Genau diesen Weg nimmt Google. Da eben nicht näher definiert ist, ab wann die 2 Zeilen Auszug in der Google-Suche erlaubt sind oder nicht.

[tingelchen]

> Die Verlage wollen indexiert werden, und das dementieren sie vor Gericht
> auch nicht. Sie sagen vor Gericht bloß, dass sie für die Ausschnitte aus
> Artikeln, die Google anzeigt, bezahlt werden möchten.
>
Und Google sagt, wir wollen das nicht. Also stellen wir die Dienstleistung ein. Ist ihr gutes Recht, denn erstens ist es ihre Dienstleistung und zweitens müssen die Verlage nicht einen einzigen Cent dafür bezahlen.

> Genau das ist wahrscheinlich essenziell für die Verlage, damit jemand auf
> die Google-Ergebnisse ihrer Seiten klickt. Also ist der Wunsch, dass die
> Seiten nicht indexiert werden, absolut hinfällig: Das würde das Geschäft
> ruinieren!
Mit anderen Worten, der Geschäftsträger ist Google. Oder allgemeiner... die ganzen Suchmaschinen, Foren und Blogseiten. Wäre super wenn einem die Bank Geld dafür gibt, das du bei ihr einen Kredit aufnimmst...

> Und zum Geschäft: Soweit ich weiß, stecken Verläge derzeit in der Krise,
> vor allem wegen der Online-Konkurrenz, die sie sich zum Teil selbst
> schaffen. Da ist es mehr als logisch, dass sie ihr Online-Geschäft
> profitreicher gestalten wollen.
Wenn man mit seiner Konkurrenz nicht klarkommt, muss man seinen Laden halt schließen. Das nennt man Kapitalismus. Mag hart klingen ist aber nun einmal die Wahrheit. Ansonsten könnte ja Google kommen, wenn sie vor der Pleite stünden, und vom Gesetzgeber eine Google Steuer verlangen.

> Die Verläge wissen wahrscheinlich selbst, dass ihr Online-Geschäft ohne
> Google niemals gut laufen würde: Sie wissen also, dass sie bereits ein
> "Stück vom Kuchen" abbekommen. Trotzdem wollen sie mehr, und das
> wahrscheinlich nicht aus Geiz sondern aus der Not heraus.
Klar wissen die das. Immerhin kann man auslesen von welcher Seite der neue Besuch kommt. Aber ein krüppeliges Gesetzt auf den Weg bringen, nur weil man grad nicht gut da steht? Das ist keine Entschuldigung.

> Die denken sich dann eben: "Google macht 2mrd Gewinn pro Quartal und wir
> haben bald rote Zahlen, wieso nicht etwas da abzwacken? Die zeigen
> schließlich einen Teil unserer Artikel an!"
Dazu fällt mir nur eines ein: "Der Rasen des Nachbarn ist immer grüner als der eigene!".

[Ben Dover]

Da gäbs doch ne einfache Lösung: Google setzt keine Werbung bei den Suchergebnissen mehr für die sondern verlangt einfach Geld für die Listung in den ergebnissen. Dann haben die keine Grundlage mehr sich zu beschweren, Google bietet einfach nen kostenpflichtigen Dienst an, den kann man nutzen oder es sein lassen. Alternativ kann man zustimmen das wie gewohnt Werbung gemacht wird.