robots.txt wiefolgt:

[Lopezzos]

User-agent: *
Disallow: /


Und eure Sorgen sind passé !

Ich finds immer wieder schön, wenn ich angeschlagenen Firmen helfen kann!

[filipo]

Ja genau! ROFL

Und was machst du wenn der Spider sich nicht daran hält?
Ihn verklagen?

[lalalalalalala]

Die Zeitungsverleger sehen ja offensichtlich nur in Google ein Problem. Und die halten sich peinlichst genau an die Robots.txt (eigene leidvolle Erfahrung aufgrund eines dummen Fehlers in der Robots.txt).

Also, wenn sich die Robots von Google nicht an die Robots.txt halten, dann können sie anfangen zu jammern.

[Stephan____]

Es geht um Google und die halten sich dran.

[Cromax]

>Und was machst du wenn der Spider sich nicht daran hält?
>Ihn verklagen?

_Dann_ kann man anfangen zu meckern. Google hält sich aber daran. Insofern müssten sie sich dann mühe geben eine Suchmaschine zu finden, die robots.txt ignoriert und deren Inhaber dabei noch vermögend genug sind, dass die Verleger dort Kohle eintreiben können.

[Todd]

filipo schrieb:
--------------------------------------------------------------------------------
> Ja genau! ROFL
>
> Und was machst du wenn der Spider sich nicht daran hält?
> Ihn verklagen?

Vollkommen egal, solange die Verlage das Mittel nicht nutzen, dürfen sie sich nicht beklagen.

Wenn tatsächlich die Verlage das nutzen würden und Google das aber ignoriert, DANN erst ist maulen gestattet.

Aber darum geht es doch auch gar nicht, die Verlage wollen an eine neue Melkkuh ran, die Argumente - so man deren Äußerungen so nennen will - sind dabei nur mittel zum Zweck.

[Yeeeeeeeeha]

Ganz einfach: Den User-Agent des Spiders auf dem Webserver sperren. Oder die IP-Ranges.

Schade nur, dass nur bei Google etwas zu holen wäre und die sich wunderbar an die robots.txt halten und diese Technik sogar selbst propagieren.

Yeeeeeeeeha - Nur echt mit 2^3 e
Perl-Monk, Java-Trinker, Objective-C Wizard, PHP-Kiddie, unfreiwilliger FreeBSD-/Linux-Teilzeitadmin

[iFACE]

Herr Armer Zeitungs futzi büdde lernen sie sich von Internetz wie man einen servierer einrichtet auch sie sprechen solltens mits administrators dem können sich helfen wenn sie wollens. Dem ist ganz einfachs! Aber sie nur jammerlappen mit nix ahnung wo nix mum genug für um *böse* von ihrem seitens fern zuhaltens!

[iFACE]

> Und was machst du wenn der Spider sich nicht daran hält?
Dann gibt es eine Beschwerde und logging mechanismen werden aktiviert um ein schon vorhandenes Profil zu vervollständigen aus denen eine entsprechende .htaccess gebaut wird.
> order allow,deny
> allow from all
> deny from 64.233.173.193/32
> deny from 64.233.173.194/31
> deny from 64.233.173.196/30
> deny from 64.233.173.200/29
> deny from 64.233.173.208/28
> deny from 64.233.173.224/27
> deny from 216.239.32.0/19
> deny from 209.185.0.0/16
> deny from 64.68.64.0/19
> deny from 66.249.64.0/19
> deny from 72.14.192.0/18
> deny from 8.0.0.0/8
> satisfy=all
Etwas älter diese Liste aber seit mal ein Lebenslauf von mir bei google aufgetaucht ist nutze ich die Liste nicht mehr und das Verzeichnis wurde Passwort geschützt.