robots.txt

[rk]

Lässt sich diese Suche mit
---
User-agent: XPIDER
Disallow: *
---

verhindern? ;-)

[delta82]

> User-agent: XPIDER
> Disallow: *
>
> verhindern? ;-)

Klar doch. Schäuble ist froh, wenn du das machst, der kommt mit seiner Datenflut sowieso nicht mehr klar ;-)

[d!neX]

rk schrieb:
-------------------------------------------------------
> Lässt sich diese Suche mit
> ---
> User-agent: XPIDER
> Disallow: *
> ---
>
> verhindern? ;-)
>

Es liegt meines Wissens nach an der Disziplin einer Suchmaschine, ob sie sich an diese Daten hält, die in der robots.txt stehen, oder eben nicht. Ich schätze zweiteres ist der Fall.

[SpirituosenVirtuose]

rk schrieb:
-------------------------------------------------------
> Lässt sich diese Suche mit
> ---
> User-agent: XPIDER
> Disallow: *
> ---
>
> verhindern? ;-)
>

Da mußte wohl wissen, wie der User-Agent "richtig" heißt ... und wenn die Zoll-Nasen den Crawler gut programmiert haben, werden die den User-Agent immer wieder ändern. Gibbet ja genug Möglichkeiten!

[GooglePhone]

rk schrieb:
-------------------------------------------------------
> Lässt sich diese Suche mit
> ---
> User-agent: XPIDER
> Disallow: *
> ---
>
> verhindern? ;-)
>


Nein.

http://de.wikipedia.org/wiki/Robots.txt

[childinsilence]

> Lässt sich diese Suche mit
> ---
> User-agent: XPIDER
> Disallow: *
> ---
>
> verhindern? ;-)

Nein und: Seit wann hält sich die Regierung an Standards?

[birdman]

mal davon abgesehen, dass eine suchmaschine dieser art die robots.txt garnicht erst ausliest, geschweige sich daran halten würde, und du den sicherlich nicht zuordenbaren user-agent nicht kennst, interessiert sich der zoll wohl kaum für deine drei pokemon-fanseiten, als viel mehr für große handelsplattformen wie beispielsweise ebay.

[BSDDaemon]

rk schrieb:
-------------------------------------------------------
ist wirkungsvoller




----------------------------------------
Suum cuique per me uti atque frui licet.
----------------------------------------
Ein Betriebssystem ist immer nur so gut und sicher
wie der Administrator der es verwaltet.

Wie gut der Administrator jedoch seine Fähigkeiten
ausspielen kann, legt das Betriebssystem fest.

[DIE REGIERUNG]

ach blödsinn, soviele große handelsplattformen gibts ja nicht in deutschland. ebay, das ich nicht lache. wieso willst du nach ebay nach zu versteuernden vorgängen suchen? ich meine ebay ist dem finanzamt sicher ein begriff. wahrscheinlich hat jeder beamter schon mal was auf ebay versteigert, hehe. und die anderen "großen" kann man auch ergoogeln.
da gehts schon um die mittleren bis kleinen... es soll eben nix verloren gehn!


lg


birdman schrieb:
-------------------------------------------------------
> mal davon abgesehen, dass eine suchmaschine dieser
> art die robots.txt garnicht erst ausliest,
> geschweige sich daran halten würde, und du den
> sicherlich nicht zuordenbaren user-agent nicht
> kennst, interessiert sich der zoll wohl kaum für
> deine drei pokemon-fanseiten, als viel mehr für
> große handelsplattformen wie beispielsweise ebay.

[Fragesteller]

rk schrieb:
-------------------------------------------------------
> Lässt sich diese Suche mit
> ---
> User-agent: XPIDER
> Disallow: *
> ---
>
> verhindern? ;-)
>

Mal so ganz nebenbei gefragt - identifiziert sich dieser Spider tatsächlich mit XPIDER?

[Tranquilized Entity]

birdman schrieb:
-------------------------------------------------------
> mal davon abgesehen, dass eine suchmaschine dieser
> art die robots.txt garnicht erst ausliest,
> geschweige sich daran halten würde, und du den
> sicherlich nicht zuordenbaren user-agent nicht
> kennst, interessiert sich der zoll wohl kaum für
> deine drei pokemon-fanseiten, als viel mehr für
> große handelsplattformen wie beispielsweise ebay.

Ehrlich gesagt, bezweifle ich, daß jeder Powerseller bei Ebay wirklich gut von seinen Einnahmen leben kann.

[händler]

wirklich gut.. was verstehst du darunter?
die meisten powerseller kommen "gut" über die runden... d.h. für mich sie könnten eben so nen anderen handel betreiben.

Tranquilized Entity schrieb:
-------------------------------------------------------
> birdman schrieb:
> --------------------------------------------------
> -----
> > mal davon abgesehen, dass eine suchmaschine
> dieser
> art die robots.txt garnicht erst
> ausliest,
> geschweige sich daran halten würde,
> und du den
> sicherlich nicht zuordenbaren
> user-agent nicht
> kennst, interessiert sich
> der zoll wohl kaum für
> deine drei
> pokemon-fanseiten, als viel mehr für
> große
> handelsplattformen wie beispielsweise ebay.
>
> Ehrlich gesagt, bezweifle ich, daß jeder
> Powerseller bei Ebay wirklich gut von seinen
> Einnahmen leben kann.
>

[cosmophobia]

aber dann kann man nur an eingeweihte kunden verkaufen.. oder wie..!? ; )

-----
Sinnlos oder Schlüssel zum Sinn des Seins..!? http://www.ultimate-mindmap.de

[Robots.txt]

GooglePhone schrieb:
> rk schrieb:

> > Lässt sich diese Suche mit
> > User-agent: XPIDER
> > Disallow: *
> > verhindern? ;-)

> Nein.

Wenn, dann wohl eher mit Disallow: /

[tolker]

ahhhhhhh.... ich finde es großartig. wer keine ironie versteht, sollte ausgewiesen werden.

[ohmann]

nein, -> http://httpd.apache.org/docs/2.2/howto/htaccess.html

lesen hilft ;).

cosmophobia schrieb:
-------------------------------------------------------
> aber dann kann man nur an eingeweihte kunden
> verkaufen.. oder wie..!? ; )
>
> -----
> Sinnlos oder Schlüssel zum Sinn des Seins..!?
> www.ultimate-mindmap.de

[uid0]

Und wer hat die source ips der suchmaschine?


ohmann schrieb:
-------------------------------------------------------
> nein, -> httpd.apache.org
>
> lesen hilft ;).
>
> cosmophobia schrieb:
> --------------------------------------------------
> -----
> > aber dann kann man nur an eingeweihte
> kunden
> verkaufen.. oder wie..!? ; )
>
> -----
> Sinnlos oder Schlüssel zum Sinn
> des Seins..!?
> www.ultimate-mindmap.de
>
>

[RoKa]

Tranquilized Entity schrieb:

> Ehrlich gesagt, bezweifle ich, daß jeder
> Powerseller bei Ebay wirklich gut von seinen
> Einnahmen leben kann.

und wer meint, er verdiene zu wenig, darf er sich vor dem Finanzamt oder Zoll drücken?
Ich glaube, ich sollte auch gleich mal beim Finanzamt einen Antrag auf Steuerbefreiung einreichen...

RoKa

[RoKa]

BSDDaemon schrieb:
-------------------------------------------------------
> rk schrieb:
> --------------------------------------------------
> ist wirkungsvoller

und httpd.conf ist noch wirkungsvoller.

[Dahausa]

SpirituosenVirtuose schrieb:
-------------------------------------------------------
> rk schrieb:
> --------------------------------------------------
> -----
> > Lässt sich diese Suche mit
> ---
>
> User-agent: XPIDER
> Disallow: *
> ---
>
> verhindern? ;-)
>
> Da mußte wohl wissen, wie der User-Agent "richtig"
> heißt ... und wenn die Zoll-Nasen den Crawler gut
> programmiert haben, werden die den User-Agent
> immer wieder ändern. Gibbet ja genug
> Möglichkeiten!

Das war jetzt hoffentlich nicht ernst gemeint! ;)
Dann kann ich ja gleich ne Textdatei als Firewall einsetzen ...