1. Foren
  2. Kommentare
  3. Politik/Recht
  4. Alle Kommentare zum Artikel
  5. › Zoll-Suchmaschine überprüft…

robots.txt

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. robots.txt

    Autor: rk 13.02.08 - 08:53

    Lässt sich diese Suche mit
    ---
    User-agent: XPIDER
    Disallow: *
    ---

    verhindern? ;-)

  2. Re: robots.txt

    Autor: delta82 13.02.08 - 08:57

    > User-agent: XPIDER
    > Disallow: *
    >
    > verhindern? ;-)

    Klar doch. Schäuble ist froh, wenn du das machst, der kommt mit seiner Datenflut sowieso nicht mehr klar ;-)


  3. Re: robots.txt

    Autor: d!neX 13.02.08 - 08:57

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >

    Es liegt meines Wissens nach an der Disziplin einer Suchmaschine, ob sie sich an diese Daten hält, die in der robots.txt stehen, oder eben nicht. Ich schätze zweiteres ist der Fall.

  4. Re: robots.txt

    Autor: SpirituosenVirtuose 13.02.08 - 09:00

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >

    Da mußte wohl wissen, wie der User-Agent "richtig" heißt ... und wenn die Zoll-Nasen den Crawler gut programmiert haben, werden die den User-Agent immer wieder ändern. Gibbet ja genug Möglichkeiten!

  5. Re: robots.txt

    Autor: GooglePhone 13.02.08 - 09:09

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >


    Nein.

    http://de.wikipedia.org/wiki/Robots.txt

  6. Re: robots.txt

    Autor: childinsilence 13.02.08 - 09:28

    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)

    Nein und: Seit wann hält sich die Regierung an Standards?

  7. pappnase

    Autor: birdman 13.02.08 - 09:29

    mal davon abgesehen, dass eine suchmaschine dieser art die robots.txt garnicht erst ausliest, geschweige sich daran halten würde, und du den sicherlich nicht zuordenbaren user-agent nicht kennst, interessiert sich der zoll wohl kaum für deine drei pokemon-fanseiten, als viel mehr für große handelsplattformen wie beispielsweise ebay.

  8. Re: .htaccess

    Autor: BSDDaemon 13.02.08 - 09:30

    rk schrieb:
    -------------------------------------------------------
    ist wirkungsvoller




    ----------------------------------------
    Suum cuique per me uti atque frui licet.
    ----------------------------------------
    Ein Betriebssystem ist immer nur so gut und sicher
    wie der Administrator der es verwaltet.

    Wie gut der Administrator jedoch seine Fähigkeiten
    ausspielen kann, legt das Betriebssystem fest.

  9. Re: pappnase

    Autor: DIE REGIERUNG 13.02.08 - 09:37

    ach blödsinn, soviele große handelsplattformen gibts ja nicht in deutschland. ebay, das ich nicht lache. wieso willst du nach ebay nach zu versteuernden vorgängen suchen? ich meine ebay ist dem finanzamt sicher ein begriff. wahrscheinlich hat jeder beamter schon mal was auf ebay versteigert, hehe. und die anderen "großen" kann man auch ergoogeln.
    da gehts schon um die mittleren bis kleinen... es soll eben nix verloren gehn!


    lg


    birdman schrieb:
    -------------------------------------------------------
    > mal davon abgesehen, dass eine suchmaschine dieser
    > art die robots.txt garnicht erst ausliest,
    > geschweige sich daran halten würde, und du den
    > sicherlich nicht zuordenbaren user-agent nicht
    > kennst, interessiert sich der zoll wohl kaum für
    > deine drei pokemon-fanseiten, als viel mehr für
    > große handelsplattformen wie beispielsweise ebay.


  10. User-Agent?

    Autor: Fragesteller 13.02.08 - 10:21

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >

    Mal so ganz nebenbei gefragt - identifiziert sich dieser Spider tatsächlich mit XPIDER?

  11. Re: pappnase

    Autor: Tranquilized Entity 13.02.08 - 10:30

    birdman schrieb:
    -------------------------------------------------------
    > mal davon abgesehen, dass eine suchmaschine dieser
    > art die robots.txt garnicht erst ausliest,
    > geschweige sich daran halten würde, und du den
    > sicherlich nicht zuordenbaren user-agent nicht
    > kennst, interessiert sich der zoll wohl kaum für
    > deine drei pokemon-fanseiten, als viel mehr für
    > große handelsplattformen wie beispielsweise ebay.

    Ehrlich gesagt, bezweifle ich, daß jeder Powerseller bei Ebay wirklich gut von seinen Einnahmen leben kann.

  12. Re: pappnase

    Autor: händler 13.02.08 - 10:36


    wirklich gut.. was verstehst du darunter?
    die meisten powerseller kommen "gut" über die runden... d.h. für mich sie könnten eben so nen anderen handel betreiben.

    Tranquilized Entity schrieb:
    -------------------------------------------------------
    > birdman schrieb:
    > --------------------------------------------------
    > -----
    > > mal davon abgesehen, dass eine suchmaschine
    > dieser
    > art die robots.txt garnicht erst
    > ausliest,
    > geschweige sich daran halten würde,
    > und du den
    > sicherlich nicht zuordenbaren
    > user-agent nicht
    > kennst, interessiert sich
    > der zoll wohl kaum für
    > deine drei
    > pokemon-fanseiten, als viel mehr für
    > große
    > handelsplattformen wie beispielsweise ebay.
    >
    > Ehrlich gesagt, bezweifle ich, daß jeder
    > Powerseller bei Ebay wirklich gut von seinen
    > Einnahmen leben kann.
    >


  13. Re: .htaccess

    Autor: cosmophobia 13.02.08 - 10:57

    aber dann kann man nur an eingeweihte kunden verkaufen.. oder wie..!? ; )

    -----
    Sinnlos oder Schlüssel zum Sinn des Seins..!? http://www.ultimate-mindmap.de

  14. Re: robots.txt

    Autor: Robots.txt 13.02.08 - 11:43

    GooglePhone schrieb:
    > rk schrieb:

    > > Lässt sich diese Suche mit
    > > User-agent: XPIDER
    > > Disallow: *
    > > verhindern? ;-)

    > Nein.

    Wenn, dann wohl eher mit Disallow: /

  15. Re: pappnase

    Autor: tolker 13.02.08 - 11:46

    ahhhhhhh.... ich finde es großartig. wer keine ironie versteht, sollte ausgewiesen werden.

  16. Re: .htaccess

    Autor: ohmann 13.02.08 - 12:05

    nein, -> http://httpd.apache.org/docs/2.2/howto/htaccess.html

    lesen hilft ;).

    cosmophobia schrieb:
    -------------------------------------------------------
    > aber dann kann man nur an eingeweihte kunden
    > verkaufen.. oder wie..!? ; )
    >
    > -----
    > Sinnlos oder Schlüssel zum Sinn des Seins..!?
    > www.ultimate-mindmap.de


  17. Re: .htaccess

    Autor: uid0 13.02.08 - 12:26

    Und wer hat die source ips der suchmaschine?


    ohmann schrieb:
    -------------------------------------------------------
    > nein, -> httpd.apache.org
    >
    > lesen hilft ;).
    >
    > cosmophobia schrieb:
    > --------------------------------------------------
    > -----
    > > aber dann kann man nur an eingeweihte
    > kunden
    > verkaufen.. oder wie..!? ; )
    >
    > -----
    > Sinnlos oder Schlüssel zum Sinn
    > des Seins..!?
    > www.ultimate-mindmap.de
    >
    >


  18. Re: pappnase

    Autor: RoKa 13.02.08 - 12:30

    Tranquilized Entity schrieb:

    > Ehrlich gesagt, bezweifle ich, daß jeder
    > Powerseller bei Ebay wirklich gut von seinen
    > Einnahmen leben kann.

    und wer meint, er verdiene zu wenig, darf er sich vor dem Finanzamt oder Zoll drücken?
    Ich glaube, ich sollte auch gleich mal beim Finanzamt einen Antrag auf Steuerbefreiung einreichen...

    RoKa

  19. Re: .htaccess

    Autor: RoKa 13.02.08 - 12:33

    BSDDaemon schrieb:
    -------------------------------------------------------
    > rk schrieb:
    > --------------------------------------------------
    > ist wirkungsvoller

    und httpd.conf ist noch wirkungsvoller.

  20. Re: robots.txt

    Autor: Dahausa 13.02.08 - 12:48

    SpirituosenVirtuose schrieb:
    -------------------------------------------------------
    > rk schrieb:
    > --------------------------------------------------
    > -----
    > > Lässt sich diese Suche mit
    > ---
    >
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >
    > Da mußte wohl wissen, wie der User-Agent "richtig"
    > heißt ... und wenn die Zoll-Nasen den Crawler gut
    > programmiert haben, werden die den User-Agent
    > immer wieder ändern. Gibbet ja genug
    > Möglichkeiten!

    Das war jetzt hoffentlich nicht ernst gemeint! ;)
    Dann kann ich ja gleich ne Textdatei als Firewall einsetzen ...

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Compiricus AG, Düsseldorf
  2. Condor Flugdienst GmbH / FRA HP/B, Neu-Isenburg
  3. über duerenhoff GmbH, Hamburg
  4. Endress+Hauser Conducta GmbH+Co. KG, Gerlingen (bei Stuttgart)

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. (Hardware, PC-Zubehör und mehr für kurze Zeit reduziert)
  2. 36,48€ (Vergleichspreis ca. 56€)
  3. (u. a. Planet Zoo - Deluxe Edition für 19,99€, Hitman 3 - Epic Games Store Key für 39,99€ und...
  4. 54,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de