Abo
  1. Foren
  2. Kommentare
  3. Politik/Recht
  4. Alle Kommentare zum Artikel
  5. › Zoll-Suchmaschine überprüft…

robots.txt

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. robots.txt

    Autor: rk 13.02.08 - 08:53

    Lässt sich diese Suche mit
    ---
    User-agent: XPIDER
    Disallow: *
    ---

    verhindern? ;-)

  2. Re: robots.txt

    Autor: delta82 13.02.08 - 08:57

    > User-agent: XPIDER
    > Disallow: *
    >
    > verhindern? ;-)

    Klar doch. Schäuble ist froh, wenn du das machst, der kommt mit seiner Datenflut sowieso nicht mehr klar ;-)


  3. Re: robots.txt

    Autor: d!neX 13.02.08 - 08:57

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >

    Es liegt meines Wissens nach an der Disziplin einer Suchmaschine, ob sie sich an diese Daten hält, die in der robots.txt stehen, oder eben nicht. Ich schätze zweiteres ist der Fall.

  4. Re: robots.txt

    Autor: SpirituosenVirtuose 13.02.08 - 09:00

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >

    Da mußte wohl wissen, wie der User-Agent "richtig" heißt ... und wenn die Zoll-Nasen den Crawler gut programmiert haben, werden die den User-Agent immer wieder ändern. Gibbet ja genug Möglichkeiten!

  5. Re: robots.txt

    Autor: GooglePhone 13.02.08 - 09:09

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >


    Nein.

    http://de.wikipedia.org/wiki/Robots.txt

  6. Re: robots.txt

    Autor: childinsilence 13.02.08 - 09:28

    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)

    Nein und: Seit wann hält sich die Regierung an Standards?

  7. pappnase

    Autor: birdman 13.02.08 - 09:29

    mal davon abgesehen, dass eine suchmaschine dieser art die robots.txt garnicht erst ausliest, geschweige sich daran halten würde, und du den sicherlich nicht zuordenbaren user-agent nicht kennst, interessiert sich der zoll wohl kaum für deine drei pokemon-fanseiten, als viel mehr für große handelsplattformen wie beispielsweise ebay.

  8. Re: .htaccess

    Autor: BSDDaemon 13.02.08 - 09:30

    rk schrieb:
    -------------------------------------------------------
    ist wirkungsvoller




    ----------------------------------------
    Suum cuique per me uti atque frui licet.
    ----------------------------------------
    Ein Betriebssystem ist immer nur so gut und sicher
    wie der Administrator der es verwaltet.

    Wie gut der Administrator jedoch seine Fähigkeiten
    ausspielen kann, legt das Betriebssystem fest.

  9. Re: pappnase

    Autor: DIE REGIERUNG 13.02.08 - 09:37

    ach blödsinn, soviele große handelsplattformen gibts ja nicht in deutschland. ebay, das ich nicht lache. wieso willst du nach ebay nach zu versteuernden vorgängen suchen? ich meine ebay ist dem finanzamt sicher ein begriff. wahrscheinlich hat jeder beamter schon mal was auf ebay versteigert, hehe. und die anderen "großen" kann man auch ergoogeln.
    da gehts schon um die mittleren bis kleinen... es soll eben nix verloren gehn!


    lg


    birdman schrieb:
    -------------------------------------------------------
    > mal davon abgesehen, dass eine suchmaschine dieser
    > art die robots.txt garnicht erst ausliest,
    > geschweige sich daran halten würde, und du den
    > sicherlich nicht zuordenbaren user-agent nicht
    > kennst, interessiert sich der zoll wohl kaum für
    > deine drei pokemon-fanseiten, als viel mehr für
    > große handelsplattformen wie beispielsweise ebay.


  10. User-Agent?

    Autor: Fragesteller 13.02.08 - 10:21

    rk schrieb:
    -------------------------------------------------------
    > Lässt sich diese Suche mit
    > ---
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >

    Mal so ganz nebenbei gefragt - identifiziert sich dieser Spider tatsächlich mit XPIDER?

  11. Re: pappnase

    Autor: Tranquilized Entity 13.02.08 - 10:30

    birdman schrieb:
    -------------------------------------------------------
    > mal davon abgesehen, dass eine suchmaschine dieser
    > art die robots.txt garnicht erst ausliest,
    > geschweige sich daran halten würde, und du den
    > sicherlich nicht zuordenbaren user-agent nicht
    > kennst, interessiert sich der zoll wohl kaum für
    > deine drei pokemon-fanseiten, als viel mehr für
    > große handelsplattformen wie beispielsweise ebay.

    Ehrlich gesagt, bezweifle ich, daß jeder Powerseller bei Ebay wirklich gut von seinen Einnahmen leben kann.

  12. Re: pappnase

    Autor: händler 13.02.08 - 10:36


    wirklich gut.. was verstehst du darunter?
    die meisten powerseller kommen "gut" über die runden... d.h. für mich sie könnten eben so nen anderen handel betreiben.

    Tranquilized Entity schrieb:
    -------------------------------------------------------
    > birdman schrieb:
    > --------------------------------------------------
    > -----
    > > mal davon abgesehen, dass eine suchmaschine
    > dieser
    > art die robots.txt garnicht erst
    > ausliest,
    > geschweige sich daran halten würde,
    > und du den
    > sicherlich nicht zuordenbaren
    > user-agent nicht
    > kennst, interessiert sich
    > der zoll wohl kaum für
    > deine drei
    > pokemon-fanseiten, als viel mehr für
    > große
    > handelsplattformen wie beispielsweise ebay.
    >
    > Ehrlich gesagt, bezweifle ich, daß jeder
    > Powerseller bei Ebay wirklich gut von seinen
    > Einnahmen leben kann.
    >


  13. Re: .htaccess

    Autor: cosmophobia 13.02.08 - 10:57

    aber dann kann man nur an eingeweihte kunden verkaufen.. oder wie..!? ; )

    -----
    Sinnlos oder Schlüssel zum Sinn des Seins..!? http://www.ultimate-mindmap.de

  14. Re: robots.txt

    Autor: Robots.txt 13.02.08 - 11:43

    GooglePhone schrieb:
    > rk schrieb:

    > > Lässt sich diese Suche mit
    > > User-agent: XPIDER
    > > Disallow: *
    > > verhindern? ;-)

    > Nein.

    Wenn, dann wohl eher mit Disallow: /

  15. Re: pappnase

    Autor: tolker 13.02.08 - 11:46

    ahhhhhhh.... ich finde es großartig. wer keine ironie versteht, sollte ausgewiesen werden.

  16. Re: .htaccess

    Autor: ohmann 13.02.08 - 12:05

    nein, -> http://httpd.apache.org/docs/2.2/howto/htaccess.html

    lesen hilft ;).

    cosmophobia schrieb:
    -------------------------------------------------------
    > aber dann kann man nur an eingeweihte kunden
    > verkaufen.. oder wie..!? ; )
    >
    > -----
    > Sinnlos oder Schlüssel zum Sinn des Seins..!?
    > www.ultimate-mindmap.de


  17. Re: .htaccess

    Autor: uid0 13.02.08 - 12:26

    Und wer hat die source ips der suchmaschine?


    ohmann schrieb:
    -------------------------------------------------------
    > nein, -> httpd.apache.org
    >
    > lesen hilft ;).
    >
    > cosmophobia schrieb:
    > --------------------------------------------------
    > -----
    > > aber dann kann man nur an eingeweihte
    > kunden
    > verkaufen.. oder wie..!? ; )
    >
    > -----
    > Sinnlos oder Schlüssel zum Sinn
    > des Seins..!?
    > www.ultimate-mindmap.de
    >
    >


  18. Re: pappnase

    Autor: RoKa 13.02.08 - 12:30

    Tranquilized Entity schrieb:

    > Ehrlich gesagt, bezweifle ich, daß jeder
    > Powerseller bei Ebay wirklich gut von seinen
    > Einnahmen leben kann.

    und wer meint, er verdiene zu wenig, darf er sich vor dem Finanzamt oder Zoll drücken?
    Ich glaube, ich sollte auch gleich mal beim Finanzamt einen Antrag auf Steuerbefreiung einreichen...

    RoKa

  19. Re: .htaccess

    Autor: RoKa 13.02.08 - 12:33

    BSDDaemon schrieb:
    -------------------------------------------------------
    > rk schrieb:
    > --------------------------------------------------
    > ist wirkungsvoller

    und httpd.conf ist noch wirkungsvoller.

  20. Re: robots.txt

    Autor: Dahausa 13.02.08 - 12:48

    SpirituosenVirtuose schrieb:
    -------------------------------------------------------
    > rk schrieb:
    > --------------------------------------------------
    > -----
    > > Lässt sich diese Suche mit
    > ---
    >
    > User-agent: XPIDER
    > Disallow: *
    > ---
    >
    > verhindern? ;-)
    >
    > Da mußte wohl wissen, wie der User-Agent "richtig"
    > heißt ... und wenn die Zoll-Nasen den Crawler gut
    > programmiert haben, werden die den User-Agent
    > immer wieder ändern. Gibbet ja genug
    > Möglichkeiten!

    Das war jetzt hoffentlich nicht ernst gemeint! ;)
    Dann kann ich ja gleich ne Textdatei als Firewall einsetzen ...

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., Köln
  2. VALEO GmbH, Erlangen
  3. Dataport, verschiedene Standorte
  4. Deloitte, Düsseldorf, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 1,72€
  2. 26,99€
  3. 3,74€


Haben wir etwas übersehen?

E-Mail an news@golem.de


FPM-Sicherheitslücke: Daten exfiltrieren mit Facebooks HHVM
FPM-Sicherheitslücke
Daten exfiltrieren mit Facebooks HHVM

Server für den sogenannten FastCGI Process Manager (FPM) können, wenn sie übers Internet erreichbar sind, unbefugten Zugriff auf Dateien eines Systems geben. Das betrifft vor allem HHVM von Facebook, bei PHP sind die Risiken geringer.
Eine Exklusivmeldung von Hanno Böck

  1. HHVM Facebooks PHP-Alternative erscheint ohne PHP

In eigener Sache: Neue Workshops zu agilem Arbeiten und Selbstmanagement
In eigener Sache
Neue Workshops zu agilem Arbeiten und Selbstmanagement

Wir haben in unserer Leserumfrage nach Wünschen für Weiterbildungsangebote gefragt. Hier ist das Ergebnis: Zwei neue Workshops widmen sich der Selbstorganisation und gängigen Fehlern beim agilen Arbeiten - natürlich extra für IT-Profis.

  1. In eigener Sache ITler und Board kommen zusammen
  2. In eigener Sache Herbsttermin für den Kubernetes-Workshop steht
  3. Golem Akademie Golem.de startet Angebote zur beruflichen Weiterbildung

Forschung: Mehr Elektronen sollen Photovoltaik effizienter machen
Forschung
Mehr Elektronen sollen Photovoltaik effizienter machen

Zwei dünne Schichten auf einer Silizium-Solarzelle könnten ihre Effizienz erhöhen. Grünes und blaues Licht kann darin gleich zwei Elektronen statt nur eines freisetzen.
Von Frank Wunderlich-Pfeiffer

  1. ISS Tierbeobachtungssystem Icarus startet
  2. Sun To Liquid Solaranlage erzeugt Kerosin aus Sonnenlicht, Wasser und CO2
  3. Shell Ocean Discovery X Prize X-Prize für unbemannte Systeme zur Meereskartierung vergeben

  1. Kryptowährung: Facebook möchte Kritik an Libra ausräumen
    Kryptowährung
    Facebook möchte Kritik an Libra ausräumen

    Facebooks geplante Digitalwährung Libra kommt in der Politik nicht gut an. Bei einer Anhörung vor dem US-Senat verteidigt Facebook-Manager David Marcus die Währung. Bundesregierung und Bundesbank wollen sie lieber verhindern.

  2. PC Engine Core Grafx: Konami kündigt drei Versionen der gleichen Minikonsole an
    PC Engine Core Grafx
    Konami kündigt drei Versionen der gleichen Minikonsole an

    In Europa heißt sie PC Engine Core Grafx Mini, für Japan und die USA hat Konami andere Namen und ein anderes Design. Die Retrokiste soll im März 2020 mit rund 50 vorinstallierten Spielen erscheinen. Der Kauf in Deutschland läuft minimal komplizierter ab als üblich.

  3. Hacker-Attacke: Datenleck bei Freenet-Tochter Vitrado
    Hacker-Attacke
    Datenleck bei Freenet-Tochter Vitrado

    Angreifer haben auf die Daten von rund 67.000 Vitrado-Nutzern zugreifen können. Diese sollten besser ihr Bankkonto im Auge behalten, rät die Freenet-Tochter.


  1. 18:33

  2. 17:23

  3. 16:37

  4. 15:10

  5. 14:45

  6. 14:25

  7. 14:04

  8. 13:09