1. Foren
  2. Kommentare
  3. Politik/Recht-Forum
  4. Alle Kommentare zum Artikel
  5. › BGH: Google-Bildersuche…

Frage zu Robots.txt ...

  1. Thema

Neues Thema


  1. Frage zu Robots.txt ...

    Autor: RoboLady 29.04.10 - 12:16

    Kann man eigentlich selbst überprüfen, ob die robots.txt das korrekte Format hat und somit der Inhalt vor Crawlern geschützt ist?

    Oder sehe ich erst, wenn die Links bei Google zu finden sind, dass die robots.txt wohl fehlerhaft ist?

  2. Re: Frage zu Robots.txt ...

    Autor: lmgtfy 29.04.10 - 12:21

    http://lmgtfy.com/?q=robots.txt+testen

  3. Re: Frage zu Robots.txt ...

    Autor: iAnschlagspuffer 29.04.10 - 12:48

    Google hält sich nicht immer an die robots.txt hatte schonmal das vergnügen das die nicht berücksichtig wurde und ein Lebenslauf indiziert wurde. Zum glück hatte ich noarchive gesetzt was wenigstens beahtet wird. Google sperrt man am besten über bekannte ip-ranges des bots aus!

  4. Re: Frage zu Robots.txt ...

    Autor: Kay 29.04.10 - 13:10

    Viel leichter und vorallem sicherer geht's doch per .htaccess

    Weiterführende Links:
    http://www.google.de/search?q=per+htaccess+bots+aussperren

  5. Robots.txt ist freiwillig

    Autor: Wikifan 29.04.10 - 16:54

    Hat keinerlei Schutzwirkung. WGet hat auch die Option, die zu beachten oder zu ignorieren, wie ein normaler Besucher auf eine Seite zu gehen usw.
    Kann Google alles auch.

    Der BGH hat offenbar keine Ahnung, wie Suchmaschinen arbeiten.

  1. Thema

Neues Thema


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. System Engineer* (m/w/d)
    BZ.medien Digital GmbH, Freiburg im Breisgau
  2. Netzwerkadministrator:in IT- und Netzwerksicherheit (m/w/d)
    Helmholtz-Zentrum Potsdam Deutsches GeoForschungsZentrum GFZ, Potsdam
  3. Key-Userin/Key-User im Stabsbereich Einkauf (w/m/d)
    Bundesanstalt für Immobilienaufgaben, Bonn
  4. IT (Junior) Consultant Service 2 Customer Retention (m/w/d)
    GILDEMEISTER Beteiligungen GmbH, Bielefeld

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. ab 29,99€
  2. 12,24€ (UVP 34,99€) - günstig wie nie!
  3. basierend auf Verkaufszahlen


Haben wir etwas übersehen?

E-Mail an news@golem.de