1. Foren
  2. Kommentare
  3. Politik/Recht
  4. Alle Kommentare zum Artikel
  5. › BGH: Google-Bildersuche verletzt…

Frage zu Robots.txt ...

  1. Thema

Neues Thema Ansicht wechseln


  1. Frage zu Robots.txt ...

    Autor: RoboLady 29.04.10 - 12:16

    Kann man eigentlich selbst überprüfen, ob die robots.txt das korrekte Format hat und somit der Inhalt vor Crawlern geschützt ist?

    Oder sehe ich erst, wenn die Links bei Google zu finden sind, dass die robots.txt wohl fehlerhaft ist?

  2. Re: Frage zu Robots.txt ...

    Autor: lmgtfy 29.04.10 - 12:21

    http://lmgtfy.com/?q=robots.txt+testen

  3. Re: Frage zu Robots.txt ...

    Autor: iAnschlagspuffer 29.04.10 - 12:48

    Google hält sich nicht immer an die robots.txt hatte schonmal das vergnügen das die nicht berücksichtig wurde und ein Lebenslauf indiziert wurde. Zum glück hatte ich noarchive gesetzt was wenigstens beahtet wird. Google sperrt man am besten über bekannte ip-ranges des bots aus!

  4. Re: Frage zu Robots.txt ...

    Autor: Kay 29.04.10 - 13:10

    Viel leichter und vorallem sicherer geht's doch per .htaccess

    Weiterführende Links:
    http://www.google.de/search?q=per+htaccess+bots+aussperren

  5. Robots.txt ist freiwillig

    Autor: Wikifan 29.04.10 - 16:54

    Hat keinerlei Schutzwirkung. WGet hat auch die Option, die zu beachten oder zu ignorieren, wie ein normaler Besucher auf eine Seite zu gehen usw.
    Kann Google alles auch.

    Der BGH hat offenbar keine Ahnung, wie Suchmaschinen arbeiten.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. BruderhausDiakonie - Stiftung Gustav Werner und Haus am Berg, Reutlingen
  2. INTENSE AG, Würzburg, Köln, Saarbrücken
  3. Polizeipräsidium Oberbayern Süd, Weilheim, Rosenheim
  4. über duerenhoff GmbH, Raum Düsseldorf

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)
  2. 299,00€ (Bestpreis! zzgl. Versand)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Threadripper 3970X/3960X im Test: AMD wird uneinholbar
Threadripper 3970X/3960X im Test
AMD wird uneinholbar

7-nm-Fertigung, Zen-2-Architektur und dank Chiplet-Design keine Scheduler-Probleme unter Windows 10: AMDs Threadripper v3 überzeugen auf voller Linie, die CPUs wie die Plattform. Intel hat im HEDT-Segment dem schlicht nichts entgegenzusetzen. Einzig Aufrüster dürften sich ärgern.
Ein Test von Marc Sauter

  1. Via Technologies Centaur zeigt x86-Chip mit AI-Block
  2. Nuvia Apples Chip-Chefarchitekt gründet CPU-Startup
  3. Tiger Lake Intel bestätigt 10-nm-Desktop-CPUs

Macbook Pro 16 Zoll im Test: Ein Schritt zurück sind zwei Schritte nach vorn
Macbook Pro 16 Zoll im Test
Ein Schritt zurück sind zwei Schritte nach vorn

Keine Butterfly-Tastatur mehr, eine physische Escape-Taste, dünnere Displayränder: Es scheint, als habe Apple beim Macbook Pro 16 doch auf das Feedback der Nutzer gehört und ist einen Schritt zurückgegangen. Golem.de hat sich angeschaut, ob sich die Änderungen auch lohnen.
Ein Test von Oliver Nickel

  1. Audioprobleme Knackgeräusche beim neuen Macbook Pro 16 Zoll
  2. iFixit Kleber und Nieten im neuen Macbook Pro 16 Zoll
  3. Macbook Pro Apple gibt fehlerhafte Butterfly-Tastatur auf

Cloud Gaming im Test: Leise ruckelt der Stream
Cloud Gaming im Test
Leise ruckelt der Stream

Kurz vor Weihnachten werben Dienste wie Google Stadia und Playstation Now um Kunden - mit noch nicht ganz perfekter Technik. Golem.de hat Cloud Gaming bei mehreren Anbietern ausprobiert und stellt Geschäftsmodelle und Besonderheiten vor.
Von Peter Steinlechner

  1. Apple und Google Die wollen nicht nur spielen
  2. Medienbericht Twitch plant Spielestreaming ab 2020
  3. Spielestreaming Wie archiviert man Games ohne Datenträger?

  1. Snapdragon 8c/7c: Zwei Chips für Chromebooks und Win10 on ARM
    Snapdragon 8c/7c
    Zwei Chips für Chromebooks und Win10 on ARM

    Qualcomm stellt sich breiter auf: Der Snapdragon 8c folgt auf den Snapdragon 8cx und ist für günstigere Notebooks mit Windows 10 on ARM gedacht, der Snapdragon 7c wird in Chromebooks stecken.

  2. Bundeskartellamt: Telekom und Ewe dürfen zusammen Glasfaser ausbauen
    Bundeskartellamt
    Telekom und Ewe dürfen zusammen Glasfaser ausbauen

    Mit hohen Auflagen hat das Bundeskartellamt wesentliche Teile der Glasfaser-Kooperation zwischen Telekom und Ewe genehmigt. Die Partner haben sich noch nicht dazu geäußert.

  3. Cloud Gaming: Stadia hat neue Funktionen und ein Spiel mehr
    Cloud Gaming
    Stadia hat neue Funktionen und ein Spiel mehr

    Nutzer des Spielestreamingdienstes Stadia können über das Gamepad auch den Google Assistant verwenden - allerdings mit Einschränkungen. Außerdem gibt es mit Darksiders Genesis erstmals ein neues Spiel auf der Plattform.


  1. 21:30

  2. 16:40

  3. 16:12

  4. 15:50

  5. 15:28

  6. 15:11

  7. 14:45

  8. 14:29