-
Frage zu Robots.txt ...
Autor: RoboLady 29.04.10 - 12:16
Kann man eigentlich selbst überprüfen, ob die robots.txt das korrekte Format hat und somit der Inhalt vor Crawlern geschützt ist?
Oder sehe ich erst, wenn die Links bei Google zu finden sind, dass die robots.txt wohl fehlerhaft ist? -
Re: Frage zu Robots.txt ...
Autor: lmgtfy 29.04.10 - 12:21
http://lmgtfy.com/?q=robots.txt+testen
-
Re: Frage zu Robots.txt ...
Autor: iAnschlagspuffer 29.04.10 - 12:48
Google hält sich nicht immer an die robots.txt hatte schonmal das vergnügen das die nicht berücksichtig wurde und ein Lebenslauf indiziert wurde. Zum glück hatte ich noarchive gesetzt was wenigstens beahtet wird. Google sperrt man am besten über bekannte ip-ranges des bots aus!
-
Re: Frage zu Robots.txt ...
Autor: Kay 29.04.10 - 13:10
Viel leichter und vorallem sicherer geht's doch per .htaccess
Weiterführende Links:
http://www.google.de/search?q=per+htaccess+bots+aussperren -
Robots.txt ist freiwillig
Autor: Wikifan 29.04.10 - 16:54
Hat keinerlei Schutzwirkung. WGet hat auch die Option, die zu beachten oder zu ignorieren, wie ein normaler Besucher auf eine Seite zu gehen usw.
Kann Google alles auch.
Der BGH hat offenbar keine Ahnung, wie Suchmaschinen arbeiten.
Frage zu Robots.txt ...
- Golem.de ohne Werbung nutzen
-
Apple-Betriebssysteme
Ein Upgrade mit Schmerzen
-
Netzwerke
Warum 5G nicht das bessere Wi-Fi ist
-
Bewerber für IT-Jobs
Unzureichend qualifiziert, zu wenig erfahren oder zu teuer
-
Ali Express
Lüfterloser Mini-PC hat Notebook-AMD-Ryzen-Prozessor
-
Pocketalk im Test
Der teure Babelfisch mit der kostenlosen Konkurrenz
Kommentare: 254 | letzter Beitrag 12:21 Uhr
Kommentare: 227 | letzter Beitrag 21:29 Uhr
Kommentare: 224 | letzter Beitrag 22:52 Uhr
Kommentare: 158 | letzter Beitrag 12:13 Uhr
Kommentare: 117 | letzter Beitrag 20:39 Uhr
E-Mail an news@golem.de
7-nm-Fertigung, Zen-2-Architektur und dank Chiplet-Design keine Scheduler-Probleme unter Windows 10: AMDs Threadripper v3 überzeugen auf voller Linie, die CPUs wie die Plattform. Intel hat im HEDT-Segment dem schlicht nichts entgegenzusetzen. Einzig Aufrüster dürften sich ärgern.
Ein Test von Marc Sauter
Keine Butterfly-Tastatur mehr, eine physische Escape-Taste, dünnere Displayränder: Es scheint, als habe Apple beim Macbook Pro 16 doch auf das Feedback der Nutzer gehört und ist einen Schritt zurückgegangen. Golem.de hat sich angeschaut, ob sich die Änderungen auch lohnen.
Ein Test von Oliver Nickel
Kurz vor Weihnachten werben Dienste wie Google Stadia und Playstation Now um Kunden - mit noch nicht ganz perfekter Technik. Golem.de hat Cloud Gaming bei mehreren Anbietern ausprobiert und stellt Geschäftsmodelle und Besonderheiten vor.
Von Peter Steinlechner
Snapdragon 8c/7cZwei Chips für Chromebooks und Win10 on ARMQualcomm stellt sich breiter auf: Der Snapdragon 8c folgt auf den Snapdragon 8cx und ist für günstigere Notebooks mit Windows 10 on ARM gedacht, der Snapdragon 7c wird in Chromebooks stecken.
BundeskartellamtTelekom und Ewe dürfen zusammen Glasfaser ausbauenMit hohen Auflagen hat das Bundeskartellamt wesentliche Teile der Glasfaser-Kooperation zwischen Telekom und Ewe genehmigt. Die Partner haben sich noch nicht dazu geäußert.
Cloud GamingStadia hat neue Funktionen und ein Spiel mehrNutzer des Spielestreamingdienstes Stadia können über das Gamepad auch den Google Assistant verwenden - allerdings mit Einschränkungen. Außerdem gibt es mit Darksiders Genesis erstmals ein neues Spiel auf der Plattform.