Abo
  1. Foren
  2. Kommentare
  3. Politik/Recht
  4. Alle Kommentare zum Artikel
  5. › Zeitungsverleger: Google greift…

robots.txt wiefolgt:

  1. Thema

Neues Thema Ansicht wechseln


  1. robots.txt wiefolgt:

    Autor: Lopezzos 29.06.10 - 13:31

    User-agent: *
    Disallow: /


    Und eure Sorgen sind passé !

    Ich finds immer wieder schön, wenn ich angeschlagenen Firmen helfen kann!

  2. Re: robots.txt wiefolgt:

    Autor: filipo 29.06.10 - 13:46

    Ja genau! ROFL

    Und was machst du wenn der Spider sich nicht daran hält?
    Ihn verklagen?

  3. Re: robots.txt wiefolgt:

    Autor: lalalalalalala 29.06.10 - 13:49

    Die Zeitungsverleger sehen ja offensichtlich nur in Google ein Problem. Und die halten sich peinlichst genau an die Robots.txt (eigene leidvolle Erfahrung aufgrund eines dummen Fehlers in der Robots.txt).

    Also, wenn sich die Robots von Google nicht an die Robots.txt halten, dann können sie anfangen zu jammern.

  4. Re: robots.txt wiefolgt:

    Autor: Stephan____ 29.06.10 - 13:49

    Es geht um Google und die halten sich dran.

  5. Re: robots.txt wiefolgt:

    Autor: Cromax 29.06.10 - 13:51

    >Und was machst du wenn der Spider sich nicht daran hält?
    >Ihn verklagen?

    _Dann_ kann man anfangen zu meckern. Google hält sich aber daran. Insofern müssten sie sich dann mühe geben eine Suchmaschine zu finden, die robots.txt ignoriert und deren Inhaber dabei noch vermögend genug sind, dass die Verleger dort Kohle eintreiben können.

  6. Re: robots.txt wiefolgt:

    Autor: Todd 29.06.10 - 13:54

    filipo schrieb:
    --------------------------------------------------------------------------------
    > Ja genau! ROFL
    >
    > Und was machst du wenn der Spider sich nicht daran hält?
    > Ihn verklagen?

    Vollkommen egal, solange die Verlage das Mittel nicht nutzen, dürfen sie sich nicht beklagen.

    Wenn tatsächlich die Verlage das nutzen würden und Google das aber ignoriert, DANN erst ist maulen gestattet.

    Aber darum geht es doch auch gar nicht, die Verlage wollen an eine neue Melkkuh ran, die Argumente - so man deren Äußerungen so nennen will - sind dabei nur mittel zum Zweck.

  7. Re: robots.txt wiefolgt:

    Autor: Yeeeeeeeeha 29.06.10 - 13:57

    Ganz einfach: Den User-Agent des Spiders auf dem Webserver sperren. Oder die IP-Ranges.

    Schade nur, dass nur bei Google etwas zu holen wäre und die sich wunderbar an die robots.txt halten und diese Technik sogar selbst propagieren.

    Yeeeeeeeeha - Nur echt mit 2^3 e
    Perl-Monk, Java-Trinker, Objective-C Wizard, PHP-Kiddie, unfreiwilliger FreeBSD-/Linux-Teilzeitadmin

  8. Re: robots.txt wiefolgt:

    Autor: iFACE 29.06.10 - 16:32

    Herr Armer Zeitungs futzi büdde lernen sie sich von Internetz wie man einen servierer einrichtet auch sie sprechen solltens mits administrators dem können sich helfen wenn sie wollens. Dem ist ganz einfachs! Aber sie nur jammerlappen mit nix ahnung wo nix mum genug für um *böse* von ihrem seitens fern zuhaltens!

  9. Re: robots.txt wiefolgt:

    Autor: iFACE 29.06.10 - 16:39

    > Und was machst du wenn der Spider sich nicht daran hält?
    Dann gibt es eine Beschwerde und logging mechanismen werden aktiviert um ein schon vorhandenes Profil zu vervollständigen aus denen eine entsprechende .htaccess gebaut wird.
    > order allow,deny
    > allow from all
    > deny from 64.233.173.193/32
    > deny from 64.233.173.194/31
    > deny from 64.233.173.196/30
    > deny from 64.233.173.200/29
    > deny from 64.233.173.208/28
    > deny from 64.233.173.224/27
    > deny from 216.239.32.0/19
    > deny from 209.185.0.0/16
    > deny from 64.68.64.0/19
    > deny from 66.249.64.0/19
    > deny from 72.14.192.0/18
    > deny from 8.0.0.0/8
    > satisfy=all
    Etwas älter diese Liste aber seit mal ein Lebenslauf von mir bei google aufgetaucht ist nutze ich die Liste nicht mehr und das Verzeichnis wurde Passwort geschützt.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Hays AG, Wiesbaden (Home-Office möglich)
  2. SICK AG, Waldkirch bei Freiburg im Breisgau
  3. Amt für Statistik Berlin-Brandenburg, Potsdam
  4. Kaufland Dienstleistung GmbH & Co. KG, Heilbronn

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. 299,00€
  2. (u. a. Grafikkarten, Monitore, Mainboards)
  3. 259€ + Versand oder kostenlose Marktabholung (aktuell günstigste GTX 1070 Mini)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Strom-Boje Mittelrhein: Schwimmende Kraftwerke liefern Strom aus dem Rhein
Strom-Boje Mittelrhein
Schwimmende Kraftwerke liefern Strom aus dem Rhein

Ein Unternehmen aus Bingen will die Strömung des Rheins nutzen, um elektrischen Strom zu gewinnen. Es installiert 16 schwimmende Kraftwerke in der Nähe des bekannten Loreley-Felsens.

  1. Speicherung von Überschussstrom Wasserstoff soll bei Engpässen helfen
  2. Energiewende DLR-Forscher bauen Kohlekraftwerke zu Stromspeichern um
  3. Erneuerbare Energien Wellenkraft als Konzentrat

Bug Bounty Hunter: Mit Hacker 101-Tutorials zum Millionär
Bug Bounty Hunter
Mit "Hacker 101"-Tutorials zum Millionär

Santiago Lopez hat sich als Junge selbst das Hacken beigebracht und spürt Sicherheitslücken in der Software von Unternehmen auf. Gerade hat er damit seine erste Million verdient. Im Interview mit Golem.de erzählt er von seinem Alltag.
Ein Interview von Maja Hoock

  1. White Hat Hacking In unter zwei Stunden in Universitätsnetzwerke gelangen

Zulassung autonomer Autos: Der Mensch fährt besser als gedacht
Zulassung autonomer Autos
Der Mensch fährt besser als gedacht

Mehrere Jahre haben Wissenschaftler und Autokonzerne an Testverfahren für einen Autobahnpiloten geforscht. Die Ergebnisse sprechen für den umfangreichen Einsatz von Simulation. Und gegen den schnellen Einsatz der Technik.
Von Friedhelm Greis

  1. Autonomes Fahren US-Post testet Überlandfahrten ohne Fahrer
  2. Mercedes-Sicherheitsstudie Wenn das Warndreieck autonom aus dem Auto fährt
  3. Einride T-Pod Autonomer Lkw fährt in Schweden Waren aus

  1. Asus Zenscreen Touch: Zweiter Bildschirm für Notebook und Smartphone zum Mitnehmen
    Asus Zenscreen Touch
    Zweiter Bildschirm für Notebook und Smartphone zum Mitnehmen

    Computex 2019 Asus wird 30 Jahre alt und zeigt auf einer Pressekonferenz den Zenscreen Touch. Das ist ein tragbarer zweiter Bildschirm, an den per USB Typ-C ein Smartphone oder ein Notebook angeschlossen werden kann. Ein integrierter Akku soll deren Energiereserven schonen.

  2. Netzausbau: Telekom nimmt 300 neue LTE-Mobilfunkstandorte in Betrieb
    Netzausbau
    Telekom nimmt 300 neue LTE-Mobilfunkstandorte in Betrieb

    Die Telekom verdichtet ihr LTE-Netz. Die Bundesnetzagentur macht sich dennoch Sorgen um das Tempo des Mobilfunkausbaus in Deutschland.

  3. Mastercard: Apple-Card-System wird auch anderen angeboten
    Mastercard
    Apple-Card-System wird auch anderen angeboten

    Das von Mastercard zusammen mit Goldman Sachs entwickelte digitale Kartenschema für die Apple Card wird nach einer Frist auch anderen Anbietern zur Verfügung stehen. Damit sind weitere Kreditkarten ohne CVC-Nummer möglich.


  1. 14:45

  2. 14:30

  3. 14:15

  4. 14:00

  5. 13:45

  6. 13:30

  7. 13:15

  8. 13:00