Abo
  1. Foren
  2. Kommentare
  3. Politik/Recht
  4. Alle Kommentare zum Artikel
  5. › Zeitungsverleger: Google greift…

robots.txt wiefolgt:

  1. Thema

Neues Thema Ansicht wechseln


  1. robots.txt wiefolgt:

    Autor: Lopezzos 29.06.10 - 13:31

    User-agent: *
    Disallow: /


    Und eure Sorgen sind passé !

    Ich finds immer wieder schön, wenn ich angeschlagenen Firmen helfen kann!

  2. Re: robots.txt wiefolgt:

    Autor: filipo 29.06.10 - 13:46

    Ja genau! ROFL

    Und was machst du wenn der Spider sich nicht daran hält?
    Ihn verklagen?

  3. Re: robots.txt wiefolgt:

    Autor: lalalalalalala 29.06.10 - 13:49

    Die Zeitungsverleger sehen ja offensichtlich nur in Google ein Problem. Und die halten sich peinlichst genau an die Robots.txt (eigene leidvolle Erfahrung aufgrund eines dummen Fehlers in der Robots.txt).

    Also, wenn sich die Robots von Google nicht an die Robots.txt halten, dann können sie anfangen zu jammern.

  4. Re: robots.txt wiefolgt:

    Autor: Stephan____ 29.06.10 - 13:49

    Es geht um Google und die halten sich dran.

  5. Re: robots.txt wiefolgt:

    Autor: Cromax 29.06.10 - 13:51

    >Und was machst du wenn der Spider sich nicht daran hält?
    >Ihn verklagen?

    _Dann_ kann man anfangen zu meckern. Google hält sich aber daran. Insofern müssten sie sich dann mühe geben eine Suchmaschine zu finden, die robots.txt ignoriert und deren Inhaber dabei noch vermögend genug sind, dass die Verleger dort Kohle eintreiben können.

  6. Re: robots.txt wiefolgt:

    Autor: Todd 29.06.10 - 13:54

    filipo schrieb:
    --------------------------------------------------------------------------------
    > Ja genau! ROFL
    >
    > Und was machst du wenn der Spider sich nicht daran hält?
    > Ihn verklagen?

    Vollkommen egal, solange die Verlage das Mittel nicht nutzen, dürfen sie sich nicht beklagen.

    Wenn tatsächlich die Verlage das nutzen würden und Google das aber ignoriert, DANN erst ist maulen gestattet.

    Aber darum geht es doch auch gar nicht, die Verlage wollen an eine neue Melkkuh ran, die Argumente - so man deren Äußerungen so nennen will - sind dabei nur mittel zum Zweck.

  7. Re: robots.txt wiefolgt:

    Autor: Yeeeeeeeeha 29.06.10 - 13:57

    Ganz einfach: Den User-Agent des Spiders auf dem Webserver sperren. Oder die IP-Ranges.

    Schade nur, dass nur bei Google etwas zu holen wäre und die sich wunderbar an die robots.txt halten und diese Technik sogar selbst propagieren.

    Yeeeeeeeeha - Nur echt mit 2^3 e
    Perl-Monk, Java-Trinker, Objective-C Wizard, PHP-Kiddie, unfreiwilliger FreeBSD-/Linux-Teilzeitadmin

  8. Re: robots.txt wiefolgt:

    Autor: iFACE 29.06.10 - 16:32

    Herr Armer Zeitungs futzi büdde lernen sie sich von Internetz wie man einen servierer einrichtet auch sie sprechen solltens mits administrators dem können sich helfen wenn sie wollens. Dem ist ganz einfachs! Aber sie nur jammerlappen mit nix ahnung wo nix mum genug für um *böse* von ihrem seitens fern zuhaltens!

  9. Re: robots.txt wiefolgt:

    Autor: iFACE 29.06.10 - 16:39

    > Und was machst du wenn der Spider sich nicht daran hält?
    Dann gibt es eine Beschwerde und logging mechanismen werden aktiviert um ein schon vorhandenes Profil zu vervollständigen aus denen eine entsprechende .htaccess gebaut wird.
    > order allow,deny
    > allow from all
    > deny from 64.233.173.193/32
    > deny from 64.233.173.194/31
    > deny from 64.233.173.196/30
    > deny from 64.233.173.200/29
    > deny from 64.233.173.208/28
    > deny from 64.233.173.224/27
    > deny from 216.239.32.0/19
    > deny from 209.185.0.0/16
    > deny from 64.68.64.0/19
    > deny from 66.249.64.0/19
    > deny from 72.14.192.0/18
    > deny from 8.0.0.0/8
    > satisfy=all
    Etwas älter diese Liste aber seit mal ein Lebenslauf von mir bei google aufgetaucht ist nutze ich die Liste nicht mehr und das Verzeichnis wurde Passwort geschützt.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Robert Bosch GmbH, Stuttgart
  2. CSL Behring GmbH, Marburg, Hattersheim am Main
  3. Bosch Gruppe, Grasbrunn
  4. SV Informatik GmbH, Wiesbaden

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. (-63%) 34,99€
  2. 2,99€
  3. 34,99€ (erscheint am 14.02.)
  4. 32,99€ (erscheint am 25.01.)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Datenschutz: Nie da gewesene Kontrollmacht für staatliche Stellen
Datenschutz
"Nie da gewesene Kontrollmacht für staatliche Stellen"

Zur G20-Fahndung nutzt Hamburgs Polizei eine Software, die Gesichter von Hunderttausenden speichert. Schluss damit, sagt der Datenschutzbeauftragte - und wird ignoriert.
Ein Interview von Oliver Hollenstein

  1. Brexit-Abstimmung IT-Wirtschaft warnt vor Datenchaos in Europa
  2. Österreich Post handelt mit politischen Einstellungen
  3. Digitalisierung Bär stößt Debatte um Datenschutz im Gesundheitswesen an

Nubia Red Magic Mars im Hands On: Gaming-Smartphone mit Top-Ausstattung für 390 Euro
Nubia Red Magic Mars im Hands On
Gaming-Smartphone mit Top-Ausstattung für 390 Euro

CES 2019 Mit dem Red Magic Mars bringt Nubia ein interessantes und vor allem verhältnismäßig preiswertes Gaming-Smartphone nach Deutschland. Es hat einen Leistungsmodus und Schulter-Sensortasten, die beim Zocken helfen können.
Ein Hands on von Tobias Költzsch

  1. ATH-ANC900BT Audio Technica zeigt neuen ANC-Kopfhörer
  2. Smart Clock Lenovo setzt bei Echo-Spot-Variante auf Google Assistant
  3. Smart Tab Lenovo zeigt Mischung aus Android-Tablet und Echo Show

IT-Sicherheit: 12 Lehren aus dem Politiker-Hack
IT-Sicherheit
12 Lehren aus dem Politiker-Hack

Ein polizeibekanntes Skriptkiddie hat offenbar jahrelang unbemerkt Politiker und Prominente ausspähen können und deren Daten veröffentlicht. Welche Konsequenzen sollten für die Sicherheit von Daten aus dem Datenleak gezogen werden?
Eine Analyse von Friedhelm Greis

  1. Datenleak Ermittler nehmen Verdächtigen fest
  2. Datenleak Politiker fordern Pflicht für Zwei-Faktor-Authentifizierung
  3. Politiker-Hack Wohnung in Heilbronn durchsucht

  1. iPhones: Apple-Zulieferer korrigieren Umsatz- und Gewinnerwartungen
    iPhones
    Apple-Zulieferer korrigieren Umsatz- und Gewinnerwartungen

    Wegen schwächelnder Absatzzahlen von iPhones in China korrigieren erste Zulieferer Apples ihre wirtschaftlichen Prognosen. Grund ist ein Rückgang der Nachfrage nach Oberklasse-Smartphones und Unsicherheiten aufgrund des Handelskriegs zwischen den USA und China.

  2. 7 Prozent müssen gehen: Massenentlassungen bei Tesla wegen zu hoher Kosten
    7 Prozent müssen gehen
    Massenentlassungen bei Tesla wegen zu hoher Kosten

    Tesla muss seine Kosten reduzieren, um seine Elektrofahrzeuge günstiger anbieten zu können und entlässt deshalb 7 Prozent seiner Belegschaft. Im vergangenen Jahr hatte das Unternehmen noch zahlreiche neue Mitarbeiter eingestellt.

  3. Multicopter-Hersteller: DJI erleidet Millionenverluste durch interne Korruption
    Multicopter-Hersteller
    DJI erleidet Millionenverluste durch interne Korruption

    Mehrere Fälle von schwerer Korruption innerhalb des Unternehmens führen beim Drohnen-Hersteller DJI zu deutlichen Verlusten: Im Jahr 2018 verliert das chinesische Unternehmen dadurch insgesamt umgerechnet mehr als 130 Millionen Euro.


  1. 15:39

  2. 15:13

  3. 14:16

  4. 13:17

  5. 09:02

  6. 18:04

  7. 15:51

  8. 15:08