1. Foren
  2. Kommentare
  3. Internet
  4. Alle Kommentare zum Artikel
  5. › DRM für Weblinks? Google weiter…

eigenes protokoll?

Helft uns, die neuen Foren besser zu machen! Unsere kleine Umfrage dauert nur wenige Sekunden!
  1. Thema

Neues Thema Ansicht wechseln


  1. eigenes protokoll?

    Autor: hwguy 25.03.08 - 14:29

    wie sinnlos ist das denn? wenn robots.txt nicht reicht, filtert man halt nach useragent - schließlich surfen die spider mit einem eindeutig identifizierbaren useragent rum.. und die die sich aus fun nen google spider useragent einstellen, sind dann selbst schuld wenn die hp nicht mehr richtig tut

  2. Re: eigenes protokoll?

    Autor: TheHolyCow 25.03.08 - 14:32

    hwguy schrieb:
    -------------------------------------------------------
    > wie sinnlos ist das denn? wenn robots.txt nicht
    > reicht, filtert man halt nach useragent -
    > schließlich surfen die spider mit einem eindeutig
    > identifizierbaren useragent rum.. und die die sich
    > aus fun nen google spider useragent einstellen,
    > sind dann selbst schuld wenn die hp nicht mehr
    > richtig tut

    Ich muss manchmal auch meinen Browser als Internet Explorer maskieren, damit ich auf webseiten zugreifen kann, die nur den IE rauflassen...

  3. Re: eigenes protokoll?

    Autor: besn 25.03.08 - 14:51

    hwguy schrieb:
    -------------------------------------------------------
    > und die die sich
    > aus fun nen google spider useragent einstellen,
    > sind dann selbst schuld wenn die hp nicht mehr
    > richtig tut

    wer sollte sich zum spass einen spider-ua einstellen? manche webseiten will ich gar nicht so präsentiert bekommen wie sie spider sieht. aba recht hast du, wobei user-agent exclude nur solang gut ist solang da ein eideutiger statuscode mitgesendet wird, manche spider solln ja angeblich noch als ie/mozilla nachgrabben um zu sehen ob sie gefaked werden, letztens war der yahoo spider als nokia handy getarnt um meine mobilen inhalte zu grabben, also ganz so einfach dürfte das dann doch nicht sein.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. PKS Software GmbH, Ravensburg
  2. Sand- und Kiesvertrieb Freiburg i. Br. Flückiger GmbH & Co. KG, Freiburg im Breisgau
  3. d.velop Life Sciences GmbH, Gescher
  4. Lebensversicherung von 1871 a. G. München, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote


Haben wir etwas übersehen?

E-Mail an news@golem.de


Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme