Abo
  1. Foren
  2. Kommentare
  3. Internet
  4. Alle Kommentare zum Artikel
  5. › Suchmaschine: Google beendet First…

User-Agent des Google-Crawlers

  1. Thema

Neues Thema Ansicht wechseln


  1. User-Agent des Google-Crawlers

    Autor: Xandros 14.09.17 - 15:37

    Einfach den User-Agent des Google-Crawlers im Browser einstellen, und das Problem sollte gelöst sein.

  2. Re: User-Agent des Google-Crawlers

    Autor: Spaghetticode 14.09.17 - 16:45

    Xandros schrieb:
    --------------------------------------------------------------------------------
    > Einfach den User-Agent des Google-Crawlers im Browser einstellen, und das
    > Problem sollte gelöst sein.

    Der „Trick“ ist allerdings so bekannt, dass er bei den meisten Paywalls gar nicht funktioniert. Man kann nämlich per DNS-Abfrage überprüfen, ob der Request wirklich vom Googlebot kam.

    Nur bei Foren, die eine Registrierung verlangen, funktioniert der „Trick“ meistens. Hier entgeht den Seitenbetreibern nämlich kein Geld, sodass der „Sicherheitsstandard“ niedriger ist als bei einer Paywall.

  3. Re: User-Agent des Google-Crawlers

    Autor: Xandros 14.09.17 - 17:32

    Danke für die Info :-)
    Ich wusste bisher nur, dass die keine Listen mit IP-Adressen veröffentlichen :-(

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. SYNLAB Holding Deutschland GmbH, Stuttgart, Tübingen
  2. Remira GmbH, Bochum
  3. InoNet Computer GmbH, Oberhaching
  4. Bundeskriminalamt, Meckenheim

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Blu-ray-Angebote
  1. (u. a. Game of Thrones, Big Bang Theory, The Vampire Diaries, Supernatural)
  2. (u. a. Logan Blu-ray 9,97€, Deadpool Blu-ray 8,97€, Fifty Shades of Grey Blu-ray 11,97€)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Age of Empires Definitive Edition Test: Trotz neuem Look zu rückständig
Age of Empires Definitive Edition Test
Trotz neuem Look zu rückständig
  1. Echtzeit-Strategie Definitive Edition von Age of Empires hat neuen Termin
  2. Matt Booty Mr. Minecraft wird neuer Spiele-Chef bei Microsoft
  3. Vorschau Spielejahr 2018 Zwischen Kuhstall und knallrümpfigen Krötern

Homepod im Test: Smarter Lautsprecher für den Apple-affinen Popfan
Homepod im Test
Smarter Lautsprecher für den Apple-affinen Popfan
  1. Rückstände Homepod macht weiße Ringe auf Holzmöbeln
  2. Smarter Lautsprecher Homepod schwer reparierbar
  3. Smarter Lautsprecher Homepod-Reparaturen kosten fast so viel wie ein neues Gerät

HP Omen X VR im Test: VR auf dem Rücken kann nur teils entzücken
HP Omen X VR im Test
VR auf dem Rücken kann nur teils entzücken
  1. 3D Rudder Blackhawk Mehr Frags mit Fußschlaufen
  2. Kreativ-Apps für VR-Headsets Austoben im VR-Atelier
  3. Apps und Games für VR-Headsets Der virtuelle Blade Runner und Sport mit Sparc

  1. Allensbach-Studie: Altersvorsorge selbständiger IT-Experten ist sehr solide
    Allensbach-Studie
    Altersvorsorge selbständiger IT-Experten ist sehr solide

    Über die Altersvorsorge selbständiger IT-Experten gibt es viele Spekulationen. Eine Allensbach-Studie hat 1.500 freiberufliche IT-Experten aus Deutschland befragt.

  2. Maschinelles Lernen: Biometrisches Captcha nutzt Sprache und Bild
    Maschinelles Lernen
    Biometrisches Captcha nutzt Sprache und Bild

    Gefilmt werden und eine Frage mündlich beantworten: Ein neues biometrisches Captcha-System soll verhindern, dass Algorithmen die Abfragen austricksen. Die Lösungszeit macht dabei den Unterschied zwischen Mensch und Maschine.

  3. Gigabit: Swisscom führt neue Mobilfunkgeneration 5G schon 2018 ein
    Gigabit
    Swisscom führt neue Mobilfunkgeneration 5G schon 2018 ein

    Swisscom will bereits in diesem Jahr mit 5G starten, zwei Jahre früher als die übrige Branche. Dafür müssten aber die Schweizer Mobilfunkwerte gelockert werden.


  1. 17:02

  2. 16:25

  3. 16:15

  4. 15:21

  5. 15:03

  6. 13:12

  7. 12:40

  8. 12:07