Abo
  1. Foren
  2. Kommentare
  3. Internet
  4. Alle Kommentare zum Artikel
  5. › Suchmaschine: Google beendet First…

User-Agent des Google-Crawlers

  1. Thema

Neues Thema Ansicht wechseln


  1. User-Agent des Google-Crawlers

    Autor: Xandros 14.09.17 - 15:37

    Einfach den User-Agent des Google-Crawlers im Browser einstellen, und das Problem sollte gelöst sein.

  2. Re: User-Agent des Google-Crawlers

    Autor: Spaghetticode 14.09.17 - 16:45

    Xandros schrieb:
    --------------------------------------------------------------------------------
    > Einfach den User-Agent des Google-Crawlers im Browser einstellen, und das
    > Problem sollte gelöst sein.

    Der „Trick“ ist allerdings so bekannt, dass er bei den meisten Paywalls gar nicht funktioniert. Man kann nämlich per DNS-Abfrage überprüfen, ob der Request wirklich vom Googlebot kam.

    Nur bei Foren, die eine Registrierung verlangen, funktioniert der „Trick“ meistens. Hier entgeht den Seitenbetreibern nämlich kein Geld, sodass der „Sicherheitsstandard“ niedriger ist als bei einer Paywall.

  3. Re: User-Agent des Google-Crawlers

    Autor: Xandros 14.09.17 - 17:32

    Danke für die Info :-)
    Ich wusste bisher nur, dass die keine Listen mit IP-Adressen veröffentlichen :-(

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Deutsche Schillergesellschaft e.V., Marbach am Neckar
  2. Universität Konstanz, Konstanz
  3. Honda Research Institute Europe GmbH, Offenbach
  4. Landesbetrieb IT.Niedersachsen, Hannover

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. und zusätzlich 50€ Rabatt auf Notebooks über 300€ mit Gutscheincode "MASTERPASS50" und...
  2. 1.099€
  3. 39,99€ statt 59,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Garmin im Hands on: Alle Fenix 5 Plus bieten Musik und Offlinenavigation
Garmin im Hands on
Alle Fenix 5 Plus bieten Musik und Offlinenavigation

Selbst das kleinste Modell der Fenix 5 von Garmin verfügt in der neuen Plus-Version über 16 GByte statt über 64 MByte internem Speicher. Der wird für Musik und Offlinekarten mit frischen Ideen genutzt - Golem.de hat die Sportuhren im Hands on ausprobiert.


    Alte gegen neue Model M: Wenn die Knickfedern wohlig klackern
    Alte gegen neue Model M
    Wenn die Knickfedern wohlig klackern

    Seit 1999 gibt es keine Model-M-Tastaturen mit IBM-Logo mehr - das bedeutet aber nicht, dass man keine neuen Keyboards mit dem legendären Tippgefühl bekommt: Unicomp baut die Geräte weiterhin. Wir haben eines der neuen Modelle mit einer Model M von 1992 verglichen.
    Ein Test von Tobias Költzsch

    1. Kailh KS-Switch im Test Die bessere Alternative zu Cherrys MX Blue
    2. Apple-Patent Krümel sollen Macbook-Tastatur nicht mehr stören
    3. Tastaturen Matias bringt Alternative zum Apple Wired Keyboard

    Urheberrrecht: Etappensieg für Leistungsschutzrecht und Uploadfilter
    Urheberrrecht
    Etappensieg für Leistungsschutzrecht und Uploadfilter

    Trotz aller Proteste: Der Rechtsausschuss des Europaparlaments votiert für ein Leistungsschutzrecht und Uploadfilter. Nun könnte das Plenum sich noch dagegenstellen.

    1. EU-Urheberrechtsreform Wie die Affen auf der Schreibmaschine
    2. Leistungsschutzrecht VG Media darf Google weiterhin bevorzugen
    3. EU-Verhandlungen Regierung fordert deutsche Version des Leistungsschutzrechts

    1. Elektro-Rennserie EPCS: Der Renn-Tesla ist fertig
      Elektro-Rennserie EPCS
      Der Renn-Tesla ist fertig

      Leichter, sicherer, bessere Beschleunigung: Der Vermarkter Electric GT Holdings und das Rennteam SPV Racing haben die Rennversion des Tesla Model S vorgestellt. Die erste Saison der neuen Elektrorennserie EPCS beginnt im Herbst.

    2. Telekom: Zahl der 5G-Antennen noch unklar
      Telekom
      Zahl der 5G-Antennen noch unklar

      Die Deutsche Telekom will sich auf die Anzahl der neuen Antennen für die erheblich kleineren 5G-Funkzellen noch nicht festlegen. Sicher gibt es interne Berechnungen, aber die bleiben geheim.

    3. Mobile Game: Westworld Mobile soll Code von Fallout Shelter verwenden
      Mobile Game
      Westworld Mobile soll Code von Fallout Shelter verwenden

      Unter anderem ein Bug ist laut einer Klageschrift von Bethesda ein Indiz darauf, dass das neu veröffentlichte Westworld Mobile neben vielen Inhalten auch Teile des Quellcodes von Fallout Shelter übernommen hat.


    1. 13:30

    2. 13:00

    3. 12:46

    4. 12:31

    5. 12:03

    6. 12:01

    7. 11:48

    8. 11:38