Abo
  1. Foren
  2. Kommentare
  3. Internet
  4. Alle Kommentare zum Artikel
  5. › Suchmaschine: Google beendet First…

User-Agent des Google-Crawlers

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. User-Agent des Google-Crawlers

    Autor: Xandros 14.09.17 - 15:37

    Einfach den User-Agent des Google-Crawlers im Browser einstellen, und das Problem sollte gelöst sein.

  2. Re: User-Agent des Google-Crawlers

    Autor: Spaghetticode 14.09.17 - 16:45

    Xandros schrieb:
    --------------------------------------------------------------------------------
    > Einfach den User-Agent des Google-Crawlers im Browser einstellen, und das
    > Problem sollte gelöst sein.

    Der „Trick“ ist allerdings so bekannt, dass er bei den meisten Paywalls gar nicht funktioniert. Man kann nämlich per DNS-Abfrage überprüfen, ob der Request wirklich vom Googlebot kam.

    Nur bei Foren, die eine Registrierung verlangen, funktioniert der „Trick“ meistens. Hier entgeht den Seitenbetreibern nämlich kein Geld, sodass der „Sicherheitsstandard“ niedriger ist als bei einer Paywall.

  3. Re: User-Agent des Google-Crawlers

    Autor: Xandros 14.09.17 - 17:32

    Danke für die Info :-)
    Ich wusste bisher nur, dass die keine Listen mit IP-Adressen veröffentlichen :-(

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Anzeige
Stellenmarkt
  1. Landeshauptstadt München, München
  2. Unitymedia GmbH, Kerpen, Stuttgart
  3. Bonitas Holding GmbH, Herford
  4. Genossenschaftsverband Bayern e.V., München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. (-10%) 53,99€
  2. 79€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Smartphoneversicherungen im Überblick: Teuer und meistens überflüssig
Smartphoneversicherungen im Überblick
Teuer und meistens überflüssig
  1. Winphone 5.0 Trekstor will es nochmal mit Windows 10 Mobile versuchen
  2. Librem 5 Das freie Linux-Smartphone ist finanziert
  3. Aquaris-V- und U2-Reihe BQ stellt neue Smartphones ab 180 Euro vor

Erneuerbare Energien: Siemens leitet die neue Steinzeit ein
Erneuerbare Energien
Siemens leitet die neue Steinzeit ein
  1. Siemens und Schunk Akkufahrzeuge werden mit 600 bis 1.000 Kilowatt aufgeladen
  2. Parkplatz-Erkennung Bosch und Siemens scheitern mit Pilotprojekten

Cubesats: Startup steuert riesigen Satellitenschwarm von Berlin aus
Cubesats
Startup steuert riesigen Satellitenschwarm von Berlin aus
  1. Arkyd-6 Planetary Resources startet bald ein neues Weltraumteleskop
  2. SAEx Internet-Seekabel für Südatlantikinsel St. Helena
  3. Sputnik Piep, piep, kleiner Satellit

  1. Riesenbestellung: Uber will mit 24.000 Volvo autonom Taxi fahren
    Riesenbestellung
    Uber will mit 24.000 Volvo autonom Taxi fahren

    Uber hat bei Volvo bis zu 24.000 Autos bestellt, die autonome Fahrten anbieten können. Damit könnte Uber einen Teil seiner Fahrer einsparen und Taxidienste anbieten, die den Nutzer abholen und wie ein Bus zum Ziel bringen.

  2. SuperSignal: Vodafone Deutschland schaltet Smart-Cells ab
    SuperSignal
    Vodafone Deutschland schaltet Smart-Cells ab

    Nutzer können die von Vodafone zugelassenen Smart-Cells Supersignal nicht mehr betreiben. Zum Jahresende werden die Femtozellen technisch abgeschaltet. Wi-Fi Calling soll hier der Ersatz sein.

  3. Top Gun 3D: Mit VR-Headset kostenlos ins Kino
    Top Gun 3D
    Mit VR-Headset kostenlos ins Kino

    Oculus Rift oder ein anderes VR-Headset aufgesetzt - und ab ins virtuelle Kino: Zusammen mit Paramount Pictures zeigt ein Startup im Dezember 2017 kostenlos den Actionfilm Top Gun 3D.


  1. 07:10

  2. 17:26

  3. 17:02

  4. 16:21

  5. 15:59

  6. 15:28

  7. 15:00

  8. 13:46