1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol: Google…

Bringt auf diese Weise nichts.

  1. Thema

Neues Thema Ansicht wechseln


  1. Bringt auf diese Weise nichts.

    Autor: Anonymer Nutzer 02.07.19 - 11:53

    Wenn ich in eine robots.txt (sinngemäß) reinschreibe, dass hier bitte nicht geschaut werden soll, wird es Crawler geben, die dann erst recht schauen.

  2. Re: Bringt auf diese Weise nichts.

    Autor: AllDayPiano 02.07.19 - 12:02

    Wenn es Crawler gibt, die die Robots.txt ignorieren, werden diese erst recht crawlen - egal ob mit, oder ohne Robots.

  3. Re: Bringt auf diese Weise nichts.

    Autor: HeroFeat 02.07.19 - 12:30

    Natürlich wird es die geben. Aber eine Robots.txt ist ja kein Sicherheitsfeature um Sachen zu verstecken. Es ist nur ein Tool um zu verhindern, das z.b. der Wordpress Administrations Login nicht in den Suchergebnissen auftaucht, da es einfach ein sinnloses Ergebnis wäre. Doch ein sicherer Login dahinter muss trotzdem implementiert werden.

  4. Re: Bringt auf diese Weise nichts.

    Autor: ZeldaFreak 02.07.19 - 13:06

    Alternativ kann man auch selber über den Useragent gehen und die Bots aktiv hindern. Den Useragent können die auch ändern, aber man kann ja vorher die Bots bannen, die sich nicht an die robots.txt halten. Vermute mal dass einige Bots trotzdem gucken, aber die Seiten nicht anzeigen.

    Ein Schutz ist das aber nicht. Gibt trotzdem genügend Bots die überall gucken und auf gut Glück mal versuchen auf Admin Panels zu kommen. Man sollte Standardpfade vermeiden und keine Referenz für Bots sichtbar haben. Man kann da aber auf der 404 Seite ordentlich tracken und Neugierige aussperren. Ist sowieso keine schlechte Idee. Man sieht dann welche Seiten versucht wurden aufzurufen und wenn man tatsächlich einen toten Link hat, sieht man das.

    Trotzdem ein endgültiger Schutz ist das nicht. Den gibt es leider nicht, aber man kann es denen so schwer machen wie möglich.

  5. Re: Bringt auf diese Weise nichts.

    Autor: phade 02.07.19 - 13:09

    Äh, wenn du deine Login-URL (egal bei welchem CMS) verbiegst und das solltest du tun und dann das Verzeichnis als verboten in die robots.txt schreibt, kannst du auch gleich den default-Pfad nehmen.

    Ein Disallow wirkt nur negativ, weil es Hacker magisch anzieht.

    Wenn dich zu viele passwortratende Logins stören, solltest du a) ein Security-Plugin ins CMS nehmen und fail2ban anwerfen.

    Die robots.txt ist nur ein Feature, um die Suche für die Bots zu erleichtern. Das kann man als kostenlose Unterstützung an die Suchmaschinenbetreiber oder eben als SEO werten.



    1 mal bearbeitet, zuletzt am 02.07.19 13:10 durch phade.

  6. Re: Bringt auf diese Weise nichts.

    Autor: kazhar 02.07.19 - 19:04

    Du verstehst den Sinn der robots.txt falsch!

    Die Idee dahinter ist nicht irgendwas "zu versteckten " oder "zu schützen", sondern den Crawler einen Hinweis zu geben, was in den Index soll (sinnvoller Content) und was nicht (dynamische Grütze oder der Admin Login)

  7. Re: Bringt auf diese Weise nichts.

    Autor: Kein Kostverächter 03.07.19 - 10:26

    Die robots.txt ist kein Sicherheitsfeature und war auch nie als solches gedacht. Sie ist ein Tool, um Suchamschinen auf der eigenen Site auf die relevanten Bereiche zu lenken. Sie kann einfach ignoriert werden, und böswillige Crawler tun dies auch.
    Wenn du sichergehen willst, dass ein Verzeichnis auf deinem Webserver nicht gecrawlt wird, dann schütze es mindestens mit Basic Authentication via .htaccess. Das kann man zwar auch knacken, was aber für Crawler zu aufwändig ist. Hochsensible Daten sollten auf einem Webserver nur in verschlüsselter Form vorliegen und möglichst nur per Client-seitig vorhandenem Key entschlüsselt werden. Das ist zwar mehr Aufwand, aber wenn man Daten vor unberechtigtem Zugriff schützen will, muss man in den sauren Apfel beißen und es entweder selber lernen, es richtig machen oder jemanden bezahlen, der sich damit auskennt.

    Bis die Tage,

    KK

    ----------------------------------------------------------
    Mach dir deine eigenen Götter, und unterlasse es, dich mit einer schnöden Religion zu beflecken.
    (Epikur, griech. Phil., 341-270 v.Chr.)
    ----------------------------------------------------------
    We provide AI Blockchain Cloud (ABC) enabled applications bringing Enterprise level synergies to vertically integrated business processes.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Schock GmbH, Regen
  2. LISTAN GmbH, Glinde
  3. Institut für angewandte Gesundheitsforschung Berlin, Berlin
  4. Der Polizeipräsident in Berlin, Berlin

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)


Haben wir etwas übersehen?

E-Mail an news@golem.de


  1. Ciclone E4: Garelli bringt kleines Elektro-Moped mit Wechselakku
    Ciclone E4
    Garelli bringt kleines Elektro-Moped mit Wechselakku

    Das Garelli Ciclone E4 mit entnehmbarem Akku ist je nach Version bis zu 45 km/h oder bis zu 70 km/h schnell unterwegs. Es soll in der Stadt als Autoersatz oder fürs Wohnmobil als Begleiter dienen.

  2. Smartphone: Google stellt das Pixel 4 ein
    Smartphone
    Google stellt das Pixel 4 ein

    Nach nicht mal einem Jahr beendet Google die Produktion des Pixel 4 und Pixel 4 XL. Noch im Herbst soll aber der Nachfolger erscheinen.

  3. Corona: Gewerkschaft sieht Schulen schlecht digital ausgestattet
    Corona
    Gewerkschaft sieht Schulen schlecht digital ausgestattet

    In vielen Bundesländern beginnt die Schule wieder, die zuständige Gewerkschaft erwartet ein Jahr mit "viel Improvisation". Grund sei die schlechte digitale Ausstattung.


  1. 14:58

  2. 14:11

  3. 13:37

  4. 12:56

  5. 12:01

  6. 14:06

  7. 13:41

  8. 12:48