1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol: Google…

Bringt auf diese Weise nichts.

Neue Foren im Freiraum! Raumfahrt und freie Software haben jetzt einen Platz, die Games tummeln sich jetzt alle in einem Forum.
  1. Thema

Neues Thema Ansicht wechseln


  1. Bringt auf diese Weise nichts.

    Autor: Anonymer Nutzer 02.07.19 - 11:53

    Wenn ich in eine robots.txt (sinngemäß) reinschreibe, dass hier bitte nicht geschaut werden soll, wird es Crawler geben, die dann erst recht schauen.

  2. Re: Bringt auf diese Weise nichts.

    Autor: AllDayPiano 02.07.19 - 12:02

    Wenn es Crawler gibt, die die Robots.txt ignorieren, werden diese erst recht crawlen - egal ob mit, oder ohne Robots.

  3. Re: Bringt auf diese Weise nichts.

    Autor: HeroFeat 02.07.19 - 12:30

    Natürlich wird es die geben. Aber eine Robots.txt ist ja kein Sicherheitsfeature um Sachen zu verstecken. Es ist nur ein Tool um zu verhindern, das z.b. der Wordpress Administrations Login nicht in den Suchergebnissen auftaucht, da es einfach ein sinnloses Ergebnis wäre. Doch ein sicherer Login dahinter muss trotzdem implementiert werden.

  4. Re: Bringt auf diese Weise nichts.

    Autor: Anonymer Nutzer 02.07.19 - 13:06

    Alternativ kann man auch selber über den Useragent gehen und die Bots aktiv hindern. Den Useragent können die auch ändern, aber man kann ja vorher die Bots bannen, die sich nicht an die robots.txt halten. Vermute mal dass einige Bots trotzdem gucken, aber die Seiten nicht anzeigen.

    Ein Schutz ist das aber nicht. Gibt trotzdem genügend Bots die überall gucken und auf gut Glück mal versuchen auf Admin Panels zu kommen. Man sollte Standardpfade vermeiden und keine Referenz für Bots sichtbar haben. Man kann da aber auf der 404 Seite ordentlich tracken und Neugierige aussperren. Ist sowieso keine schlechte Idee. Man sieht dann welche Seiten versucht wurden aufzurufen und wenn man tatsächlich einen toten Link hat, sieht man das.

    Trotzdem ein endgültiger Schutz ist das nicht. Den gibt es leider nicht, aber man kann es denen so schwer machen wie möglich.

  5. Re: Bringt auf diese Weise nichts.

    Autor: phade 02.07.19 - 13:09

    Äh, wenn du deine Login-URL (egal bei welchem CMS) verbiegst und das solltest du tun und dann das Verzeichnis als verboten in die robots.txt schreibt, kannst du auch gleich den default-Pfad nehmen.

    Ein Disallow wirkt nur negativ, weil es Hacker magisch anzieht.

    Wenn dich zu viele passwortratende Logins stören, solltest du a) ein Security-Plugin ins CMS nehmen und fail2ban anwerfen.

    Die robots.txt ist nur ein Feature, um die Suche für die Bots zu erleichtern. Das kann man als kostenlose Unterstützung an die Suchmaschinenbetreiber oder eben als SEO werten.



    1 mal bearbeitet, zuletzt am 02.07.19 13:10 durch phade.

  6. Re: Bringt auf diese Weise nichts.

    Autor: kazhar 02.07.19 - 19:04

    Du verstehst den Sinn der robots.txt falsch!

    Die Idee dahinter ist nicht irgendwas "zu versteckten " oder "zu schützen", sondern den Crawler einen Hinweis zu geben, was in den Index soll (sinnvoller Content) und was nicht (dynamische Grütze oder der Admin Login)

  7. Re: Bringt auf diese Weise nichts.

    Autor: Kein Kostverächter 03.07.19 - 10:26

    Die robots.txt ist kein Sicherheitsfeature und war auch nie als solches gedacht. Sie ist ein Tool, um Suchamschinen auf der eigenen Site auf die relevanten Bereiche zu lenken. Sie kann einfach ignoriert werden, und böswillige Crawler tun dies auch.
    Wenn du sichergehen willst, dass ein Verzeichnis auf deinem Webserver nicht gecrawlt wird, dann schütze es mindestens mit Basic Authentication via .htaccess. Das kann man zwar auch knacken, was aber für Crawler zu aufwändig ist. Hochsensible Daten sollten auf einem Webserver nur in verschlüsselter Form vorliegen und möglichst nur per Client-seitig vorhandenem Key entschlüsselt werden. Das ist zwar mehr Aufwand, aber wenn man Daten vor unberechtigtem Zugriff schützen will, muss man in den sauren Apfel beißen und es entweder selber lernen, es richtig machen oder jemanden bezahlen, der sich damit auskennt.

    Bis die Tage,

    KK

    ----------------------------------------------------------
    Mach dir deine eigenen Götter, und unterlasse es, dich mit einer schnöden Religion zu beflecken.
    (Epikur, griech. Phil., 341-270 v.Chr.)
    ----------------------------------------------------------
    We provide AI Blockchain Cloud (ABC) enabled applications bringing Enterprise level synergies to vertically integrated business processes.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. ERP-Berater im militärischen Bereich (gn)
    ESG Elektroniksystem- und Logistik-GmbH, Koblenz
  2. (Senior) SAP Technology Engineer (m/w/d)
    OEDIV KG, Oldenburg
  3. Teamleiter IT Solutions (m/w/d)
    Melitta Gruppe, Bremen
  4. Softwareentwickler Golang (m/w/d)
    AKKA, Stuttgart

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. (u. a. Ryzen 5 5600X 358,03€)


Haben wir etwas übersehen?

E-Mail an news@golem.de