Abo
  1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Robots Exclusion Protocol: Google…

Bringt auf diese Weise nichts.

  1. Thema

Neues Thema Ansicht wechseln


  1. Bringt auf diese Weise nichts.

    Autor: Anonymer Nutzer 02.07.19 - 11:53

    Wenn ich in eine robots.txt (sinngemäß) reinschreibe, dass hier bitte nicht geschaut werden soll, wird es Crawler geben, die dann erst recht schauen.

  2. Re: Bringt auf diese Weise nichts.

    Autor: AllDayPiano 02.07.19 - 12:02

    Wenn es Crawler gibt, die die Robots.txt ignorieren, werden diese erst recht crawlen - egal ob mit, oder ohne Robots.

  3. Re: Bringt auf diese Weise nichts.

    Autor: HeroFeat 02.07.19 - 12:30

    Natürlich wird es die geben. Aber eine Robots.txt ist ja kein Sicherheitsfeature um Sachen zu verstecken. Es ist nur ein Tool um zu verhindern, das z.b. der Wordpress Administrations Login nicht in den Suchergebnissen auftaucht, da es einfach ein sinnloses Ergebnis wäre. Doch ein sicherer Login dahinter muss trotzdem implementiert werden.

  4. Re: Bringt auf diese Weise nichts.

    Autor: ZeldaFreak 02.07.19 - 13:06

    Alternativ kann man auch selber über den Useragent gehen und die Bots aktiv hindern. Den Useragent können die auch ändern, aber man kann ja vorher die Bots bannen, die sich nicht an die robots.txt halten. Vermute mal dass einige Bots trotzdem gucken, aber die Seiten nicht anzeigen.

    Ein Schutz ist das aber nicht. Gibt trotzdem genügend Bots die überall gucken und auf gut Glück mal versuchen auf Admin Panels zu kommen. Man sollte Standardpfade vermeiden und keine Referenz für Bots sichtbar haben. Man kann da aber auf der 404 Seite ordentlich tracken und Neugierige aussperren. Ist sowieso keine schlechte Idee. Man sieht dann welche Seiten versucht wurden aufzurufen und wenn man tatsächlich einen toten Link hat, sieht man das.

    Trotzdem ein endgültiger Schutz ist das nicht. Den gibt es leider nicht, aber man kann es denen so schwer machen wie möglich.

  5. Re: Bringt auf diese Weise nichts.

    Autor: phade 02.07.19 - 13:09

    Äh, wenn du deine Login-URL (egal bei welchem CMS) verbiegst und das solltest du tun und dann das Verzeichnis als verboten in die robots.txt schreibt, kannst du auch gleich den default-Pfad nehmen.

    Ein Disallow wirkt nur negativ, weil es Hacker magisch anzieht.

    Wenn dich zu viele passwortratende Logins stören, solltest du a) ein Security-Plugin ins CMS nehmen und fail2ban anwerfen.

    Die robots.txt ist nur ein Feature, um die Suche für die Bots zu erleichtern. Das kann man als kostenlose Unterstützung an die Suchmaschinenbetreiber oder eben als SEO werten.



    1 mal bearbeitet, zuletzt am 02.07.19 13:10 durch phade.

  6. Re: Bringt auf diese Weise nichts.

    Autor: kazhar 02.07.19 - 19:04

    Du verstehst den Sinn der robots.txt falsch!

    Die Idee dahinter ist nicht irgendwas "zu versteckten " oder "zu schützen", sondern den Crawler einen Hinweis zu geben, was in den Index soll (sinnvoller Content) und was nicht (dynamische Grütze oder der Admin Login)

  7. Re: Bringt auf diese Weise nichts.

    Autor: Kein Kostverächter 03.07.19 - 10:26

    Die robots.txt ist kein Sicherheitsfeature und war auch nie als solches gedacht. Sie ist ein Tool, um Suchamschinen auf der eigenen Site auf die relevanten Bereiche zu lenken. Sie kann einfach ignoriert werden, und böswillige Crawler tun dies auch.
    Wenn du sichergehen willst, dass ein Verzeichnis auf deinem Webserver nicht gecrawlt wird, dann schütze es mindestens mit Basic Authentication via .htaccess. Das kann man zwar auch knacken, was aber für Crawler zu aufwändig ist. Hochsensible Daten sollten auf einem Webserver nur in verschlüsselter Form vorliegen und möglichst nur per Client-seitig vorhandenem Key entschlüsselt werden. Das ist zwar mehr Aufwand, aber wenn man Daten vor unberechtigtem Zugriff schützen will, muss man in den sauren Apfel beißen und es entweder selber lernen, es richtig machen oder jemanden bezahlen, der sich damit auskennt.

    Bis die Tage,

    KK

    ----------------------------------------------------------
    Mach dir deine eigenen Götter, und unterlasse es, dich mit einer schnöden Religion zu beflecken.
    (Epikur, griech. Phil., 341-270 v.Chr.)
    ----------------------------------------------------------
    We provide AI Blockchain Cloud (ABC) enabled applications bringing Enterprise level synergies to vertically integrated business processes.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Universitätsmedizin der Johannes Gutenberg-Universität Mainz, Mainz
  2. BG BAU - Berufsgenossenschaft der Bauwirtschaft, Berlin
  3. Berliner Verkehrsbetriebe (BVG), Berlin
  4. Dataport, Hamburg

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 3,99€
  2. 21,95€
  3. 4,99€
  4. (u. a. FIFA 19, Battlefield V, Space Huilk Tactics, Rainbow Six Siege)


Haben wir etwas übersehen?

E-Mail an news@golem.de


IT-Arbeit: Was fürs Auge
IT-Arbeit
Was fürs Auge

Notebook, Display und Smartphone sind für alle, die in der IT arbeiten, wichtige Werkzeuge. Damit man etwas mit ihnen anfangen kann, ist ein anderes Werkzeug mindestens genauso wichtig: die Augen. Wir geben Tipps, wie man auch als Freiberufler augenschonend arbeiten kann.
Von Björn König

  1. Verdeckte Leiharbeit Wenn die Firma IT-Spezialisten als Fremdpersonal einsetzt
  2. IT-Standorte Wie kann Leipzig Hypezig bleiben?
  3. IT-Fachkräftemangel Arbeit ohne Ende

Arbeit: Hilfe für frustrierte ITler
Arbeit
Hilfe für frustrierte ITler

Viele ITler sind frustriert, weil ihre Führungskraft nichts vom Fach versteht und sie mit Ideen gegen Wände laufen. Doch nicht immer ist an der Situation nur die Führungskraft schuld. Denn oft verkaufen die ITler ihre Ideen einfach nicht gut genug.
Von Robert Meyer

  1. IT-Forensikerin Beweise sichern im Faradayschen Käfig
  2. Homeoffice Wenn der Arbeitsplatz so anonym ist wie das Internet selbst
  3. Bundesagentur für Arbeit Informatikjobs bleiben 132 Tage unbesetzt

Hyundai Kona Elektro: Der Ausdauerläufer
Hyundai Kona Elektro
Der Ausdauerläufer

Der Hyundai Kona Elektro begeistert mit Energieeffizienz, Genauigkeit bei der Reichweitenberechnung und umfangreicher technischer Ausstattung. Nur in Sachen Emotionalität und Temperament könnte er etwas nachlegen.
Ein Praxistest von Dirk Kunde

  1. Be emobil Berliner Ladesäulen auf Verbrauchsabrechnung umgestellt
  2. ACM City Miniauto soll als Kleintransporter und Mietwagen Furore machen
  3. Startup Rivian plant elektrochromes Glasdach für seine Elektro-SUVs

  1. Routerfreiheit: Vodafone will noch keine eigenen Glasfasermodems zulassen
    Routerfreiheit
    Vodafone will noch keine eigenen Glasfasermodems zulassen

    Vodafone streitet sich mit der Bundesnetzagentur, ob die Routerfreiheit in Glasfasernetzen auch für das Glasfasermodem (ONT) gilt. Ein Nutzer argumentiert dagegen, das öffentliche Glasfasernetz ende an der Glasfaser-Teilnehmeranschlussdose, wo man als Endkunde sein ONT verbinden kann.

  2. Mercedes EQV: Daimler zeigt elektrische Großraumlimousine
    Mercedes EQV
    Daimler zeigt elektrische Großraumlimousine

    Stilvoll elektrisch shuttlen: Daimler hat für die IAA die serienreife Version des Mercedes EQC angekündigt. In dem Elektro-Van haben sechs bis acht Insassen Platz.

  3. Fogcam: Älteste bestehende Webcam wird nach 25 Jahren abgeschaltet
    Fogcam
    Älteste bestehende Webcam wird nach 25 Jahren abgeschaltet

    Die Webcam Fogcam nimmt seit 1994 Bilder vom Gelände der San Francisco State University aus auf. Nach 25 Jahren wird die Kamera nun abgeschaltet, laut den Machern unter anderem wegen fehlender guter Aussicht.


  1. 18:01

  2. 17:40

  3. 17:03

  4. 16:41

  5. 16:04

  6. 15:01

  7. 15:00

  8. 14:42