robots.txt

[3of5]

ich frage mich bei solchen Artikeln immer ob die noch nie etwas von der robots.txt gehört haben.
Der Google Crawler beachtet die ja, und da sollte doch dann ein noindex vollkommen ausreichend sein, damit er die Seiten eben nicht cached.
Dafür is das ja schließlich da.

[GodsBoss]

3of5 schrieb:
-------------------------------------------------------
> ich frage mich bei solchen Artikeln immer ob die
> noch nie etwas von der robots.txt gehört haben.
> Der Google Crawler beachtet die ja, und da sollte
> doch dann ein noindex vollkommen ausreichend sein,
> damit er die Seiten eben nicht cached.
> Dafür is das ja schließlich da.
Hmmm, warum eigentlich nicht. Könnte man von dem Nichtvorhandensein einer robots.txt auf ein implizit gegebenes Einverständnis der Urheber schließen, die Inhalte derart (wie Google) zu nutzen?

[wolfgang]

mmh wie bekomme ich eine robots.txt speziell auf meine gästebuch eintrag ans laufen?
und wer sagt das google oder andere sich an diese datei halten???


GodsBoss schrieb:
-------------------------------------------------------
> 3of5 schrieb:
> --------------------------------------------------
> -----
> > ich frage mich bei solchen Artikeln immer ob
> die
> noch nie etwas von der robots.txt gehört
> haben.
> Der Google Crawler beachtet die ja,
> und da sollte
> doch dann ein noindex
> vollkommen ausreichend sein,
> damit er die
> Seiten eben nicht cached.
> Dafür is das ja
> schließlich da.
> Hmmm, warum eigentlich nicht. Könnte man von dem
> Nichtvorhandensein einer robots.txt auf ein
> implizit gegebenes Einverständnis der Urheber
> schließen, die Inhalte derart (wie Google) zu
> nutzen?