1. Foren
  2. Kommentare
  3. Politik/Recht
  4. Alle Kommentare zum Artikel
  5. › Leistungsschutzrecht: VG Media…

robots.txt

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. robots.txt

    Autor: hausaffe 28.04.15 - 18:47

    Disallow: /

  2. Re: robots.txt

    Autor: InsaneNerd 28.04.15 - 19:15

    Die Preesheinis und Politiker wissen ja gar nicht das es die robots.txt überhaupt gibt, außerdem gehts denen ja nur ums Geld und um sonst nix.

    ----------------------------------------------------------------------------------------------------------------
    Linux und Freie Software, statt Konzern kontrollierte Überwachungsplattformen

  3. Re: robots.txt

    Autor: hausaffe 28.04.15 - 20:15

    Das ist ja das schlimme: null ahnung von der materie

  4. Re: robots.txt...

    Autor: p3x4722 28.04.15 - 20:30

    ...was aber noch lange nicht bedeutet, das sich die Crawler/Suchmaschinen auch daran halten müssen. Und auch wenn Google immer wieder behauptet die Robot.txt zu respektieren, so nutzen sie dennoch jede Möglichkeit um an die Inhalte (auch von geschützten Seiten) heran zukommen.

  5. Re: robots.txt...

    Autor: hausaffe 28.04.15 - 21:07

    dann würde aber ersichtlich welche texte mit rech und welche ohne bezogen wurden außerdem könnte das protokoll erweitert werden

  6. Re: robots.txt

    Autor: tingelchen 28.04.15 - 21:23

    Die Presseheinis wissen sehr genau das es sowas gibt. Nur nutzen sie es nicht, weil sie dann nicht mehr indiziert werden ;)

  7. Re: robots.txt...

    Autor: tingelchen 28.04.15 - 21:25

    Der Google Bot melde sich auch als solcher. Es ist daher absolut gar kein Problem dem Google Bot etwas anderes zu präsentieren als einem normalen Nutzer.

  8. Re: robots.txt...

    Autor: smirg0l 28.04.15 - 21:54

    tingelchen schrieb:
    --------------------------------------------------------------------------------
    > Der Google Bot melde sich auch als solcher. Es ist daher absolut gar kein
    > Problem dem Google Bot etwas anderes zu präsentieren als einem normalen
    > Nutzer.

    Jau, dass da noch niemand darauf gekommen ist! *HUST*bmw*HUST*cloaking*HUST*

  9. Re: robots.txt...

    Autor: p3x4722 28.04.15 - 22:27

    Ist leider nicht immer der Fall. Wer mal sämtliche Zugriffe auf seine Seiten selber überwacht, wird auf IP's stoßen, welche anscheinend keinem gehören; bzw, welche sich nicht zu erkennen geben wollen. Der Rest ist dann nur noch mal die IP zu testen.
    Erstaunlich was man so alles dabei findet...

  10. Re: robots.txt...

    Autor: p3x4722 28.04.15 - 22:36

    Es gibt erstklassige Software, welche komplette Webseiten inc. deren Bildmaterial etc. auslesen und verwerten kann. Da braucht es keinen Crawler, der sich an irgend etwas halten müsste. Warum da noch eine Quelle nennen. "dpa; aw" kann man dann auch selber darunter einbinden.

  11. Re: robots.txt...

    Autor: crazypsycho 28.04.15 - 23:06

    tingelchen schrieb:
    --------------------------------------------------------------------------------
    > Der Google Bot melde sich auch als solcher. Es ist daher absolut gar kein
    > Problem dem Google Bot etwas anderes zu präsentieren als einem normalen
    > Nutzer.

    Wobei Google zur Prüfung auch mit einem normalen User-Agent auf die Seite geht. Gibt es da gravierende Unterschiede, so wird die Seite herabgestuft.

    Aber die Verlage wollen ja gefunden werden. Sie wollen halt dafür das jemand auf sie verlinkt auch noch Geld haben.

  12. Re: robots.txt...

    Autor: InsaneNerd 28.04.15 - 23:48

    Gibt ja durchaus auch Malware die sich als GoogleBot ausgibt um Inhalte zu scrapen. Mit dann eben permanent wechselnden IP adressen und so. Vermutlich Botnets die Seiten abscannen evtl auf der Suche nach Sicherheitslücken oder so.

    Da ist dann schonmal der eine oder andere "googlebot" dabei der sich nicht an die robots.txt hält weil er gar nicht von Google ist.

    ----------------------------------------------------------------------------------------------------------------
    Linux und Freie Software, statt Konzern kontrollierte Überwachungsplattformen

  13. Re: robots.txt...

    Autor: Moe479 29.04.15 - 04:35

    genau das ist ja das lächerliche.

    aber haben wir nicht diese problematik mit suchmaschienen nur weil die technische lösung des nichterlaubens nicht unserer gesetzgebung des erlaubens entspricht?

    passen sich nun gesetze den technischen lösungen oder technische lösungen den gesetzen an?

  14. Verlage wollen ACAP

    Autor: Brainfreeze 29.04.15 - 08:14

    tingelchen schrieb:
    --------------------------------------------------------------------------------
    > Die Presseheinis wissen sehr genau das es sowas gibt. Nur nutzen sie es
    > nicht, weil sie dann nicht mehr indiziert werden ;)

    Die Verlage lehnen die Robots.txt ab, weil diese ja im Prinzip nur steuert, ob indexiert werden darf oder nicht. Die Verlage wollen hingegen eine "detailierte" Steuerungsmöglichkeit des Indexierens und haben sich ACAP ausgedacht
    Hier ist etwas darüber geschreiben: http://www.suchmaschinentricks.de/aktuelles/business-und-seo/1831.php/comment-page-1

    "ACAP stellt eine Reihe von Verfahren dar, die letztlich eine erheblich Erweiterung des robots.txt-Protokolls sind; Erweiterungen, mit denen der Publisher einer Website der Suchmaschine bis ins Detail vorschreiben kann, wie diese Suchmaschine seine Website zu indexieren hat"

    Und Google wiederum lehnt ACAP ab, weil man damit natürlich massiv die Suchergebnisse und deren Dartstellung manipulieren kann.



    1 mal bearbeitet, zuletzt am 29.04.15 08:20 durch Brainfreeze.

  15. Re: robots.txt

    Autor: mnementh 29.04.15 - 09:44

    InsaneNerd schrieb:
    --------------------------------------------------------------------------------
    > Die Preesheinis und Politiker wissen ja gar nicht das es die robots.txt
    > überhaupt gibt, außerdem gehts denen ja nur ums Geld und um sonst nix.
    Oh, die Heinis bei Springer wissen sehr wohl was die robots.txt ist:
    http://www.welt.de/robots.txt

  16. Re: robots.txt...

    Autor: mnementh 29.04.15 - 09:45

    p3x4722 schrieb:
    --------------------------------------------------------------------------------
    > ...was aber noch lange nicht bedeutet, das sich die Crawler/Suchmaschinen
    > auch daran halten müssen. Und auch wenn Google immer wieder behauptet die
    > Robot.txt zu respektieren, so nutzen sie dennoch jede Möglichkeit um an die
    > Inhalte (auch von geschützten Seiten) heran zukommen.
    Aha. Hast Du ein Beispiel, oder nur unbewiesene Behauptungen?

  17. Re: robots.txt...

    Autor: p3x4722 29.04.15 - 11:50

    ganz einfach mal die aufgaben von g-analytics selber machen! dazu braucht man kein Fachwissen, sondern nur einfache php-kenntnisse und ein bisschen Sachverstand.
    "g-analytics zu verwenden ist aber wesentlich einfach und g würde es doch nie einfallen den kleinen "mann" -mir ist durchaus bewusst, das g keine unterschiede zwischen Männlein und Weiblein macht, ist halt so ein spruch- zu betrügen."

  18. Re: Verlage wollen ACAP

    Autor: crazypsycho 29.04.15 - 18:18

    > Und Google wiederum lehnt ACAP ab, weil man damit natürlich massiv die
    > Suchergebnisse und deren Dartstellung manipulieren kann.

    Was auch richtig so ist. Google soll Seiten aufgrund des echten Inhaltes indexieren und nicht nach irgendwas was nur in der erweiterten robots steht.

  19. Re: robots.txt...

    Autor: crazypsycho 29.04.15 - 18:22

    Moe479 schrieb:
    --------------------------------------------------------------------------------
    > genau das ist ja das lächerliche.

    Was ist lächerlich daran dass Google überprüft ob die Betreiber hier schummeln wollen um weiter oben in den Ergebnissen zu sein?

    > aber haben wir nicht diese problematik mit suchmaschienen nur weil die
    > technische lösung des nichterlaubens nicht unserer gesetzgebung des
    > erlaubens entspricht?

    Ich sehe da keine rechtlichen Probleme. Google zeigt bei den Ergebnissen ein Zitat mitsamt Quellenangabe an. Das angezeigte Zitat kann man durch die Meta-Description sogar selbst wählen.

    > passen sich nun gesetze den technischen lösungen oder technische lösungen
    > den gesetzen an?

    Die Gesetze passen sich der Lobby an. Das Leistungsschutzrecht ist nicht begründbar und wurde nur auf Druck der Lobby eingeführt.

  20. Re: robots.txt...

    Autor: p3x4722 30.04.15 - 03:16

    crazypsycho schrieb:
    --------------------------------------------------------------------------------
    > Moe479 schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > genau das ist ja das lächerliche.
    >
    > Was ist lächerlich daran dass Google überprüft ob die Betreiber hier
    > schummeln wollen um weiter oben in den Ergebnissen zu sein?

    lustig! also wenn ich Content auf meinen seiten biete, der es wert ist auf den vorderen plätzen in der suche von Google aufzutauchen, schauen die auch noch nach, ob das auch wirklich stimmt? das märchen kann man doch keinen mehr erzählen.

    >
    > > aber haben wir nicht diese problematik mit suchmaschienen nur weil die
    > > technische lösung des nichterlaubens nicht unserer gesetzgebung des
    > > erlaubens entspricht?
    >
    > Ich sehe da keine rechtlichen Probleme. Google zeigt bei den Ergebnissen
    > ein Zitat mitsamt Quellenangabe an. Das angezeigte Zitat kann man durch die
    > Meta-Description sogar selbst wählen.
    >
    > > passen sich nun gesetze den technischen lösungen oder technische
    > lösungen
    > > den gesetzen an?
    >
    > Die Gesetze passen sich der Lobby an. Das Leistungsschutzrecht ist nicht
    > begründbar und wurde nur auf Druck der Lobby eingeführt.

    ging es beim leistungsschutzrecht nicht vielmehr darum, das Google und dergleichen ganze textpassagen der online angebote von verlagen in aufbereiteter form wieder in ihre eigenen dienste -nicht die suche- eingebunden haben und die verlage dafür bezahlt werden wollten, da diese dienste -auch eigenwerbung ist werbung- mit werbung gewinne erzielen?

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. User Experience Research Analyst (m/w/d)
    Elektrophoenix GmbH, Blomberg
  2. IT Specialist Server und Virtualisierung (m/w/d)
    Endress+Hauser Conducta GmbH+Co. KG, Gerlingen (bei Stuttgart)
  3. IT-Anwender- und Standort Support (m/w/d)
    Radeberger Gruppe KG, Radeberg
  4. IT Administrator (m/w/d)
    Altonaer Wellpappenfabrik GmbH & Co. KG, Tornesch

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)
  2. (u. a. Ryzen 7 5800X für 469€)


Haben wir etwas übersehen?

E-Mail an news@golem.de