Konkurrenzanalyse ist doch gängige Praxis

[lisgoem8]

Ich lass manchmal auch Privat einige Seiten nach Stichworten durchcrawlern. Das macht Google genau so. Das ist nichts verbotendes. Das "tun" auch die Firmen untereinander. Nur hier hab ich den Eindruck man wöllte die Konkurenten eines auswischen, da man sie indirekt dabei zurückverfolgbar ertappt hat.

Für mich ist es auf jedenfall Kindergarten. Es ist sehr unwahrscheinlich das sowas absichtlich geschah. Wenn mal ein Crawler verrücktspielt, wird sicher nicht gleich eine Seite außer kraft gesetzt. Dazu braucht es schon einige "Fake-Clients" mehr.

[Husten]

naja wenn die Bandbreite des Crawlers so gross ist wie die des Konkurrenten, würde das ja rein theoretisch reichen. Dann wäre die Seite dicht über die Leitung.

Wenn der Konkurrent zb in seinen SQL-Statements gepfuscht hat, und du fragst per Crawler auf einmal im Millisekunden-Intervallen die Daten ab, könnte das auchs chon reichen um die DB zu kicken.

Eine automatischen Abgreifen von einer Maschine kann locker mehrere Tausend User simulieren, die nur alle 10 Sekunden mal irgendwo hinklicken.

[__destruct()]

Man gestaltet einen Crawler aber nicht so, dass er den Internetauftritt, den er durchforsten will, in die Knie zwingt.

[Trollster]

Offensichtlich waren beide Seiten nicht sehr kompetent in der Frage.

Der eine baut einen zu fixen Crawler, der andere sichert seine Seite nicht gegen x-Abfragen/Sekunde ab.

[Sharra]

Ich wollts auch grade sagen.
Wenn ich einen Server betreibe, der von tausenden von Usern auf einmal besucht werden soll, sichere ich ihn ab. Unter anderem natürlich werden nur 1-2 Verbindungen pro IP in einer definierten Zeiteinheit akzeptiert, und zum anderen die Bandbreite pro Verbindung beschränkt. Für das Ausliefern einer reinen Webseite reichen 2-3MBít Bandbreite dicke. Da muss man nicht die vollen 100Mbit zur Verfügung stellen.