wo haben die soviele Daten her?
selbst wenn die Filme bei kino.to in mehreren Formaten und auch unkomprimiert und mit mehreren Duplikaten
GIBT es nicht mal genug filme um soviel daten zu füllen
ich frage mich wie die das gespeichert haben,
man bräuchte mindestens 250 Festplatten wenn man von 4TB aus geht
entweder ist der Rest P0rn für den eigengebrauch der GVU
oder die haben den Rest mit daten von /dev/zero oder /dev/random augefüllt
Korrigiere mich aber 1 PB sind auch "nur" 1000/1024 GB.
Das ist zwar ne Menge holz, aber wenn 1 Film so 0.6-1-2 GB hat, dann is das ruckzuck voll.
Aber abgesehen davon dürften das ja eh nicht die Filmdaten sein. Kinot.to hatte doch angeblich nur die Links dazu gespeichert. Der Content war ja immer auf so Sharehostern gelagert.
Aber das macht die Sache nicht uninteressanter. Was zum Henker hat da so viel Platz gebraucht? Die paar Links ja wohl kaum...
[Edit] OKOK da hab ich mein Hirn ausgeschalten. Bitte verständniss. Nach der Arbeit geh ich auf Standby
3 mal bearbeitet, zuletzt am 24.08.11 17:44 durch Sea.
Also ich find jetzt die Storage Anforderungen noch so tragisch.
Wenn man mal die billigste Lösung mit einzelnen Storage Servern und Sata 2TB Platten bestückung ansieht, dann sind das 24 Platten auf einen 4 HE Server (6,6k ¤), also 10 Server (66k ¤) in einem Rack.
1 Rack sind dann 240 Platten, also ~ 480 TB brutto.
Rechnen wir nochmal grosszügig und sagen wir 2,5 Racks passen für 1PT netto, dann sind das nur 150k Euro.
Für die Umsätze die die gemacht haben ein Witz.
Gut ist zwar alles nur Sata und NAS, aber das könnte doch ausreichen für ein wenig verwaschene und augenkrebsfördernde Flimmerstreams zu verbreiten.
Ich frage mich sowieso, ob die nicht direkt /dev/random gestreamt haben. :)
Sea schrieb:
--------------------------------------------------------------------------------
> Korrigiere mich aber 1 PB sind auch "nur" 1000/1024 GB.
Nicht ganz, 1Petabyte entsprechen 1000 Terabyte also ca. 1.000.000 Gigabyte.
Edit: Ich weiß, ist sogar nen bissl mehr weil 1024 und so ;)
1 mal bearbeitet, zuletzt am 24.08.11 17:43 durch Born2win.
1 PT = 1000 TB = 1.000.000 GB
Wenn 1 Film 1 GB braucht, dann kannst du dort 1 Million Filme ablegen.
Der Einfachheit nur mit 1000 gerechnet.
1 mal bearbeitet, zuletzt am 24.08.11 17:41 durch olqs.
Ist doch gar nicht so unrelastisch.
1024 GB = 1 TB (Terrabyte)
1024 TB = 1 PB (Petabyte)
Also 1.048.576 GB
http://www.imdb.com/stats
2 Millionen Filme / Serien / TV Produktionen usw...
sagen wir mal jeder film ist 500 MB Groß dann passt das doch :)
Natürlich hat Kino.to nicht 2 Mio Filme im Angebot gehabt, aber wie du schon richtig
gesagt hast, gab es viele Mirror Daten usw...
Keimax schrieb:
--------------------------------------------------------------------------------
> Ist doch gar nicht so unrelastisch.
> 1024 GB = 1 TB (Terrabyte)
> 1024 TB = 1 PB (Petabyte)
>
> Also 1.048.576 GB
1. heist das TeraByte mit einem r und großem B
2. sind 1TB = 1000 GB
3. was du meinst sind TebiByte die sind seit über 10Jahren Standard, hält sich nur keiner dran http://de.wikipedia.org/wiki/Bin%C3%A4rpr%C3%A4fix
Zum Vergleich: Rapidshare hatte damals zu ihren besten Zeiten auf 4,5 Petabyte aufgestockt (als es das Premiumprogramm noch gab und rs noch monopol war). Damit wirken die Zahlen die hier genannt werden erstmal realistisch, ABER man sollte überlegen dass Rapidshare weltweit und von wirklich jeder warez-seite genutzt wurde. Das bedeutet dass es wirklcih jeden film, jede serie, jedes game und jede software 100- bzw. 1000-fach auf den Servern zu finden war (das ist wirklcih incht übertrieben, selbst warezseiten mit user-uploads verfügbten teilweise über 10, 20 rs-mirrors des gleichen produkts).
Da Filme bei Kino.to nur in komprimierter Fassung (300 mb? optisch wie 50 mb dank mehrfachem reencode) und maximal in 2 fassungen (deutsch / englisch) vorliegen kann ich nicht ganz nachvollziehen wie hier 1 pb erreicht werden soll. Zudem ist es ja auch nicht Aufgabe der Polizei, die Filme zu gucken bzw. zu untersuchen, sondern Beweismaterial gegen die Angeklagten zu suchen. Wie ich mit serverlogs, bankverbindungen und diversen anderen Hinweisspuren auf 1 petabyte komme, soll mir doch gerne mal jemand erklären. Relevante Daten können hier jedenfalls nicht gemeint sein...
Ich würde davon ausgehen, dass man Daten anderer Hoster auch absichert. Sonst hätte man nicht so eingach kinox.to ins Leben gerufen. "Wenn unser Server plattgemacht wird, dann machen wir ihn irgendwo anders auf und nehmen die Sicherung von jemanden".
Ein Backup mit relevanten daten fasst aber nicht 1 petabyte sondern sagen wir 10 mb mit script + layout mit maximal 300 mb datenbank. Entweder der Polizeimensch möchte uns für dumm verkaufen oder hat selbst keine Ahnung..
Nope, du hast schon recht.
1 PB = 1.000 TB = 1.000.000 GB
1 PiB = 1.024 TiB = 1.048.576 GiB
Nur weil Windows fälschlicherweiße GiB als GB anzeigt, ist deine Aussage nicht falsch ;)
Soweit ich weiß hat Kino.to auch selber Filme gehostet. Genau so wie's z.B. auch Movie2k.to macht (mit ihrer Schwesterseite Stream2k.to).
Von daher können die 1PB schon hinkommen. Sind gerade mal 1000-4000 Filme, je nach Qualität.
Hanmac schrieb:
--------------------------------------------------------------------------------
> wo haben die soviele Daten her?
> selbst wenn die Filme bei kino.to in mehreren Formaten und auch
> unkomprimiert und mit mehreren Duplikaten
> GIBT es nicht mal genug filme um soviel daten zu füllen
Bullshit, ich alleine habe 3,8 TB als 0,0038 Petabyte Festplatten hier, die sich über die Jahre angesammelnt haben. Je nach Qualität macht man ein Petabyte schon mit bloß einigen zehntausend Filmen oder Serienfolgen voll. Wenn du dann überlegst, dass das vielleicht als RAID lief, längst nicht alle Platten voll waren usw, dann kommt das schon hin.
> ich frage mich wie die das gespeichert haben,
> man bräuchte mindestens 250 Festplatten wenn man von 4TB aus geht
Wieder falsch, problemlos nutzen kannst du HDDs nur bis 2 TB, die maximal erhältlichen 3TB-Dinger sind hier und da ein bisschen inkompatibel und außerdem relativ neu. Da Kriminelle genau wie die sonstige Wirtschaft zwecks profitmaximierung vermutlich nicht alles immer gleich auf den neuesten Stand aufrüsten, dürften es im Durchschnitt auch kleinere als 2 TB-Platten sein, kino.to gab es ja schon einige Jahre.
> entweder ist der Rest P0rn für den eigengebrauch der GVU
Ich dachte es gibt soviel Filme nicht :D
> oder die haben den Rest mit daten von /dev/zero oder /dev/random augefüllt
Von nix ne Ahnung aber sowas kennste? Top!
//----------Signatur----------!
Die Deutsche Rechtschreibung ist Freeware, sprich, du kannst sie kostenlos nutzen.
Allerdings ist sie nicht Open Source, d.h. du darfst sie nicht verändern oder in veränderter Form veröffentlichen.
tilmank schrieb:
> Bullshit, ich alleine habe 3,8 TB als 0,0038 Petabyte Festplatten hier, die
> sich über die Jahre angesammelnt haben. Je nach Qualität macht man ein
> Petabyte schon mit bloß einigen zehntausend Filmen oder Serienfolgen voll.
tja. geht mir zwar nicht anders, aber sicherlich wirst du keine Filme im "Flimmerstreifen"-Format abgelegt haben. Man kann also nicht von einer Datenmenge von ca. 700MB - 1,4GB ausgehen, denn was man manchmal auf kino.to gesehen hat (und ich konnte mir das ehrlich gesagt nicht antun), ist echt schon schlecht für die Augen. Da hatte der Film max. 300-400MB zu bieten.
Also kann man das nicht ganz so vergleichen.
Aber 1PB an Daten (wenn damit die Film-Daten gemeint sind), ist durchaus realistisch.
tilmank schrieb:
--------------------------------------------------------------------------------
> Bullshit, ich alleine habe 3,8 TB als 0,0038 Petabyte Festplatten hier, die
> sich über die Jahre angesammelnt haben. Je nach Qualität macht man ein
> Petabyte schon mit bloß einigen zehntausend Filmen oder Serienfolgen voll.
> Wenn du dann überlegst, dass das vielleicht als RAID lief, längst nicht
> alle Platten voll waren usw, dann kommt das schon hin.
>
Ich glaube kaum, dass die dort komplette Blu-ray-Images abgelegt haben. Nur mal so als Beispiel gehe ich von DVDs mit einer durchschnittlichen Größe von 6,6 GB aus: daraus folgt, dass 1024^2GB/(6.6GB/Film)~= 158875 Filme. Soweit ich gehört habe, gibs dort aber nur um Streaming mit Flash und so nen Schrott also mit viel geringerer Bitrate. Ich vermute mal ein 90 Minuten Film kommt da nicht über die 1GB-Grenze. Da kommt man selbst mit Redundanz dann wohl wieder locker in den 6-stelligen Bereich. Hier bist du wohl dem Gesetz der Großen Zahlen auf dem Leim gegangen - trotz deiner unglaublichen Hosting-Erfahrungen mit 3,8 TB im Home-PC.
Und was heißt hier "bloß einigen zehntausend Filmen". Ja, es gibt zwar bei weitem mehr Filme (siehe DBs). Aber die meisten davon sind wohl bisher nie in digitaler Form irgendwo aufgetaucht - und noch weniger sind für Kino.to interessant. Schau mal in die Statistiken und Disc-Area auf OFDb und rechne die Dupletten raus...
Kurz gesagt. Ich finde 1PB für so ein Portal eine ganze Menge Holz.
> Wieder falsch, problemlos nutzen kannst du HDDs nur bis 2 TB, die maximal
> erhältlichen 3TB-Dinger sind hier und da ein bisschen inkompatibel und
> außerdem relativ neu. Da Kriminelle genau wie die sonstige Wirtschaft
> zwecks profitmaximierung vermutlich nicht alles immer gleich auf den
> neuesten Stand aufrüsten, dürften es im Durchschnitt auch kleinere als 2
> TB-Platten sein, kino.to gab es ja schon einige Jahre.
>
Ich wage es kaum einem solch offensichtlichen Experten zu widersprechen...aber ich mache es trotzdem:
Selbst am PC sind mehr als 2TB kein Problem, wenn man nicht völlig veraltete Hardware mit einem veralteten OS einsetzt. Booten ist eine spezielle Geschichte, aber als Daten-Halde ist das kein Problem. Im Serverbereich mit größeren Storage-Lösungen werden da nicht einfach ein paar Platten per SATA direkt an den Server gestöpselt. Außerdem wird in Rechenzentren permanent Storage ausgebaut. Das 6-Monate-Taschengeld-für-Neue Platte-sparen-Prinzip findet dort keine Anwendung. Du kannst davon ausgehen dass dort keine 2TB Grenzen eine Rolle spielen. Schon mal ein aktuelles SAN aus mehren LUNs im Einsatz gesehen oder benutzt?
Irgendwie amüsant, wie manche meinem, sie könnten ihre Consumer-Hardware zu Consumer-Preisen auf ein derartige Filehostig-Projekt extrapolieren. Glaubt ihr die haben Platten bei Alternate bestellt, dann zu Hause an einem RAID Controller angeschlossen, und das über ihren VDSL Anschluss gestream?
Wenn man kein eigenes Rechenzentrum betreibt - was ich mir in diesem Fall kaum vorstellen kann - mietet man sich Teile davon. Die Hardwares-Infrastruktur - und auch die Preise für die Anschaffung - haben nix mit dem kaum von PC Komponenten für dem Heimbedarf zu tun.
1 mal bearbeitet, zuletzt am 25.08.11 11:09 durch S-Talker.
S-Talker schrieb:
--------------------------------------------------------------------------------
> tilmank schrieb:
> ---------------------------------------------------------------------------
> -----
> > Bullshit, ich alleine habe 3,8 TB als 0,0038 Petabyte Festplatten hier,
> die
> > sich über die Jahre angesammelnt haben. Je nach Qualität macht man ein
> > Petabyte schon mit bloß einigen zehntausend Filmen oder Serienfolgen
> voll.
> > Wenn du dann überlegst, dass das vielleicht als RAID lief, längst nicht
> > alle Platten voll waren usw, dann kommt das schon hin.
> >
> Ich glaube kaum, dass die dort komplette Blu-ray-Images abgelegt haben. Nur
> mal so als Beispiel gehe ich von DVDs mit einer durchschnittlichen Größe
> von 6,6 GB aus: daraus folgt, dass 1024^2GB/(6.6GB/Film)~= 158875 Filme.
> Soweit ich gehört habe, gibs dort aber nur um Streaming mit Flash und so
> nen Schrott also mit viel geringerer Bitrate. Ich vermute mal ein 90
> Minuten Film kommt da nicht über die 1GB-Grenze. Da kommt man selbst mit
> Redundanz dann wohl wieder locker in den 6-stelligen Bereich. Hier bist du
> wohl dem Gesetz der Großen Zahlen auf dem Leim gegangen - trotz deiner
> unglaublichen Hosting-Erfahrungen mit 3,8 TB im Home-PC.
>
> Und was heißt hier "bloß einigen zehntausend Filmen". Ja, es gibt zwar bei
> weitem mehr Filme (siehe DBs). Aber die meisten davon sind wohl bisher nie
> in digitaler Form irgendwo aufgetaucht - und noch weniger sind für Kino.to
> interessant. Schau mal in die Statistiken und Disc-Area auf OFDb und rechne
> die Dupletten raus...
>
> Kurz gesagt. Ich finde 1PB für so ein Portal eine ganze Menge Holz.
>
> > Wieder falsch, problemlos nutzen kannst du HDDs nur bis 2 TB, die
> maximal
> > erhältlichen 3TB-Dinger sind hier und da ein bisschen inkompatibel und
> > außerdem relativ neu. Da Kriminelle genau wie die sonstige Wirtschaft
> > zwecks profitmaximierung vermutlich nicht alles immer gleich auf den
> > neuesten Stand aufrüsten, dürften es im Durchschnitt auch kleinere als 2
> > TB-Platten sein, kino.to gab es ja schon einige Jahre.
> >
>
> Ich wage es kaum einem solch offensichtlichen Experten zu
> widersprechen...aber ich mache es trotzdem:
>
> Selbst am PC sind mehr als 2TB kein Problem, wenn man nicht völlig
> veraltete Hardware mit einem veralteten OS einsetzt. Booten ist eine
> spezielle Geschichte, aber als Daten-Halde ist das kein Problem. Im
> Serverbereich mit größeren Storage-Lösungen werden da nicht einfach ein
> paar Platten per SATA direkt an den Server gestöpselt. Außerdem wird in
> Rechenzentren permanent Storage ausgebaut. Das
> 6-Monate-Taschengeld-für-Neue Platte-sparen-Prinzip findet dort keine
> Anwendung. Du kannst davon ausgehen dass dort keine 2TB Grenzen eine Rolle
> spielen. Schon mal ein aktuelles SAN aus mehren LUNs im Einsatz gesehen
> oder benutzt?
>
> Irgendwie amüsant, wie manche meinem, sie könnten ihre Consumer-Hardware zu
> Consumer-Preisen auf ein derartige Filehostig-Projekt extrapolieren. Glaubt
> ihr die haben Platten bei Alternate bestellt, dann zu Hause an einem RAID
> Controller angeschlossen, und das über ihren VDSL Anschluss gestream?
>
> Wenn man kein eigenes Rechenzentrum betreibt - was ich mir in diesem Fall
> kaum vorstellen kann - mietet man sich Teile davon. Die
> Hardwares-Infrastruktur - und auch die Preise für die Anschaffung - haben
> nix mit dem kaum von PC Komponenten für dem Heimbedarf zu tun.
+1
1000-4000? ergo 250-1000GB pro film? O.o was schaust du für Filme bitte? da bekommt "die unendliche geschichte" ja ein völlig neues format!
Viel spannendere die Frage: Wollen die alle Daten sichten? Die armen Mitarbeiter die nun 24/7 mehrere Monate sich Filme anschauen müssen.
Vollstrecker schrieb:
--------------------------------------------------------------------------------
> Viel spannendere die Frage: Wollen die alle Daten sichten? Die armen
> Mitarbeiter die nun 24/7 mehrere Monate sich Filme anschauen müssen.
HaHa! der Praktikannt muss die abgefilmten gucken ;)
S-Talker schrieb:
--------------------------------------------------------------------------------
> tilmank schrieb:
> ---------------------------------------------------------------------------
> -----
> > Bullshit, ich alleine habe 3,8 TB als 0,0038 Petabyte Festplatten hier,
> die
> > sich über die Jahre angesammelnt haben. Je nach Qualität macht man ein
> > Petabyte schon mit bloß einigen zehntausend Filmen oder Serienfolgen
> voll.
> > Wenn du dann überlegst, dass das vielleicht als RAID lief, längst nicht
> > alle Platten voll waren usw, dann kommt das schon hin.
> >
> Ich glaube kaum, dass die dort komplette Blu-ray-Images abgelegt haben. Nur
> mal so als Beispiel gehe ich von DVDs mit einer durchschnittlichen Größe
> von 6,6 GB aus: daraus folgt, dass 1024^2GB/(6.6GB/Film)~= 158875 Filme.
> Soweit ich gehört habe, gibs dort aber nur um Streaming mit Flash und so
> nen Schrott also mit viel geringerer Bitrate. Ich vermute mal ein 90
> Minuten Film kommt da nicht über die 1GB-Grenze. Da kommt man selbst mit
> Redundanz dann wohl wieder locker in den 6-stelligen Bereich. Hier bist du
> wohl dem Gesetz der Großen Zahlen auf dem Leim gegangen - trotz deiner
> unglaublichen Hosting-Erfahrungen mit 3,8 TB im Home-PC.
Von Hosting war keine Rede und ja, ich bin fälschlicherweise bei einer 0 zu wenig gelandet. Bei oft über hundert Folgen pro Serie und der Fülle an existierenden Filmen sind hunderttausende allerdings durchaus zu schaffen.
Viel interessanter erschien mir dieser Gedanke: Falls einige dieser Hosting-Seiten offen zugänglich waren, könnten da nicht auch Leute alles mögliche an anderem Zeugs hochgeladen haben? Zum Beispiel Spiele, oder auch die bei Torrent-Verteidigung immer gern genannten Linux-Distributionen und Urlaubsvideos
> Kurz gesagt. Ich finde 1PB für so ein Portal eine ganze Menge Holz.
500 2TB-Platten, wenn man so will.
> > Wieder falsch, problemlos nutzen kannst du HDDs nur bis 2 TB, die
> maximal
> > erhältlichen 3TB-Dinger sind hier und da ein bisschen inkompatibel und
> > außerdem relativ neu. Da Kriminelle genau wie die sonstige Wirtschaft
> > zwecks profitmaximierung vermutlich nicht alles immer gleich auf den
> > neuesten Stand aufrüsten, dürften es im Durchschnitt auch kleinere als 2
> > TB-Platten sein, kino.to gab es ja schon einige Jahre.
> >
> Ich wage es kaum einem solch offensichtlichen Experten zu
> widersprechen...aber ich mache es trotzdem:
>
> Selbst am PC sind mehr als 2TB kein Problem, wenn man nicht völlig
> veraltete Hardware mit einem veralteten OS einsetzt.
Also kein Windows ;-)
> Booten ist eine
> spezielle Geschichte, aber als Daten-Halde ist das kein Problem. Im
> Serverbereich mit größeren Storage-Lösungen werden da nicht einfach ein
> paar Platten per SATA direkt an den Server gestöpselt. Außerdem wird in
> Rechenzentren permanent Storage ausgebaut. Das
> 6-Monate-Taschengeld-für-Neue Platte-sparen-Prinzip findet dort keine
> Anwendung. Du kannst davon ausgehen dass dort keine 2TB Grenzen eine Rolle
> spielen. Schon mal ein aktuelles SAN aus mehren LUNs im Einsatz gesehen
> oder benutzt?
Aua, getroffen!
> Irgendwie amüsant, wie manche meinem, sie könnten ihre Consumer-Hardware zu
> Consumer-Preisen auf ein derartige Filehostig-Projekt extrapolieren. Glaubt
> ihr die haben Platten bei Alternate bestellt, dann zu Hause an einem RAID
> Controller angeschlossen, und das über ihren VDSL Anschluss gestream?
Bloß, dass es dann noch viel teurer wird - das waren Kriminelle. VDSL und zu Hause kannst du streichen, den Rest nicht mir letzter Sicherheit. Hochgerechnet habe ich an dem was ich kenne, um eine anschauliche Größenordnung zu erhalten. Von Preisen schrieb ich übrigens nichts.
> Wenn man kein eigenes Rechenzentrum betreibt - was ich mir in diesem Fall
> kaum vorstellen kann - mietet man sich Teile davon.
Dann hätte man das Zeug nicht beschlagnahmt, weil es in Russland steht.
> Hardwares-Infrastruktur - und auch die Preise für die Anschaffung - haben
> nix mit dem kaum von PC Komponenten für dem Heimbedarf zu tun.
Ja. Und bei Gewinnen im lediglich einstelligen Millionenbereich über mehrere Jahre und 25 Beteiligten vermute ich eine geringe Professionalität, von wegen Rechenzentrum. Das wurde wohl eher hier und da im kleinen verteilt, wenn auch mit dicker Anbindung.
//----------Signatur----------!
Die Deutsche Rechtschreibung ist Freeware, sprich, du kannst sie kostenlos nutzen.
Allerdings ist sie nicht Open Source, d.h. du darfst sie nicht verändern oder in veränderter Form veröffentlichen.
Kommentare: 171 | letzter Beitrag 20:42 Uhr
Kommentare: 94 | letzter Beitrag 26.05. 19:45
Kommentare: 77 | letzter Beitrag 20:57 Uhr
Kommentare: 70 | letzter Beitrag 18:56 Uhr
Kommentare: 62 | letzter Beitrag 21:44 Uhr
E-Mail an news@golem.de
Nach der Urteilsverkündung im Rechtsstreit zwischen Youtube und Gema fühlten sich beide Seiten als Gewinner. In Wahrheit gibt es aber nur einen Verlierer, bloggt Medienrechtsexperte Thomas Hoeren: die Gema.
Ein soziales Netzwerk für Pornografie muss seine Marke nicht an Facebook übergeben. Faceporn, ein norwegisches Unternehmen, freut sich über den Sieg vor einem kalifornischen Gericht.
Diablo 3 ist toll, sagen viele Spieler - Diablo 3 ist eine Stimulus-Response-Maschine, sagt Rainer Sigl. Der Blogger und leidenschaftliche Gamer erklärt, warum er sich Blizzards jüngstem Werk verweigert.
Renesas ist nach Elpida der zweite schwer angeschlagene japanische Chiphersteller. Renesas, das Hitachi, Mitsubishi Electric und NEC gehört, macht Verlust und will seine größte Fabrik verkaufen.
RIM soll in den kommenden Tagen erneut einen massiven Stellenabbau ankündigen. "Ich habe herausgefunden, welche Teile ich in meinem Puzzle nicht mehr benötige", sagte Firmenchef Thorsten Heins.
Ein britisches Blog will erfahren haben, dass Facebook den norwegischen Browserhersteller Opera Software kaufen will. Beide Unternehmen wollen sich dazu nicht äußern.