1. Foren
  2. Kommentare
  3. Wissenschaft
  4. Alle Kommentare zum Artikel
  5. › Jetson Nano: Der Raspberry Pi für…

Spezial-Hardware

  1. Thema

Neues Thema Ansicht wechseln


  1. Spezial-Hardware

    Autor: 486dx4-160 04.06.20 - 13:22

    "Soll der KI-Rechner aber auch noch mobil und handlich wie ein Raspberry Pi sein - etwa, weil er autonomes Fahren eines Roboter-Autos oder die Hinderniserkennung für eine Drohne unterstützen soll -, hilft selbst der Rechner des Juniors nicht mehr weiter. Hier ist Spezial-Hardware gefragt."

    Ich dachte, dass nur für's Training ein schneller Rechner gebraucht wird. Nachdem das abgeschlossen ist und ein Robotorauto gesteuert oder eine Spielzeugdrohne um Hindernisse navigiert werden soll reicht doch auch ein besserer Taschenrechner, oder?

  2. Re: Spezial-Hardware

    Autor: nuclear 04.06.20 - 13:59

    Na ja. So stimmt das nicht. Vor allem die Videoverarbeitung benötigt noch sehr viele Multiplikationen.
    Wenn das dann noch in Echtzeit funktionieren soll, dann wird das doch sehr schnell sehr viel zu berechnen.

    Nehmen wir ein graustufen Eingangsbild von 100x50 Pixel an, 3x3 Conv-Netz mit 32 Filtern, dann bist du schon in der ersten Stufe bei 98x48x32 = 150.528 Berechnungen.
    Normalerweise hast du jedoch mehrere Hidden Layer, sodass die Zahlen sehr schnell sehr groß werden können. Und natürlich ist ein 100x50 Pixel Bild nicht gerade wirklich groß.

  3. Re: Spezial-Hardware

    Autor: Eheran 04.06.20 - 14:20

    Das dachte ich mir auch so. Man kann damit die Parameter gut ermitteln. Mit den Parametern kann man dann problemlos auch so Sachen auswerten. Klar, Bildanalyse in Echtzeit braucht immer viel Rechenleistung, einfach durch die Datenmenge. Da hilft es wohl auch in der Anwendung.

    Aber ein Modell anlernen wird hier nicht gemacht. Und das ist letztlich das spannende. Der Unterschied "Modell bilden + anlernen" vs. "fertiges Modell anwenden" ist wie... einen Microcontroller frei selbst programmieren, eigenes Programm schreiben vs. nur fertigen Code draufspielen.

  4. Re: Spezial-Hardware

    Autor: c3rl 04.06.20 - 14:50

    486dx4-160 schrieb:
    --------------------------------------------------------------------------------
    > Ich dachte, dass nur für's Training ein schneller Rechner gebraucht wird.
    > Nachdem das abgeschlossen ist und ein Robotorauto gesteuert oder eine
    > Spielzeugdrohne um Hindernisse navigiert werden soll reicht doch auch ein
    > besserer Taschenrechner, oder?

    Ein Beispiel aus der Praxis: für eine Anomalie-Erkennung via VAE-NN an einer Hochfrequenz-Metallpresse haben wir einen PC mit AMD Ryzen 2600, 8GB RAM und Nvidia GTX 1050 verwendet. Die Kamera nimmt Bilder mit 12MP bei 24fps auf (=300MB/s via USB3). Der Load lag bei etwa 70-80% für CPU, RAM und GPU. Das System passte also perfekt für diesen Anwendungsfall. Das ist zwar absolut betrachtet recht gering, aber der Jetson Nano wäre damit maßlos überfordert.

    Fürs Training haben wir dagegen einen AMD Ryzen 2800X mit 64GB RAM und Nvidia GTX 1080 verwendet. Auch hier war das System wieder gut ausgelastet, allerdings lässt sich das Training im Deep Learning recht gut auf verschiedene Hardware einstellen, z.B. indem man einfach die Mini-Batch-Größe verändert.

    Ich sollte allerdings noch dazu sagen, dass unsere VAE-Architektur schon ziemlich pervers war, mit insgesamt 16 Conv2D Layern, Code-Größe von 64 und jeweils 1M Input-/Output-Units (insgesamt 32M Parameter). Die im Artikel verwendeten NNs sind bedeutend kleiner.



    4 mal bearbeitet, zuletzt am 04.06.20 14:56 durch c3rl.

  5. Re: Spezial-Hardware

    Autor: Peter V. 04.06.20 - 15:36

    486dx4-160 schrieb:
    --------------------------------------------------------------------------------
    > Ich dachte, dass nur für's Training ein schneller Rechner gebraucht wird.
    > Nachdem das abgeschlossen ist und ein Robotorauto gesteuert oder eine
    > Spielzeugdrohne um Hindernisse navigiert werden soll reicht doch auch ein
    > besserer Taschenrechner, oder?
    Das kommt darauf an. Eine grobe Gesichtserkennung in Kartoffelqualität bekommst Du auf einem ESP32 hin. Wenn auch nur ein wenig bessere Auflösung oder Framerate wichtig wird, dann wird es auch mit einem Bastelrechner wie dem Raspberry Pi schnell eng.

  6. Re: Spezial-Hardware

    Autor: 486dx4-160 05.06.20 - 09:44

    Peter V. schrieb:
    --------------------------------------------------------------------------------
    > 486dx4-160 schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Ich dachte, dass nur für's Training ein schneller Rechner gebraucht
    > wird.
    > > Nachdem das abgeschlossen ist und ein Robotorauto gesteuert oder eine
    > > Spielzeugdrohne um Hindernisse navigiert werden soll reicht doch auch
    > ein
    > > besserer Taschenrechner, oder?
    > Das kommt darauf an. Eine grobe Gesichtserkennung in Kartoffelqualität
    > bekommst Du auf einem ESP32 hin. Wenn auch nur ein wenig bessere Auflösung
    > oder Framerate wichtig wird, dann wird es auch mit einem Bastelrechner wie
    > dem Raspberry Pi schnell eng.

    Also wird Nvidia Jetson Nano nicht für die KI eingesetzt, sondern für Bildverarbeitung?
    Ich hab den Artikel anders verstanden, aber das würde Sinn ergeben.
    Nvidia Jetson Nano hat etwa die Rechenleistung einer Einstiegs-Grafikkarte von vor 10 Jahren (bei erheblich weniger Energiebedarf), Bildverarbeitung dürfte damit aber ohne weiteres gehen.

  7. Re: Spezial-Hardware

    Autor: c3rl 05.06.20 - 17:36

    486dx4-160 schrieb:
    --------------------------------------------------------------------------------
    > Also wird Nvidia Jetson Nano nicht für die KI eingesetzt, sondern für
    > Bildverarbeitung?
    > Ich hab den Artikel anders verstanden, aber das würde Sinn ergeben.
    > Nvidia Jetson Nano hat etwa die Rechenleistung einer Einstiegs-Grafikkarte
    > von vor 10 Jahren (bei erheblich weniger Energiebedarf), Bildverarbeitung
    > dürfte damit aber ohne weiteres gehen.

    Der Jetson Nano hat einige CUDA-Cores und eine recht große Pipeline für Bildverarbeitung. Wenn ich mich richtig erinnere kannst du 1080p H264 mit dem Ding mit 240fps oder sowas decoden - schau einfach mal auf die offizielle Website. Man kann nicht pauschalisieren was du mit dem Ding tun kannst, das kommt eben immer auf deinen Anwendungsfall drauf an.

  8. Re: Spezial-Hardware

    Autor: Agba 06.06.20 - 10:47

    Ich finde die Idee eines ki- Raspberrys sehr cool. Aber 130 cuda cores für die Berechnungen sind eigentlich wirklich wenig.

    Nehmen wir Mal als Anwendungsfall Bildverarbeitung bzw. Deepfakes. (Einfach weil das ein schöner Anwendungsfall ist, mit dem auch unerfahrene mit neuronalen letzten ausprobieren können, wie Training abläuft/ welche Parameter sich wie auswirken) für das anmerken des Netzes bzw. Des Models Besuch eine 1070 mit 1920 cuda cores bei 50pixel Gewichtauflösung bzw. 128x128 knapp 17 Stunden bei 4 iterationen pro 300ms.

    D.h für die gleiche Berechnung bräuchtest du mit dem nano fast die 16 fache Zeit... Klar es ist ein "bastelrechner" aber viele ki Berechnungen werden von der anzahl der cuda cores limitiert. Und gerade ein bastelrechner ist ja zum ausprobieren da

  9. Re: Spezial-Hardware

    Autor: SegmenFault 06.06.20 - 15:53

    c3rl schrieb:
    --------------------------------------------------------------------------------
    > 486dx4-160 schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > >> Fürs Training haben wir dagegen einen AMD Ryzen 2800X mit 64GB RAM und
    > Nvidia GTX 1080 verwendet.

    Ich hoffe mal, dass die Kiste einfach zufällig bereits vorhanden war und lediglich zweckentfremdet wurde. Ansonsten ergibt die Zusammenstellung so eher begrenzt Sinn.

  10. Re: Spezial-Hardware

    Autor: c3rl 06.06.20 - 17:27

    SegmenFault schrieb:
    --------------------------------------------------------------------------------
    > Ich hoffe mal, dass die Kiste einfach zufällig bereits vorhanden war und
    > lediglich zweckentfremdet wurde. Ansonsten ergibt die Zusammenstellung so
    > eher begrenzt Sinn.

    Die gabs so bei Hetzner fürn Hunni im Monat. Deutlich billiger als AWS und co. Aber wieso macht das keinen Sinn? Die Ausstattung war perfekt für diverse ML-Modelle. In der Regel brauchst du da nur viel RAM, weil viele Daten vorverarbeitet und gecached werden müssen, während die GPU rechnet.



    1 mal bearbeitet, zuletzt am 06.06.20 17:28 durch c3rl.

  11. Re: Spezial-Hardware

    Autor: SegmenFault 06.06.20 - 18:18

    Genau deswegen solltet ihr eine HEDT-Plattform, etwa Threadripper oder Skylake/Cascade Lake X in Erwägung ziehen. Beide verfügen dank Quad Channel über wesentlich höhere Speicherbandbreiten, letztere zusätzlich noch über hohe Single-Core-Performance. Im Zusammenspiel mit PCIe-NVMes und Tensor-Core-Grafikkarten (etwa einer Titan V, Titan RTX oder Geforce RTX 20x0) lassen sich beträchtliche Performancesteigerungen erzielen.

    Ich merke dies immer deutlich, wenn ich die Trainingsdauer auf den Studi-Rechnern (Ryzen 9 3950X, 64 GB RAM, RTX 2080 Super) mit meiner (älteren) Workstation (Core i9-9960X, 64 GB RAM, Titan V) vergleiche: Je nach Datensatz und Modelle geht's noch einmal um einen Faktor zwei oder drei schneller. Dabei sind genannte Studi-Rechner bereits bedeutend schneller als eure Trainingsmaschine.

  12. Re: Spezial-Hardware

    Autor: c3rl 06.06.20 - 20:49

    Falls die Antwort an mich gerichtet war (du hast sie direkt im Thread gepostet, nicht als Antwort auf meinen Post): RAM-Durchsatz war bei uns kein Bottleneck. Und dass eine Titan V schneller ist als eine RTX 2080 ist auch selbstverständlich. In 8GB sind bei uns Minibatches mit max. 5 Bildern rein gegangen. Wenn das bei dir ähnlich war, dann war das Bottleneck auch bei dir der Zugriff von GPU auf RAM. Bei 24GB VRAM kann Tensorflow deutlich mehr auf der GPU direkt speichern, sodass nur dadurch schon vermutlich eine Verdoppelung der Leistung gegeben ist, ohne dass von Dual- auf Quad-Channel RAM gewechselt wird. Wie gesagt: RAM-Durchsatz war zumindest bei uns definitiv kein Problem.

  13. Re: Spezial-Hardware

    Autor: SegmenFault 06.06.20 - 21:44

    Die V hat keine 24 GB RAM, sondern lediglich 12 GB. Allerdings handelt es sich dabei um HBM2-Speicher. Das könnte in eurem Fall also ebenso einen entscheidenden Unterschied machen, gerade wenn du von Mini-Batches mit 5 Bildern sprichst. Auch hier wäre eine CPU mit besserer Singlecore-Performance angeraten. Hinzu kommt natürlich, dass die Titan V über deutlich mehr Tensor-Kerne verfügt, eine GTX 1080 hat derer Null. Insgesamt denke ich, dass sich ein Upgrade für euch lohnen würde.

  14. Re: Spezial-Hardware

    Autor: c3rl 07.06.20 - 18:48

    Ach Tatsache, erst die Titan RTX hat 24GB. Ich hatte im Sinn dass die alte Titan das schon hatte.

    Dass ein Upgrade sich auch damals schon gelohnt hätte steht außer Frage, aber Hetzner bot halt nur die GTX 1080 an. Einen entsprechenden physikalischen Rechner zu bauen hätte sich für uns nicht gelohnt, der hätte fast so viel gekostet wie das Projekt einbrachte, darum sind wir zu Hetzner.

  15. Re: Spezial-Hardware

    Autor: DieterMieter 09.06.20 - 09:45

    SegmenFault schrieb:
    --------------------------------------------------------------------------------
    > Genau deswegen solltet ihr eine HEDT-Plattform, etwa Threadripper oder
    > Skylake/Cascade Lake X in Erwägung ziehen. Beide verfügen dank Quad Channel
    > über wesentlich höhere Speicherbandbreiten, letztere zusätzlich noch über
    > hohe Single-Core-Performance. Im Zusammenspiel mit PCIe-NVMes und
    > Tensor-Core-Grafikkarten (etwa einer Titan V, Titan RTX oder Geforce RTX
    > 20x0) lassen sich beträchtliche Performancesteigerungen erzielen.
    >
    > Ich merke dies immer deutlich, wenn ich die Trainingsdauer auf den
    > Studi-Rechnern (Ryzen 9 3950X, 64 GB RAM, RTX 2080 Super) mit meiner
    > (älteren) Workstation (Core i9-9960X, 64 GB RAM, Titan V) vergleiche: Je
    > nach Datensatz und Modelle geht's noch einmal um einen Faktor zwei oder
    > drei schneller. Dabei sind genannte Studi-Rechner bereits bedeutend
    > schneller als eure Trainingsmaschine.


    Das ist jetzt aber auch kein Grund nicht das Setup zu nehmen das genommen wurde. Bei allem auf der Welt gibt es immer ne teurere Version von etwas. Wenn jemand sagt "Mein Auto hat 20PS, das reicht um zur Arbeit zu kommen" bringt es doch auch absolut nichts zu sagen "Ja aber nen Porsche hat 2000 PS".

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. ZytoService Deutschland GmbH, Hamburg
  2. Vodafone GmbH, Düsseldorf
  3. Deutsche Rentenversicherung Rheinland, Düsseldorf
  4. Universitätsmedizin der Johannes Gutenberg-Universität Mainz, Mainz

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 44,99€
  2. 44,49€
  3. (-82%) 11,00€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Threat-Actor-Expertin: Militärisch, stoisch, kontrolliert
Threat-Actor-Expertin
Militärisch, stoisch, kontrolliert

Sandra Joyces Fachgebiet sind Malware-Attacken. Sie ist Threat-Actor-Expertin - ein Job mit viel Stress und Verantwortung. Wenn sie eine Attacke einem Land zuschreibt, sollte sie besser sicher sein.
Ein Porträt von Maja Hoock

  1. Emotet Die Schadsoftware Trickbot warnt vor sich selbst
  2. Loveletter Autor des I-love-you-Virus wollte kostenlos surfen
  3. DNS Gehackte Router zeigen Coronavirus-Warnung mit Schadsoftware

Galaxy Note 20 im Hands-on: Samsung entwickelt sein Stift-Smartphone kaum weiter
Galaxy Note 20 im Hands-on
Samsung entwickelt sein Stift-Smartphone kaum weiter

Samsungs Galaxy Note 20 kommt in zwei Versionen auf den Markt, die beide fast gleich groß, aber unterschiedlich ausgestattet sind.
Ein Hands-on von Tobias Költzsch

  1. Samsung Galaxy Watch 3 kostet ab 418 Euro
  2. Galaxy Tab S7 Samsung bringt Top-Tablets ab 681 Euro
  3. Galaxy Buds Live Samsung stellt bohnenförmige drahtlose Kopfhörer vor

Golem on Edge: Wo Nachbarn alles teilen - auch das Internet
Golem on Edge
Wo Nachbarn alles teilen - auch das Internet

Mehr schlecht als recht arbeiten zu können und auch nur dann, wenn die Nachbarn nicht telefonieren - das war keine Dauerlösung. Wie ich endlich Internet in meine Datsche bekommen habe.
Eine Kolumne von Sebastian Grüner

  1. Digitalisierung Krankschreibung per Videosprechstunde wird möglich
  2. Golem on Edge Homeoffice im Horrorland
  3. Anzeige Die voll digitalisierte Kaserne der Zukunft

  1. Nach Microsoft: Auch Twitter soll an Tiktok interessiert sein
    Nach Microsoft
    Auch Twitter soll an Tiktok interessiert sein

    Neben Microsoft soll auch Twitter überlegen, die chinesische Social-Media-App zu übernehmen - mehr finanzielle Ressourcen dürfte aber Microsoft haben.

  2. Smartphone: Huawei gehen die SoCs aus
    Smartphone
    Huawei gehen die SoCs aus

    Huawei hat bestätigt, dass das Unternehmen keine High-End-Chipsätze mehr für seine Smartphone-Produktion hat. Grund ist das US-Embargo.

  3. Eingelöteter Speicher: Neuer iMac ohne SSD-Aufrüstmöglichkeiten
    Eingelöteter Speicher
    Neuer iMac ohne SSD-Aufrüstmöglichkeiten

    Der neue iMac kann nicht mehr mit SSDs aufgerüstet werden - bei den günstigeren Varianten wurde die Möglichkeit gestrichen, bei den teureren ist sie fraglich.


  1. 12:56

  2. 12:01

  3. 14:06

  4. 13:41

  5. 12:48

  6. 11:51

  7. 19:04

  8. 18:50