1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Begriffe, Architekturen…

Stand der Technik?

Neue Foren im Freiraum! Raumfahrt und freie Software haben jetzt einen Platz, die Games tummeln sich jetzt alle in einem Forum.
  1. Thema

Neues Thema Ansicht wechseln


  1. Stand der Technik?

    Autor: the_crow 04.02.19 - 15:50

    Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit Batch-Programmen ab?

    Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw. muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell in der Maschinensteuerung oder beim Entwickeln von Hardware-Treibern. Ich finde passender wäre etwas wie "schnelle Einzeldaten-Verarbeitung".

    In der Praxis habe ich bis jetzt übrigens noch kein System gesehen, dass gleichzeitig eine schnelle operative Verarbeitung und gute Analysemöglichkeiten bietet. Schließlich gibt es, wie auch im Artikel korrekt beschrieben, sehr unterschiedliche Anforderungen an eine effiziente Datenmodellierung. Außerdem benötigt man für die Datenanalyse bestimmte Qualitäts-Parameter und Meta-Informationen, die bei direkter Anlyse von operativen Daten oft nicht zur Verfügung stehen.



    1 mal bearbeitet, zuletzt am 04.02.19 15:54 durch the_crow.

  2. Re: Stand der Technik?

    Autor: am (golem.de) 04.02.19 - 16:33

    > Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit
    > Batch-Programmen ab?
    Batch-Prozesse sind in meinen Augen immer noch eher Norm als Ausnahme. Sobald zum Beispiel Cron&Co ins Spiel kommen, ist das faktisch Batchprozessing, auch wenn es die wenigsten als solches bezeichnen würden.

    > Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich
    > finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung
    > (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als
    > eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw.
    > muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell
    Wenn die Anforderung ist: "Reagiere auf einen Kunden solange dieser noch im Bestellprozess ist", dann erfüllt das genau die Definition von Echtzeit in der IT, denn es gibt hier ein festgesetztes Zeitlimit. Das dieses Zeitlimit eher im Minutenbereich liegt, mag ungewöhnlich sein, bricht aber nicht mit dem Konzept von Echtzeit.

    Grüße,
    Alexander Merz (golem.de)

  3. Re: Stand der Technik?

    Autor: Frostwind 05.02.19 - 01:34

    Das ist schwierig. Im Deutschen hat sich in der Tat das Wort Echtzeit durchgesetzt.

    MapReduce ist definitv Batch-Processing, da nach einer Funktion insbesondere Daten auf die Platte geschrieben werden.

    Spark macht Lazy Evaluation, also wertet erst aus, wenn man das Ergebnis auch wirklich braucht, arbeitet dann alle Zwischenoperationen ab, ohne (auf der Platte) zwischenzuspeichern (RAM).

    Im Prinzip soll beim Streaming jedoch zum einen die skalierbare Parallelität der einzelnen Operationen, zum anderen der Datenfluss herausgestellt werden; Ereignisse werden einzeln in einer Pipeline (also kein Batch) verarbeitet.
    Dass das am Ende dann womöglich doch Microbatches sind, ist klar. xD

  4. Re: Stand der Technik?

    Autor: DummyAccount 05.02.19 - 14:16

    Spark ist übrigens in der Tat immer noch micro-batch orientiert. Flink dagegen bietet echtes stream processing.
    Über Beam kann man auch Python Jobs mit Flink laufen lassen. Der Beam Support für Spark ist dagegen sehr rudimentär. Flink unterstützt stateful stream processing am besten (IMHO).

    Von daher ist Flink im Moment am IMHO am ehesten state of the art.
    Spark hat halt das grössere Ökosystem.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Teamlead Software Test (m/w/d) Automotive
    Delta Energy Systems (Germany) GmbH, Soest
  2. Software Tester (m/w/d)
    GVV Versicherungen, Köln
  3. Mitarbeiter/in (m/w/d) Digitalisierung im Bereich Vorsorgemanagement
    Ecclesia Holding GmbH, Detmold
  4. Softwareentwickler (m/w/d) C++ Kommunikations-Framework
    Bertrandt Ingenieurbüro GmbH München, München

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote


Haben wir etwas übersehen?

E-Mail an news@golem.de


Gopro Hero 10 Black ausprobiert: Gopros neue Kamera ist die Schnellste
Gopro Hero 10 Black ausprobiert
Gopros neue Kamera ist die Schnellste

Endlich ein neuer Chip und mehr Zeitlupe! Wo Gopros Action-Kamera das Vorgängermodell schlägt, konnten wir vor dem Produktstart ausprobieren.
Von Martin Wolf

  1. Gopro Hero 9 Black Gereifte Gopro im Test

Corsair Sabre Pro (Wireless) im Test: Kabel oder kein Kabel, das ist die Frage
Corsair Sabre Pro (Wireless) im Test
Kabel oder kein Kabel, das ist die Frage

Sind kabelgebundene Mäuse wirklich noch besser? Wir zeigen Vor- und Nachteile anhand fast identischer Corsair-Mäuse mit und ohne Kabel.
Ein Test von Oliver Nickel

  1. Ocean Plastic Mouse Microsoft baut Maus mit recyceltem Ozeanplastik
  2. Zephyr Pro Diese Maus hat einen RGB-Lüfter
  3. Razer Orochi V2 Kompakte Maus nutzt Bluetooth und Akku-Trick

Allianz-CTO: Die Trennung von Arbeit und Freizeit ist antiquiert
Allianz-CTO
"Die Trennung von Arbeit und Freizeit ist antiquiert"

CTOs im Interview Profi-Trompeter war sein Traum - stattdessen wurde Markus Löffler Sysadmin, Physiker, Direktor von McKinsey und der erste CTO der Allianz Versicherung. Wie schafft man als Quereinsteiger so eine Karriere in der IT?
Ein Interview von Maja Hoock

  1. Jaroslaw Kroczek von Boldare "Gute Bezahlung reicht heute nicht mehr aus"