1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Begriffe, Architekturen…

Stand der Technik?

Neue Foren im Freiraum! Raumfahrt und freie Software haben jetzt einen Platz, die Games tummeln sich jetzt alle in einem Forum.
  1. Thema

Neues Thema Ansicht wechseln


  1. Stand der Technik?

    Autor: the_crow 04.02.19 - 15:50

    Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit Batch-Programmen ab?

    Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw. muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell in der Maschinensteuerung oder beim Entwickeln von Hardware-Treibern. Ich finde passender wäre etwas wie "schnelle Einzeldaten-Verarbeitung".

    In der Praxis habe ich bis jetzt übrigens noch kein System gesehen, dass gleichzeitig eine schnelle operative Verarbeitung und gute Analysemöglichkeiten bietet. Schließlich gibt es, wie auch im Artikel korrekt beschrieben, sehr unterschiedliche Anforderungen an eine effiziente Datenmodellierung. Außerdem benötigt man für die Datenanalyse bestimmte Qualitäts-Parameter und Meta-Informationen, die bei direkter Anlyse von operativen Daten oft nicht zur Verfügung stehen.



    1 mal bearbeitet, zuletzt am 04.02.19 15:54 durch the_crow.

  2. Re: Stand der Technik?

    Autor: am (golem.de) 04.02.19 - 16:33

    > Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit
    > Batch-Programmen ab?
    Batch-Prozesse sind in meinen Augen immer noch eher Norm als Ausnahme. Sobald zum Beispiel Cron&Co ins Spiel kommen, ist das faktisch Batchprozessing, auch wenn es die wenigsten als solches bezeichnen würden.

    > Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich
    > finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung
    > (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als
    > eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw.
    > muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell
    Wenn die Anforderung ist: "Reagiere auf einen Kunden solange dieser noch im Bestellprozess ist", dann erfüllt das genau die Definition von Echtzeit in der IT, denn es gibt hier ein festgesetztes Zeitlimit. Das dieses Zeitlimit eher im Minutenbereich liegt, mag ungewöhnlich sein, bricht aber nicht mit dem Konzept von Echtzeit.

    Grüße,
    Alexander Merz (golem.de)

  3. Re: Stand der Technik?

    Autor: Frostwind 05.02.19 - 01:34

    Das ist schwierig. Im Deutschen hat sich in der Tat das Wort Echtzeit durchgesetzt.

    MapReduce ist definitv Batch-Processing, da nach einer Funktion insbesondere Daten auf die Platte geschrieben werden.

    Spark macht Lazy Evaluation, also wertet erst aus, wenn man das Ergebnis auch wirklich braucht, arbeitet dann alle Zwischenoperationen ab, ohne (auf der Platte) zwischenzuspeichern (RAM).

    Im Prinzip soll beim Streaming jedoch zum einen die skalierbare Parallelität der einzelnen Operationen, zum anderen der Datenfluss herausgestellt werden; Ereignisse werden einzeln in einer Pipeline (also kein Batch) verarbeitet.
    Dass das am Ende dann womöglich doch Microbatches sind, ist klar. xD

  4. Re: Stand der Technik?

    Autor: DummyAccount 05.02.19 - 14:16

    Spark ist übrigens in der Tat immer noch micro-batch orientiert. Flink dagegen bietet echtes stream processing.
    Über Beam kann man auch Python Jobs mit Flink laufen lassen. Der Beam Support für Spark ist dagegen sehr rudimentär. Flink unterstützt stateful stream processing am besten (IMHO).

    Von daher ist Flink im Moment am IMHO am ehesten state of the art.
    Spark hat halt das grössere Ökosystem.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Embedded C++ Software Entwickler (m/w/d)
    RMG Messtechnik GmbH, Beindersheim (Raum Mannheim)
  2. Systemadministrator (w/m/d)
    Zimmer + Kreim GmbH & Co. KG, Brensbach
  3. IT-Administrator (m/w/d) im Bereich ERP mit PHP-Skills
    EBB Truck-Center GmbH, Baden-Baden
  4. Datenschutz Manager / Data Compliance Manager (m/w/d)
    Bauhaus AG, Mannheim

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 99,90€ + 5,99€ Versand bei Vorkasse (Vergleichspreis 128,90€)
  2. 63,74€ inkl. Abzug (Vergleichspreis 72,95€)
  3. 108,79€ inkl. Abzug (Vergleichspreis ca. 129€)


Haben wir etwas übersehen?

E-Mail an news@golem.de