1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Begriffe, Architekturen…

Stand der Technik?

  1. Thema

Neues Thema Ansicht wechseln


  1. Stand der Technik?

    Autor: the_crow 04.02.19 - 15:50

    Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit Batch-Programmen ab?

    Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw. muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell in der Maschinensteuerung oder beim Entwickeln von Hardware-Treibern. Ich finde passender wäre etwas wie "schnelle Einzeldaten-Verarbeitung".

    In der Praxis habe ich bis jetzt übrigens noch kein System gesehen, dass gleichzeitig eine schnelle operative Verarbeitung und gute Analysemöglichkeiten bietet. Schließlich gibt es, wie auch im Artikel korrekt beschrieben, sehr unterschiedliche Anforderungen an eine effiziente Datenmodellierung. Außerdem benötigt man für die Datenanalyse bestimmte Qualitäts-Parameter und Meta-Informationen, die bei direkter Anlyse von operativen Daten oft nicht zur Verfügung stehen.



    1 mal bearbeitet, zuletzt am 04.02.19 15:54 durch the_crow.

  2. Re: Stand der Technik?

    Autor: am (golem.de) 04.02.19 - 16:33

    > Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit
    > Batch-Programmen ab?
    Batch-Prozesse sind in meinen Augen immer noch eher Norm als Ausnahme. Sobald zum Beispiel Cron&Co ins Spiel kommen, ist das faktisch Batchprozessing, auch wenn es die wenigsten als solches bezeichnen würden.

    > Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich
    > finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung
    > (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als
    > eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw.
    > muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell
    Wenn die Anforderung ist: "Reagiere auf einen Kunden solange dieser noch im Bestellprozess ist", dann erfüllt das genau die Definition von Echtzeit in der IT, denn es gibt hier ein festgesetztes Zeitlimit. Das dieses Zeitlimit eher im Minutenbereich liegt, mag ungewöhnlich sein, bricht aber nicht mit dem Konzept von Echtzeit.

    Grüße,
    Alexander Merz (golem.de)

  3. Re: Stand der Technik?

    Autor: Frostwind 05.02.19 - 01:34

    Das ist schwierig. Im Deutschen hat sich in der Tat das Wort Echtzeit durchgesetzt.

    MapReduce ist definitv Batch-Processing, da nach einer Funktion insbesondere Daten auf die Platte geschrieben werden.

    Spark macht Lazy Evaluation, also wertet erst aus, wenn man das Ergebnis auch wirklich braucht, arbeitet dann alle Zwischenoperationen ab, ohne (auf der Platte) zwischenzuspeichern (RAM).

    Im Prinzip soll beim Streaming jedoch zum einen die skalierbare Parallelität der einzelnen Operationen, zum anderen der Datenfluss herausgestellt werden; Ereignisse werden einzeln in einer Pipeline (also kein Batch) verarbeitet.
    Dass das am Ende dann womöglich doch Microbatches sind, ist klar. xD

  4. Re: Stand der Technik?

    Autor: DummyAccount 05.02.19 - 14:16

    Spark ist übrigens in der Tat immer noch micro-batch orientiert. Flink dagegen bietet echtes stream processing.
    Über Beam kann man auch Python Jobs mit Flink laufen lassen. Der Beam Support für Spark ist dagegen sehr rudimentär. Flink unterstützt stateful stream processing am besten (IMHO).

    Von daher ist Flink im Moment am IMHO am ehesten state of the art.
    Spark hat halt das grössere Ökosystem.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Software Test Engineer Buchhaltungssoftware (m/w/d)
    Haufe Group, Freiburg im Breisgau
  2. Einkäuferin / Einkäufer (w/m/d) für den Bereich Zentrale Beschaffung und IT-Vertragsmanagement
    Bau- und Liegenschaftsbetrieb NRW, Düsseldorf
  3. (Junior) System Engineer (m/w/d) Information Security
    Controlware GmbH, Meerbusch
  4. Bioinformatiker (m/w/d) für die Projektleitung »Whole Genome Sequencing«
    MVZ Martinsried GmbH, Planegg-Martinsried

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 32,99€ (Bestpreis!)
  2. mit bis zu 30% Rabatt
  3. (u. a. MSI Optix G32CQ4DE WQHD/165 Hz für 329€ + 6,99€ Versand und be quiet! Pure Base 600...
  4. (u. a. Greenland, The 800, Rampage, Glass, 2067: Kampf um die Zukunft)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Probleme mit Agilität in Konzernen: Agil sein muss man auch wollen
Probleme mit Agilität in Konzernen
Agil sein muss man auch wollen

Ansätze wie das Spotify-Modell sollen großen Firmen helfen, agil zu werden. Wer aber erwartet, dass man es überstülpen kann und dann ist alles gut, der irrt sich.
Ein Erfahrungsbericht von Marvin Engel


    Neues Apple TV 4K im Test: Teures Streaming-Gerät mit guter Fernbedienung
    Neues Apple TV 4K im Test
    Teures Streaming-Gerät mit guter Fernbedienung

    Beim neuen Apple TV 4K hat sich Apple eine ungewöhnliche Steuerung einfallen lassen, die aber im Alltag eher eine Spielerei ist.
    Ein Test von Ingo Pakalski

    1. Shareplay TVOS 15 soll gemeinsame Streaming-Erlebnisse schaffen
    2. Apple TV Farbkalibrierung per iPhone schneidet schlecht ab
    3. Sofasuche beendet Airtag-Hülle für Apple-TV-Fernbedienung

    Förderung von E-Autos und Hybriden: Wie viel Geld bekomme ich für den Kauf eines Elektroautos?
    Förderung von E-Autos und Hybriden
    Wie viel Geld bekomme ich für den Kauf eines Elektroautos?

    Ein E-Auto ist in der Anschaffung teurer als ein konventionelles. Käufer können aber Zuschüsse bekommen. Wir beantworten zehn wichtige Fragen dazu.
    Von Werner Pluta

    1. Lordstown Chefs von Elektro-Truck-Firma nach Betrug zurückgetreten
    2. Elektromobilität Rennserie E1 zeigt elektrisches Schnellboot
    3. Elektromobilität Green-Vision gibt Akkus aus Elektroautos neuen Zweck