Abo
  1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Begriffe, Architekturen…

Stand der Technik?

  1. Thema

Neues Thema Ansicht wechseln


  1. Stand der Technik?

    Autor: the_crow 04.02.19 - 15:50

    Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit Batch-Programmen ab?

    Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw. muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell in der Maschinensteuerung oder beim Entwickeln von Hardware-Treibern. Ich finde passender wäre etwas wie "schnelle Einzeldaten-Verarbeitung".

    In der Praxis habe ich bis jetzt übrigens noch kein System gesehen, dass gleichzeitig eine schnelle operative Verarbeitung und gute Analysemöglichkeiten bietet. Schließlich gibt es, wie auch im Artikel korrekt beschrieben, sehr unterschiedliche Anforderungen an eine effiziente Datenmodellierung. Außerdem benötigt man für die Datenanalyse bestimmte Qualitäts-Parameter und Meta-Informationen, die bei direkter Anlyse von operativen Daten oft nicht zur Verfügung stehen.



    1 mal bearbeitet, zuletzt am 04.02.19 15:54 durch the_crow.

  2. Re: Stand der Technik?

    Autor: am (golem.de) 04.02.19 - 16:33

    > Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit
    > Batch-Programmen ab?
    Batch-Prozesse sind in meinen Augen immer noch eher Norm als Ausnahme. Sobald zum Beispiel Cron&Co ins Spiel kommen, ist das faktisch Batchprozessing, auch wenn es die wenigsten als solches bezeichnen würden.

    > Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich
    > finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung
    > (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als
    > eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw.
    > muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell
    Wenn die Anforderung ist: "Reagiere auf einen Kunden solange dieser noch im Bestellprozess ist", dann erfüllt das genau die Definition von Echtzeit in der IT, denn es gibt hier ein festgesetztes Zeitlimit. Das dieses Zeitlimit eher im Minutenbereich liegt, mag ungewöhnlich sein, bricht aber nicht mit dem Konzept von Echtzeit.

    Grüße,
    Alexander Merz (golem.de)

  3. Re: Stand der Technik?

    Autor: Frostwind 05.02.19 - 01:34

    Das ist schwierig. Im Deutschen hat sich in der Tat das Wort Echtzeit durchgesetzt.

    MapReduce ist definitv Batch-Processing, da nach einer Funktion insbesondere Daten auf die Platte geschrieben werden.

    Spark macht Lazy Evaluation, also wertet erst aus, wenn man das Ergebnis auch wirklich braucht, arbeitet dann alle Zwischenoperationen ab, ohne (auf der Platte) zwischenzuspeichern (RAM).

    Im Prinzip soll beim Streaming jedoch zum einen die skalierbare Parallelität der einzelnen Operationen, zum anderen der Datenfluss herausgestellt werden; Ereignisse werden einzeln in einer Pipeline (also kein Batch) verarbeitet.
    Dass das am Ende dann womöglich doch Microbatches sind, ist klar. xD

  4. Re: Stand der Technik?

    Autor: DummyAccount 05.02.19 - 14:16

    Spark ist übrigens in der Tat immer noch micro-batch orientiert. Flink dagegen bietet echtes stream processing.
    Über Beam kann man auch Python Jobs mit Flink laufen lassen. Der Beam Support für Spark ist dagegen sehr rudimentär. Flink unterstützt stateful stream processing am besten (IMHO).

    Von daher ist Flink im Moment am IMHO am ehesten state of the art.
    Spark hat halt das grössere Ökosystem.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. NETZSCH-Gerätebau GmbH, Selb (Raum Hof)
  2. RATIONAL AG, Landsberg am Lech
  3. LOTTO Hessen GmbH, Wiesbaden
  4. Schöck Bauteile GmbH, Baden-Baden

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 0,49€
  2. 0,49€
  3. 4,99€
  4. 3,99€ statt 19,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


e.Go Life: Ein Auto, das lächelt
e.Go Life
Ein Auto, das lächelt

Das Auto ist zwar klein, bringt aber sogar gestandene Rennfahrer ins Schwärmen: Das Aachener Unternehmen e.Go Mobile hat seine ersten Elektroautos ausgeliefert. In einer Probefahrt erweist sich der Kleinwagen als sehr dynamisch.
Ein Bericht von Werner Pluta

  1. Elektroauto Skoda Citigo e iV soll 265 km weit fahren
  2. Eon-Studie Netzausbau kostet maximal 400 Euro pro Elektroauto
  3. EZ-Pod Renault-Miniauto soll Stadtverkehr in Kolonne fahren

Bethesda: Ich habe TES Blades für 5,50 Euro durchgespielt
Bethesda
Ich habe TES Blades für 5,50 Euro durchgespielt

Rund sechs Wochen lang hatte ich täglich viele spaßige und auch einige frustrierende Erlebnisse in Tamriel: Mittlerweile habe ich den Hexenkönig in TES Blades besiegt - ohne dafür teuer bezahlen zu müssen.
Ein Bericht von Marc Sauter

  1. Bethesda TES Blades erhält mehr Story-Inhalte und besseres Balancing
  2. Bethesda TES Blades ist für alle verfügbar
  3. TES Blades im Test Tolles Tamriel trollt

Kontist, N26, Holvi: Neue Banking-Apps machen gute Angebote für Freelancer
Kontist, N26, Holvi
Neue Banking-Apps machen gute Angebote für Freelancer

Ein mobiles und dazu noch kostenloses Geschäftskonto für Freiberufler versprechen Startups wie Kontist, N26 oder Holvi. Doch sind die Newcomer eine Alternative zu den Freelancer-Konten der großen Filialbanken? Ja, sind sie - mit einer kleinen Einschränkung.
Von Björn König


    1. Core i9-9900KS: Intel legt mit vollen 5 GHz für acht CPU-Kerne vor
      Core i9-9900KS
      Intel legt mit vollen 5 GHz für acht CPU-Kerne vor

      Computex 2019 Nur wenige Stunden vor AMDs Präsentation hat Intel den Core i9-9900KS angekündigt: Der Octacore läuft mit 5 GHz, die dafür nötige Leistungsaufnahme aber verschweigt der Hersteller.

    2. Europawahlen: Schwere Verluste für Union und SPD, hohe Gewinne für Grüne
      Europawahlen
      Schwere Verluste für Union und SPD, hohe Gewinne für Grüne

      Bei der Europawahl 2019 haben die Regierungsparteien Union und SPD historisch schlecht abgeschnitten. Besonders profitieren konnten die Grünen. Während die Piraten viele Stimmen verloren, legte eine andere Kleinstpartei besonders stark zu.

    3. Briefe und Pakete: Bundesregierung will Rechte von Postkunden stärken
      Briefe und Pakete
      Bundesregierung will Rechte von Postkunden stärken

      Aufgrund gestiegener Beschwerden über Mängel bei der Post- und Paketzustellung will das Bundeswirtschaftsministerium die Rechte von Postkunden stärken. Dabei geht es auch um die Frage von Sanktionsmöglichkeiten.


    1. 03:45

    2. 20:12

    3. 11:31

    4. 11:17

    5. 10:57

    6. 13:20

    7. 12:11

    8. 11:40