Abo
  1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Begriffe, Architekturen…

Stand der Technik?

  1. Thema

Neues Thema Ansicht wechseln


  1. Stand der Technik?

    Autor: the_crow 04.02.19 - 15:50

    Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit Batch-Programmen ab?

    Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw. muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell in der Maschinensteuerung oder beim Entwickeln von Hardware-Treibern. Ich finde passender wäre etwas wie "schnelle Einzeldaten-Verarbeitung".

    In der Praxis habe ich bis jetzt übrigens noch kein System gesehen, dass gleichzeitig eine schnelle operative Verarbeitung und gute Analysemöglichkeiten bietet. Schließlich gibt es, wie auch im Artikel korrekt beschrieben, sehr unterschiedliche Anforderungen an eine effiziente Datenmodellierung. Außerdem benötigt man für die Datenanalyse bestimmte Qualitäts-Parameter und Meta-Informationen, die bei direkter Anlyse von operativen Daten oft nicht zur Verfügung stehen.



    1 mal bearbeitet, zuletzt am 04.02.19 15:54 durch the_crow.

  2. Re: Stand der Technik?

    Autor: am (golem.de) 04.02.19 - 16:33

    > Wer (außer Banken) bildet denn heute seine Haupt-Geschäftsprozesse mit
    > Batch-Programmen ab?
    Batch-Prozesse sind in meinen Augen immer noch eher Norm als Ausnahme. Sobald zum Beispiel Cron&Co ins Spiel kommen, ist das faktisch Batchprozessing, auch wenn es die wenigsten als solches bezeichnen würden.

    > Echtzeit-Verarbeitung ist in der IT übrigens ein gesetzter Begriff. Ich
    > finde etwas unschön, dass das hier vermischt wird. Schnelle Verarbeitung
    > (hier im Artikel "geringe Latenz" genannt) ist etwas komplett anderes als
    > eine Echtzeit-Verarbeitung, bei der exakt vorhergesagt werden kann bzw.
    > muss, wie lange ein System zum reagieren benötigt. Das ist z.B. essenziell
    Wenn die Anforderung ist: "Reagiere auf einen Kunden solange dieser noch im Bestellprozess ist", dann erfüllt das genau die Definition von Echtzeit in der IT, denn es gibt hier ein festgesetztes Zeitlimit. Das dieses Zeitlimit eher im Minutenbereich liegt, mag ungewöhnlich sein, bricht aber nicht mit dem Konzept von Echtzeit.

    Grüße,
    Alexander Merz (golem.de)

  3. Re: Stand der Technik?

    Autor: Frostwind 05.02.19 - 01:34

    Das ist schwierig. Im Deutschen hat sich in der Tat das Wort Echtzeit durchgesetzt.

    MapReduce ist definitv Batch-Processing, da nach einer Funktion insbesondere Daten auf die Platte geschrieben werden.

    Spark macht Lazy Evaluation, also wertet erst aus, wenn man das Ergebnis auch wirklich braucht, arbeitet dann alle Zwischenoperationen ab, ohne (auf der Platte) zwischenzuspeichern (RAM).

    Im Prinzip soll beim Streaming jedoch zum einen die skalierbare Parallelität der einzelnen Operationen, zum anderen der Datenfluss herausgestellt werden; Ereignisse werden einzeln in einer Pipeline (also kein Batch) verarbeitet.
    Dass das am Ende dann womöglich doch Microbatches sind, ist klar. xD

  4. Re: Stand der Technik?

    Autor: DummyAccount 05.02.19 - 14:16

    Spark ist übrigens in der Tat immer noch micro-batch orientiert. Flink dagegen bietet echtes stream processing.
    Über Beam kann man auch Python Jobs mit Flink laufen lassen. Der Beam Support für Spark ist dagegen sehr rudimentär. Flink unterstützt stateful stream processing am besten (IMHO).

    Von daher ist Flink im Moment am IMHO am ehesten state of the art.
    Spark hat halt das grössere Ökosystem.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. rhenag Rheinische Energie Aktiengesellschaft, Siegburg
  2. Bechtle Onsite Services GmbH, München
  3. Stadtwerke Karlsruhe Netzservice GmbH, Karlsruhe
  4. Jetter AG, Ludwigsburg

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. (u. a. Inno3D Geforce RTX 2070 X2 OC für 399,00€, Zotac Gaming Geforce RTX 2080 AMP Extreme...
  2. 199,90€ (Bestpreis!)
  3. ab 794,99€ und damit günstiger als bei Apple (Release am 20.09.)
  4. ab 1.144,99€ und damit günstiger als bei Apple (Release am 20.09.)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Garmin Fenix 6 im Test: Laufzeitmonster mit Sonne im Herzen
Garmin Fenix 6 im Test
Laufzeitmonster mit Sonne im Herzen

Bis zu 24 Tage Akkulaufzeit, im Spezialmodus sogar bis zu 120 Tage: Garmin setzt bei seiner Sport- und Smartwatchserie Fenix 6 konsequent auf Akku-Ausdauer. Beim Ausprobieren haben uns neben einem System zur Stromgewinnung auch neue Energiesparoptionen interessiert.
Ein Test von Peter Steinlechner

  1. Fenix 6 Garmins Premium-Wearable hat ein Pairing-Problem
  2. Wearable Garmin Fenix 6 bekommt Solarstrom

Elektrautos auf der IAA: Die Gezeigtwagen-Messe
Elektrautos auf der IAA
Die Gezeigtwagen-Messe

IAA 2019 Viele klassische Hersteller fehlen bei der IAA oder zeigen Autos, die man längst gesehen hat. Bei den Elektroautos bekommen alltagstaugliche Modelle wie VW ID.3, Opel Corsa E und Honda E viel Aufmerksamkeit.
Ein Bericht von Dirk Kunde

  1. Elektromobilität Stromwirtschaft will keine Million öffentlicher Ladesäulen
  2. Umfrage Kunden fühlen sich vor Elektroautokauf schlecht beraten
  3. Batterieprobleme Auslieferung des e.Go verzögert sich

Party like it's 1999: Die 510 letzten Tage von Sega
Party like it's 1999
Die 510 letzten Tage von Sega

Golem retro_ Am 9.9.1999 kam in den USA mit der Sega Dreamcast die letzte Spielkonsole der 90er Jahre auf den Markt. Es sollte auch die letzte Spielkonsole von Sega werden. Aber das wusste zu diesem Zeitpunkt noch niemand.
Von Martin Wolf


    1. Handelskrieg: Cisco gegen weltweite Zersplitterung der Technologiebranche
      Handelskrieg
      Cisco gegen weltweite Zersplitterung der Technologiebranche

      Trump hatte die US-Konzerne aufgefordert, alle Verbindung mit China abzubrechen. Der Cisco-Chef will diese Spaltung nicht und muss sie wirklich fürchten.

    2. Machine Learning: Software maskiert Gesichter mit anderen Gesichtern
      Machine Learning
      Software maskiert Gesichter mit anderen Gesichtern

      Forscher arbeiten an einer Software, die die eigene Privatsphäre schützen soll. Deepprivacy maskiert das eigene Gesicht mit zufälligen anderen Gesichtern. Noch sieht das sehr surreal aus.

    3. Digitale Signalübertragung: VDV möchte mehr Geld für ETCS-Eisenbahn-Umrüstungen
      Digitale Signalübertragung
      VDV möchte mehr Geld für ETCS-Eisenbahn-Umrüstungen

      Das Fahren von Zügen auf Strecken ohne sichtbare Signale wird von der Bundesregierung gefördert. Dem Verband der Verkehrsunternehmen (VDV) reicht das Geld für die ETCS-Ausrüstung aber nicht, er möchte eine Aufstockung, da die Kosten enorm hoch sind.


    1. 14:04

    2. 13:13

    3. 12:30

    4. 12:03

    5. 12:02

    6. 11:17

    7. 11:05

    8. 10:50