1. Foren
  2. Kommentare
  3. Sonstiges
  4. Alle Kommentare zum Artikel
  5. › Mitmachprojekt: HTTPS vermiest uns…

Daten rastern

  1. Thema

Neues Thema Ansicht wechseln


  1. Daten rastern

    Autor: SZ 10.08.17 - 22:01

    Ich finde die Idee der Datenauswertung super. Für zukünftige Projekte würde ich aber die Geodaten auf ein fixes Raster (z. B. 0.25° x 0.25°) so wie bei Wetterkarten ( http://www1.wetter3.de/Animation_12_UTC_025Grad/03_7.gif ) legen und mitteln,

    Als Workflow wäre folgendes am einfachsten Umsetzbar:
    1) Ein neuer Client klickt auf einer Karte sein 1' x 1' (rd. 1.2 x 1.9 km) Feld an. Dadurch muss keiner seinen exakten Standort preisgeben.

    2) Der Ort wird in den Key des Clients mitcodiert, z. B. base64_encode(LAT:LON:GUID), LAT und LON sind die ganzen Bogenminuten. Somit wird er bei jedem Request sicher mitgeliefert.

    3) Durch die ganzzahligen Minuten liegen die Daten schon gerastert in der Datenbank. Dann können bei der Auswertung durch eine Kombination von Gruppieren und Abschneiden leicht die Daten auf 0.1 und 0.25° Felder durch Mittelwerte, etc. verdichtet werden.

    Der Abgleich zu Fremddaten (wie den DWD Stationen), die dann auch im Raster vorliegen, ist dann ein einfacher Vergleich und keine Entfernungsbestimmung.

    Außerdem würde ich auf ein GIS Programm (wie QGIS) setzen, statt auf R.

  2. Re: Daten rastern

    Autor: foho 11.08.17 - 00:23

    zu 1: sinn ist ja das ganze einfach halten, der request kann glaube ich nicht klicken.

    zu 2: die idee find ich gut.

    zu 3: auch das führt dazu das ich 1 nicht brauche weil ich dann beliebige genauigkeit wählen kann und ggf. runden und gruppieren kann.

    ich fände es, wie schon vorgeschlagen, gut wenn man sich quasi auf "mittelpunkte" verständigen könnte die leute angeben wenn sie nicht zu genau erkannt werden wollen.
    andererseits macht das die erfassung ja etwas kaputt wenn es um genauigkeit geht und "wo ist es am wärmsten"
    da würde sich vlt. die postleitzahl anbieten, die könnte auch das raster aus 1) ersetzen.

    vorschlag wäre: leute die mitmachen wollen, aber keine location angeben wollen nehmen einfach die berliner siegessäule als punkt oder das gipfelkreuz auf der zugspitze. (am besten nur eins von beiden) quasi als "punkt den man von vornherein aus der geographischen betrachtung ausschließt."

  3. Re: Daten rastern

    Autor: am (golem.de) 11.08.17 - 09:38

    @SZ:
    QGIS haben wir ursprünglich benutzt, siehe die Zwischenauswertung ( [www.golem.de] ). Dort beschreiben wir auch, wir zukünftig bei der Ortsbestimmung verfahren würden.

    Die Rasterung ist eine clevere Idee, sie hat allerdings einen Haken: Die DWD-Stationen sind nicht gleichmäßig über Deutschland verteilt. Es gibt keine Rastergröße, die gewährleistet, dass jedes Rasterelement exakt eine Wetterstation enthält. Stattdessen muss man hier mit interpolierten Daten arbeiten. Das haben wir ganz am Anfang mal zu Darstellungszwecken gemacht, aber nicht weiter verfolgt. Dazu es gibt keine Gewährleistung, dass die DWD-Stationen über den Beobachtungszeitraum fix sind, neue tauchen auf, alte werden abgeschaltet oder verändern ihre Position.

    Das ist das eigentliche Perfomance-Hindernis: die Zuordnung eines Beobachters zu einer DWD-Station muss für jeden Tag neu erfolgen. Dabei ist die eigentliche Nearest-Neighbor-Berechnung recht flott. Langsam wird es erst, wenn die Daten tatsächlich für einige Millionen Datenbankeinträge auf die Festplatte geschrieben werden müssen. Käme noch die Interpolation der DWD-Daten hinzu dazu, wird das richtig böse.

    @foho:
    Postleitzahlen sind für sowas komplett unbrauchbar. Die PLZ-Gebiete wurden nach Bevölkerungsdichte festgelegt und haben vollkommen unregelmäßige Größen.

    Grüße,
    Alexander Merz (golem.de)

  4. Re: Daten rastern

    Autor: SZ 11.08.17 - 12:42

    Hmm, bei den DWD Stationen würde ich den Temperaturwert der Koordinaten X und Y einfach als Durchschnitt der TEMP Werte mit where LNG--MAXDIST <= X und LNG+MAXDIST > X und LAT-MAXDIST <= Y und LAT+MAXDIST > Y bestimmen, wobei LAT und LNG die Koordinaten der Station sind. MAXDIST ist z. B. 0.5 für 0.5° x 0.5°.

    Ist der Wert NULL, weil es keine Station im Umkreis von 0.5° gibt, bringt auch die Suche nach der nächsten Station nichts, die wäre dann schon über 56 km weit weg.

    Und durch die Durchschnittsbildung hat man dann die Interpolation gratis dabei. Und der Kommentar # will take long kann dann auch rausfallen ;)



    1 mal bearbeitet, zuletzt am 11.08.17 12:43 durch SZ.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Klinikum Esslingen GmbH, Esslingen
  2. VIVAVIS AG, Bochum, Ettlingen, Koblenz (Home-Office)
  3. medac Gesellschaft für klinische Spezialpräparate mbH, Wedel
  4. DAVASO GmbH, Leipzig-Mölkau

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. (u. a. Sharkoon PureWriter TKL RGB Gaming-Tastatur für 49,90€, Cooler Master Silencio FP 140 PWM...
  2. 119,90€ (Bestpreis!)
  3. mit 279€ Tiefpreis bei Geizhals
  4. (u. a. Total War Three Kingdoms - Royal Edition für 18,49€, Ride 4 für 20,99€, Resident Evil...


Haben wir etwas übersehen?

E-Mail an news@golem.de


Mafia Definitive Edition im Test: Ein Remake, das wir nicht ablehnen können
Mafia Definitive Edition im Test
Ein Remake, das wir nicht ablehnen können

Familie ist für immer - nur welche soll es sein? In Mafia Definitive Edition finden wir die Antwort erneut heraus, anders und doch grandios.
Ein Test von Marc Sauter

  1. Mafia Definitive Edition angespielt Don Salieri wäre stolz
  2. Mafia Definitive Edition Ballerei beim Ausflug aufs Land
  3. Definitive Edition Das erste Mafia wird von Grund auf neu erstellt

Vivo X51 im Test: Vivos gelungener Deutschland-Start hat eine Gimbal-Kamera
Vivo X51 im Test
Vivos gelungener Deutschland-Start hat eine Gimbal-Kamera

Das Vivo X51 hat eine gute Kamera mit starker Bildstabilisierung und eine vorbildlich zurückhaltende Android-Oberfläche. Der Startpreis in Deutschland könnte aber eine Herausforderung für den Hersteller sein.
Ein Test von Tobias Költzsch

  1. Software-Entwicklung Google veröffentlicht Android Studio 4.1
  2. Jetpack Compose Android bekommt neues UI-Framework
  3. Google Android bekommt lokale Sharing-Funktion

Pinephone im Test: Das etwas pineliche Linux-Phone für Bastler
Pinephone im Test
Das etwas pineliche Linux-Phone für Bastler

Mit dem Pinephone gibt es endlich wieder ein richtiges Linux-Telefon, samt freier Treiber und ohne Android. Das Projekt scheitert aber leider noch an der Realität.
Ein Test von Sebastian Grüner

  1. Linux Mehr Multi-Touch-Support in Elementary OS 6
  2. Kernel Die Neuerungen im kommenden Linux 5.9
  3. VA-API Firefox bringt Linux-Hardwarebeschleunigung auch für X11