1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Lamphone: Wenn die Lampe zur Wanze…

Sub-Pixel-Abweichungen auf Oberflächen

Für Konsolen-Talk gibt es natürlich auch einen Raum ohne nerviges Gedöns oder Flamewar im Freiraum!
  1. Thema

Neues Thema Ansicht wechseln


  1. Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Cerdo 15.06.20 - 12:01

    Es gab schon vor längerem eine Forschungsarbeit, in der sie mit einer relativ guten Kamera Oberflächen wie die Blätter einer Pflanze durch ein Fenster gefilmt und aus den Sub-Pixel-Abweichungen das Gesprochene im Raum rekonstruieren konnten.
    Das ist eigentlich genau das gleiche. Bei Bedarf kann ich das Paper mal raus suchen. Die Aufnahmen gab es auch im Internet.

    Die Idee ist also nicht neu, funktioniert aber erstaunlich gut.

  2. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Ach 15.06.20 - 13:15

    Cerdo schrieb:
    --------------------------------------------------------------------------------
    > Es gab schon vor längerem eine Forschungsarbeit, in der sie mit einer
    > relativ guten Kamera Oberflächen wie die Blätter einer Pflanze durch ein
    > Fenster gefilmt und aus den Sub-Pixel-Abweichungen das Gesprochene im Raum
    > rekonstruieren konnten.
    > Das ist eigentlich genau das gleiche. Bei Bedarf kann ich das Paper mal
    > raus suchen. Die Aufnahmen gab es auch im Internet.
    >
    > Die Idee ist also nicht neu, funktioniert aber erstaunlich gut.


    Weiß ich nicht, ob man die beiden Methoden direkt vergleichen kann. Im Test geht es um ein Flackern, also um Helligkeitsschwankungen. Dein Beispiel, vielleicht irre ich mach auch, aber das hört sich eher nach der Zerlegung des Lichts in seine Spektralfarben an mit einer angeschlossenen Lichtfrequenzmessung. Trotzdem oder vielleicht gerade deshalb ein sehr spannender Vergleich!

  3. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: wupme 15.06.20 - 13:53

    Ich hatte da auch im Hinterkopf so etwas mal gesehen zu haben.
    Falls du das Paper findest würde ich mich über einen Link sehr freuen.

  4. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: johnsonmonsen 15.06.20 - 14:21

    Hallo zusammen,

    >Ich hatte da auch im Hinterkopf so etwas mal gesehen zu haben. Falls du das Paper findest würde ich mich über einen Link sehr freuen.

    Hier ein Link zu einem Beitrag von Veritasium. Dort wird gezeigt, wie sich aus Bildmaterial Ton gewinnen lässt. Fand ich sehr interessant:

    https://www.youtube.com/watch?v=eUzB0L0mSCI

    Viele Grüße :-)!

  5. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Ach 15.06.20 - 15:02

    Schick, schick! Ergo geht es auch hier um Helligkeiten, meint : von daher kein Unterschied zu dem im Bericht vorgeführten Verfahren. Interessanter Fakt : dass man natürlich mit einer entsprechend hohen Bildfrequenz arbeiten muss. 1000 Bilder/sec entsprechen einem Frequenzgang von der Hälfte, also von 500 Herz. Kammerton C liegt auf 330 Herz. Ergo hätte er sich nicht mal auf diese sehr tiefen Töne konzentrieren müssen, die sein Notebook ja dann leider nicht wiedergeben konnte. Aber natürlich ist man im Nachhinein immer schlauer :].

  6. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: johnsonmonsen 15.06.20 - 15:32

    Hallo Ach!

    >1000 Bilder/sec entsprechen einem Frequenzgang von der Hälfte, also von 500 Herz.

    Ich habe mich immer gefragt, ob man dem Nyquist-Shannon-Theorem irgendwie durch statistische Methoden Herr werden kann. Zumindest in Grenzen. Leider reichen meine Mathematikkenntnisse hier nicht.

    Aber jedenfalls hat man bei Sprache nur rund 3kHz - und (was nicht nebensächlich ist) eine enge Anzahl an bekannten Lauten; gängige Grammatik und klare Aussprache vorausgesetzt. Da müsste sich doch Samplingunschärfen irgendwie statistisch reduzieren lassen - oder mache ich einen Denkfehler?

    Viele Grüße :-)!

  7. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Ach 15.06.20 - 16:50

    Hi johnsonmonsen :],

    Das ist mir mathematisch auch schon zu wieder zu hoch :]. Aber 3khz bei Sprache erklärt schon mal gut, warum sich die Sprache in den Videos aus dem Bericht so mittenlastig und gedrungen anhört. Für eine klarere Sprache müssten es dann schon 6000 Bilder/s sein. sollte im Zeitalter von Terrabyte M.2 Sticks aber eigentlich kein Problem darstellen .

  8. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: johnsonmonsen 15.06.20 - 18:11

    Hallo Ach!

    >Das ist mir mathematisch auch schon zu wieder zu hoch :].

    Gemeinsame Unkenntnis beruhigt ungemein; da komme ich mir nicht so "dumm" vor ;-)!

    >Aber 3khz bei Sprache erklärt schon mal gut, warum sich die Sprache in den Videos aus dem Bericht so mittenlastig und gedrungen anhört.

    Ich hatte da die 2700Hz im Sinn, welche mit einem Funkgerät übertragen werden, wenn die Modulationsart AM mit Einseitenband verwendet wird. Allerdings wird hier ja eine Hälfte es Spektrums rekonstruiert.

    https://www.darc.de/der-club/referate/ajw/lehrgang-te/e14/#Bandbreite_AM

    Das erklärt die Google-Angabe von 5kHz Frequenzumfang für die Sprache. In Sprachcodecs wird wohl ab 3,1kHz benutzt.

    https://www.elektronik-kompendium.de/sites/net/0905121.htm

    Hat mich jedenfalls gefreut, mal wieder einige Infos auszutauschen. Ist schon interessant, das Real-Life-Tonbildverfahren sozusagen ...

    Viele Grüße :-)!

  9. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Cerdo 15.06.20 - 18:58

    johnsonmonsen schrieb:
    --------------------------------------------------------------------------------
    > Hier ein Link zu einem Beitrag von Veritasium.

    Ja, genau das meinte ich. Danke! Der Link zum Projekt und Paper ist:
    https://people.csail.mit.edu/mrub/VisualMic/

    Übrigens war das auf der SigGraph 2014, also nicht wirklich neu die Idee.



    1 mal bearbeitet, zuletzt am 15.06.20 19:04 durch Cerdo.

  10. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: johnsonmonsen 15.06.20 - 19:49

    Hallo Cerdo!

    >Ja, genau das meinte ich. Danke! Der Link zum Projekt und Paper ist: https://people.csail.mit.edu/mrub/VisualMic/

    Gern geschehen! Mit Deinem Link sind jetzt alle Infos hier komplett.

    Viele Grüße :-)!

  11. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Ach 15.06.20 - 23:48

    > Hat mich jedenfalls gefreut, mal wieder einige Infos auszutauschen. Ist schon interessant, das Real-Life-Tonbildverfahren sozusagen ...

    Die Faszination kommt oft mit der Überschneidung zweier Disziplinen, da derartige Zusammenstöße des Öfteren von erquickenden Momenten spontaner Erkenntnis begleitet werden. In diesem Fall sind es jener Disziplinen gleich drei in Form von Bild, Ton und Funk via Bildrate, Tonhöhe und Frequenz. Da wurde mir vorhin schlagartig klar, wie bildlich man die Lange- wie auch Mittelwelle- typischen Einschränkungen in der übertragbaren Klangqualität doch verstehen kann, verbunden mit der Frage, welche intellektuelle Schwäche da an mir gewirkt haben musste, das mir dieser gerade so einleuchtend und klar erscheinende Zusammenhang früher nie auffiel.

  12. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: johnsonmonsen 16.06.20 - 01:26

    Hallo Ach!

    >Da wurde mir vorhin schlagartig klar, wie bildlich man die Lange- wie auch Mittelwelle- typischen Einschränkungen in der übertragbaren Klangqualität doch verstehen kann, verbunden mit der Frage, welche intellektuelle Schwäche da an mir gewirkt haben musste, das mir dieser gerade so einleuchtend und klar erscheinende Zusammenhang früher nie auffiel.

    Das liegt weniger am Intellekt, als daran, dass das ganze Gefunke im Prinzip reinste Hexerei darstellt - und ich spreche erst einmal nur vom analogen Betrieb! Von meiner Amateurfunk-Prüfungsvorbereitung ist jedenfalls nicht mehr viel übrig; Antennen sind mir ebenso ein Mysterium geblieben, wie die Tatsache, wie derbe hoch die Verstärkerleistung eigentlich ausfällt, um die schwachen Signale überhaupt umsetzen zu können und welchen Einfluss die verschieden ionisierten Atmosphärenschichten auf die Wellenausbreitung haben, etc. Die Modulation von Sprache und Daten ist darüber hinaus ein Kosmos für sich. Ich meine, ich kann mich so ausdrücken, als verstünde ich es, aber hinter der rhetorischen Fassade bleibt nur ehrfürchtiges Staunen über unsere moderne Kommunikationstechnologie und selbst profanes Radio :-)!

    Viele Grüße und alles Gute :-)!

  13. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Ach 16.06.20 - 12:05

    CB Funk hab ich bis auf eine spätere Ausnahme als das Hobby einer älteren Generation und wiederum innerhalb dieser Generation als eigene Welt verstehen gelernt. Mit ihrer eigenen Kultur, welche man heute wohl als Nerd Kultur einstufen würde. So wie ich das verstanden habe, ging es in der Hauptsache darum, mit eigenen Mitteln und unabhängig irgendwelcher Kommunikationsanbieter Kontakte über weite Entfernungen führen zu können. wobei sich spätestens mit der Durchsetzung des PC und der digitalen Signalübertragung in den Neunzigern der CB Funk seinem Ende näherte.

    LW, MW und UKW lernte ich allein über das Radio kennen, als ich mich wie meine Freunde intensiv dem Aufnehmen von Songs aus dem Radio auf immer neuen Mix-Kassetten widmedte. Tja, und damals als Knirps war ich wohl schlichtweg zu klein um die komplexen Zusammenhänge zwischen Samplerate und Frequenzgängen nachzuvollziehen.

    Die Kompression von Sprache und Musik begegnete ich sehr viel später und das erste mal mit Sonys ATRAC Technologie, welche Sony in ihren Mini-Disk-Playern einsetzte. Diese Technik beschäftigte die Elektronik- wie Hifi Fans wohl gleichermaßen, allerdings weniger als tatsächlich zu erwerbende Technik und vielmehr als Diskussionsgrundlage, ob Musik tatsächlich verlustfrei komprimierbar sei, und ob man tatsächlich keinerlei Qualitätseinbußen hinnehmen müsste. ATRAC war der direkte Vorläufer des MP3 Formats.

    Die beiden Technikbereiche erinnern mich an das was man heute mit "Raketentechnik" umschreiben würde. weit nördlich meines rudimentären Verständnis der Frequenztechnik und meines einfachen Verständnis der Elektrotechnik, was einmal mehr deine Links bestätigen :]. Wenn sich jemand damit befassen möchte, dann wohl ganz und gar oder er lässt es gleich bleiben :]. Ein spielerischer Zugang könnte der über die Musik darstellen. Zu was moderne Musiksoftware in der Lage ist, und wie derartige Tools die Manipulation von Frequenzen darzustellen in der Lage sind, das ist für meine Begriffe ganz ähnlich faszinierend. Ein Beispiel findet sich ja in deinem ersten Video.

  14. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: johnsonmonsen 16.06.20 - 21:07

    Hallo Ach!

    >CB Funk hab ich bis auf eine spätere Ausnahme als das Hobby einer älteren Generation und wiederum innerhalb dieser Generation als eigene Welt verstehen gelernt.

    Verwechselst Du CB-Funk mit dem Amateurfunk ;-)? CB-Funk (Citizens Band) ist lizenzfreier Jedermannfunk mit 4W Sendeleistung, beschränkt auf ein Band (rund 27MHz). Amateurfunk hingegen ist das High-Level des nicht kommerziellen Funkbetriebs und Experimantalfunks. Hier wird um die ganze Erde gefunk, Erde-Mond-Erde und sogar eine Erde-Venus-Erde-Rekord aufgestellt. Funkamateure können kostenlos Amateurfunk-Satelliten nutzen, die sich im Orbit befinden, weltweit E-Mails über z.B. Winlink empfangen, exklusive gesetzlich geschützte Frequenzbereiche verwenden (auch für Hamnet, das Internet der Funkamateure). Digitale Betriebsarten wie Packet Radio stehen seit Anfang der 80er zur Verfügung, zahlreiche Protokolle wurden entwickelt und mehr als einmal waren es die Funkamateure, welche sich auf experimentelles Neuland wagten. Auch wenn ich meine Prüfung nur aufgrund von kurzweiliger Begeisterung für Handfunkgeräte machte, ist die Welt des Amateurfunks riesig - und viele kennen dieses Feld überhaupt nicht. Dabei ist es (für den der möchte) eindeutig der schnellste Zugang zum Feld zur wissenschaftlichen (Weltraum)forschung. Die Kollaboration ist stark, der Nachwuchs fehlt und alles quasi Open Source. Nur so am Rande ;-)!

    https://amsat-dl.org/erde-venus-erde-experiment-der-amsat-dl-erfolgreich/
    https://de.wikipedia.org/wiki/Packet_Radio

    Ist schön zu sehen, dass wir beide das Staunen nicht verlernt haben und immer wieder etwas finden, dass uns fasziniert!

    Viele Grüße :-)!

  15. Re: Sub-Pixel-Abweichungen auf Oberflächen

    Autor: Ach 17.06.20 - 02:09

    johnsonmonsen schrieb:
    --------------------------------------------------------------------------------

    > Verwechselst Du CB-Funk mit dem Amateurfunk ;-)? CB-Funk (Citizens Band)
    > ist lizenzfreier Jedermannfunk mit 4W Sendeleistung, beschränkt auf ein
    > Band (rund 27MHz). Amateurfunk hingegen ist das High-Level des nicht
    > kommerziellen Funkbetriebs und Experimantalfunks. Hier wird um die ganze
    > Erde gefunk, Erde-Mond-Erde und sogar eine Erde-Venus-Erde-Rekord
    > aufgestellt. Funkamateure können kostenlos Amateurfunk-Satelliten nutzen,
    > die sich im Orbit befinden, weltweit E-Mails über z.B. Winlink empfangen,
    > exklusive gesetzlich geschützte Frequenzbereiche verwenden (auch für
    > Hamnet, das Internet der Funkamateure). Digitale Betriebsarten wie Packet
    > Radio stehen seit Anfang der 80er zur Verfügung, zahlreiche Protokolle
    > wurden entwickelt und mehr als einmal waren es die Funkamateure, welche
    > sich auf experimentelles Neuland wagten. Auch wenn ich meine Prüfung nur
    > aufgrund von kurzweiliger Begeisterung für Handfunkgeräte machte, ist die
    > Welt des Amateurfunks riesig - und viele kennen dieses Feld überhaupt
    > nicht. Dabei ist es (für den der möchte) eindeutig der schnellste Zugang
    > zum Feld zur wissenschaftlichen (Weltraum)forschung. Die Kollaboration ist
    > stark, der Nachwuchs fehlt und alles quasi Open Source. Nur so am Rande
    > ;-)!
    Ich hatte nicht den geringsten Schimmer :]. Ich schau mir das später mal an.

    > Ist schön zu sehen, dass wir beide das Staunen nicht verlernt haben und
    > immer wieder etwas finden, dass uns fasziniert!

    Das ist soweit tatsächlich eine stabile Größe!


    Viele Grüße auch an dich :]

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Haufe Group, Freiburg
  2. Landratsamt Reutlingen, Reutlingen
  3. Statistisches Bundesamt, Wiesbaden
  4. Kassenärztliche Vereinigung Niedersachsen, Hannover (Home-Office möglich)

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 8,99€
  2. 34,49€
  3. 9,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme