Abo
  1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Maschinelles Lernen…

Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 13:35

    Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.
    Oder anders gesagt: von 170.000 Tests waren vermutlich fast 99% korrekt, unter der Annahme, dass sich unter den 170.000 nicht noch Kriminelle befunden haben, welche nicht entdeckt wurden.

    Das ganze ist eigentlich ein guter Wert. Und wenn wir hier beschrieben ein Mensch sich alle vom System geflaggten Fälle noch einmal anschaut um Fehler zu beseitigen, dann sehe ich hier auch kein wirkliches Problem, dass eine Person fehlerhaft verdächtigt wurde. Und das ganze ist auch deutlich effizienter und billiger als wenn der Abgleich zwischen Foto und Datenbank manuell von Personen vorgenommen würde.

    Das Problem sehe ich daher nicht in der angeblich schlechten Erkennungsrate. Die Frage ist eher, wollen wir diese Form von Abgleich, egal ob von Mensch oder von Maschine vorgenommen?

  2. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: captain_spaulding 07.05.18 - 13:39

    Ja, man will also eher nicht viele Leute mit so einem System testen. Also nicht eine Kamera an einem öffentlichen Platz aufstellen.

    Weil selbst wenn die Erkennungsrate sehr gut ist, gibt es dadurch extrem viele zu Unrecht Verdächtigte.

  3. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Muhaha 07.05.18 - 13:44

    noxxi schrieb:
    --------------------------------------------------------------------------------

    > Das ganze ist eigentlich ein guter Wert.

    Das ist ein katastrophaler Wert!

    "But out of the 2,470 potential matches with custody pictures - 92% - or 2,297 were wrong."

    > Und wenn wir hier beschrieben ein
    > Mensch sich alle vom System geflaggten Fälle noch einmal anschaut um Fehler
    > zu beseitigen, dann sehe ich hier auch kein wirkliches Problem, dass eine
    > Person fehlerhaft verdächtigt wurde.

    92% falsche Verdächtigungen ist für Dich kein Problem?

    > Und das ganze ist auch deutlich
    > effizienter und billiger als wenn der Abgleich zwischen Foto und Datenbank
    > manuell von Personen vorgenommen würde.

    Ohne den manuelle Abgleich würde nun gegen 2297 von 2470 Personen fälschlicherweise ermittelt, ihr Leben erschwert und massenhaft Steuergelder verschwendet. Was auch immer für feuchte Träume bei Sicherheits- und Kontrollparanoikern sorgt, derzeit ist es noch ein Traum. Und sollte idealerweise einer bleiben!

    > Das Problem sehe ich daher nicht in der angeblich schlechten
    > Erkennungsrate. Die Frage ist eher, wollen wir diese Form von Abgleich,
    > egal ob von Mensch oder von Maschine vorgenommen?

    Bevor Du diese Frage stellst, würde ich zuerst an Deinem Statistikverständnis arbeiten :)

  4. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 07.05.18 - 13:52

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.

    Nein, wie oft das System richtig lag ist für die False Positiv Rate unerheblich.
    Es geht um das Verhältnis der als positiv deklarierten Fälle zu den tatsächlich positiven Fälle.
    Hier demnach wieviele Verbrecher keine sind, und hier sind das eben 2297 von 2470.


    (Text: 2.470 hat der Algorithmus als Kriminelle identifiziert, wobei das auf lediglich 173 Verdächtige tatsächlich zutraf)

    nm

  5. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Vash 07.05.18 - 13:54

    Muhaha schrieb:
    --------------------------------------------------------------------------------
    > noxxi schrieb:
    > ---------------------------------------------------------------------------
    > -----
    >
    > > Das ganze ist eigentlich ein guter Wert.
    >
    > Das ist ein katastrophaler Wert!
    >
    > "But out of the 2,470 potential matches with custody pictures - 92% - or
    > 2,297 were wrong."

    Zumal vollkommen unberücksichtigt bleibt wie viele "echte Schuldige" nicht erkannt wurden. Zwar kann man bei der Fehlerquote sicher einen Wert ausrechnen, dennoch wird man sie nie wirklich messen können wenn man nicht zweifelsfrei alle Besucher im Vorfeld kennt.

    Für mich bedeutet es: So ein System darf niemals an einen Automatismus gekoppelt werden (so a la Judge Dredd ... sie sind schuldig und werden gleichzeitig verurteilt....) sondern muss grundsätzlich durch eine detaillierte menschliche Prüfung ergänzt werden. Auch hier ist das Schlamperei-Potential schon hoch genug.

  6. Wichtig wären auch die Falsch-Negativ-Zahlen...

    Autor: IT-Kommentator 07.05.18 - 14:00

    ... um feststellen zu können, zu wie viel Prozent die Gesichtserkennung falsch lag, wie es in der Überschrift und im Artikel formuliert wird.

    Ansonsten stellen sowohl die 92% als auch die 1,3% nur tendenzielle Interpretationen dar.

  7. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 14:02

    > 92% falsche Verdächtigungen ist für Dich kein Problem?

    Von den Verdächtigungen waren 92% falsch. Allerdings sind diese 92% nur 1.3% aller getesteten Fälle - was tatsächlich kein schlechter Wert für so ein System ist. Die Frage ist denke ich weniger, wieviele fälschlicherweise verdächtigt wurden sondern was in diesem Falle passiert. So wie ich den Artikel lese hatte die fehlerhafte Verdächtigung keinerlei Folgen für die betroffenen Personen und sie haben es noch nicht einmal mitbekommen, weil es vorher von einem Menschen korrigiert wurde.

    Nun kann man ein solches System auch einstellen, dass es weniger Fehler Leute falsch verdächtigt, aber dafür auch weniger Kriminelle erkennt. Ein ähnliches Problem hat man übrigens auch bei Virenscanning, Krebsdiagnose... - alles Fälle wo man nur weniger True Positive (Virus, Krebs) verglichen mit ganz vielen True Negatives (kein Virus, kein Krebs) hat. Die Nebeneffekte einer Fehldiagnose sind da allerdings oft gravierender als bei dem fehlerhaften verdächtigen einer Person: im Zweifelsfalle wird entweder gutartige Software blockiert oder aber der Virus durchgelassen bzw. eine invasive Chemotherapie durchgeführt obwohl kein Krebs da ist vs. der nichterkannte Krebs wuchert weiter.

  8. Kartoffelvollernter: 0,5 % der beim Ernten durchgewühlten Erde

    Autor: M.P. 07.05.18 - 14:48

    sind Kartoffeln.

    Wenn der Bauer einer Kartoffelvollernter erhielte, der zu 2/3 mit Erde und Steinen statt Kartoffeln gefüllte Erntewagen bringen würde, würde er den reklamieren....

    Wichtig ist, ob die false Positives nicht womöglich höher sind, als die "true Positives" in der Testgruppe.

    Da scheint mir der Test am Berliner Südkreuz fundierter zu sein...

    https://www.golem.de/news/videoueberwachung-feldversuch-mit-gesichtserkennung-beginnt-in-berlin-1707-129192.html

    Da wird nicht nach Kriminellen gesucht, sondern nach Pendlern, die ihre biometrischen Daten freiwillig für den Test zur Verfügung gestellt haben ...

    Auch schlimm wäre, wenn 1/3 der Kartoffeln auf dem Feld liegen blieben....



    1 mal bearbeitet, zuletzt am 07.05.18 14:54 durch M.P..

  9. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 14:51

    Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu gebrauchen ...

  10. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 14:54

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er
    > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu gebrauchen
    > ...

    In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das Stöckchen nicht zurück.

  11. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 07.05.18 - 15:15

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > M.P. schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er
    > > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu
    > gebrauchen
    > > ...
    >
    > In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen
    > zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das Stöckchen
    > nicht zurück.

    Der Fall hier ist aber so konstruiert:
    In einem Wald mit 170.000 Stöckchen und unbekannt vielen Bällchen hat man den Hund 170.000 mal mit den Worten "Hol's Bällchen" geschickt, und er er hat 173 Bällchen mitgebracht und 2297 mal ein Stöckchen gebracht und behauptet, das wäre der Ball.

    nm

  12. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:20

    Muhaha schrieb:
    > Statistikverständnis arbeiten :)

    Ne, er schreibt das schon ziemlich richtig: es waren 172.000 Menschen im Stadion, davon hat die Software 3000 vorgefiltert von denen dann 200 tatsächlich schuldig waren. Damit hast du 200 mehr erwischt als völlig ohne Software, einen Gesichtsabgleich von 172.000 Menschen mit einer Datenbank nimmst du nämlich nicht manuell vor. Dass jetzt von den 3000 nur 200 wirkliche Treffer waren ist eigentlich fast egal, wenn dir das System da deinen Treffer mit Fahndungsfoto und Foto vom Eingang anzeigt kannst du als Mensch da recht schnell sagen ob das passt oder nicht, wenn nicht brauchst du denjenigen gar nicht erst rauswinken. Alles andere ist nur akademische Haarspalterei, in der Realität zählt das _Ergebnis_ und die _Nutzbarkeit_, dass die da mal eben 2800 Menschen als False Positives erkannt haben, zeigt mir eigentlich nur dass die genug Menschen sitzen hatten das zu verifizieren, ergo war der Feldtest durchaus ein Erfolg. Gedanken musst du dir machen wenn das jemand voll akademisch aufzieht und da _niemand_ mehr manuell verifiziert.

    Und wie er schon schrieb: die eigentliche Frage ist ob wir das so haben wollen und Technik an die Kamera hängen oder eben nicht. Wenn nicht hättest du die 200 nicht erwischt, aber natürlich eröffnet so eine Software eben auch dem Missbrauch Tür und Tor. Im Endeffekt muss man sich solche Technik mal in Händen der Gestapo vorstellen. Ist ja nicht nur so dass du die Software auf Gesichter trainieren kannst, die hätten das auch noch allgemein auf ihre irre Rassenkunde angepasst und dann Menschen nach 'Gesicht' rausgefischt. Bleibt also die Frage, ob das überhaupt ethisch korrekt sein kann einem potentiellen Unrechtsstaat so viel Macht in die Hand zu geben.

  13. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 15:21

    Immerhin war das Ding etwas treffsicherer, als ein Zufallszahlengenerator: Ich denke nämlich nicht, dass 8 % der Besucher des Spiels in der Bilddatenbank als Krimineller gelistet waren ;-)

  14. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:26

    Nullmodem schrieb:
    --------------------------------------------------------------------------------
    > noxxi schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > M.P. schrieb:
    > >
    > ---------------------------------------------------------------------------
    >
    > > -----
    > > > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und
    > er
    > > > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu
    > > gebrauchen
    > > > ...
    > >
    > > In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen
    > > zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das
    > Stöckchen
    > > nicht zurück.
    >
    > Der Fall hier ist aber so konstruiert:
    > In einem Wald mit 170.000 Stöckchen und unbekannt vielen Bällchen hat man
    > den Hund 170.000 mal mit den Worten "Hol's Bällchen" geschickt, und er er
    > hat 173 Bällchen mitgebracht und 2297 mal ein Stöckchen gebracht und
    > behauptet, das wäre der Ball.
    >
    > nm

    ....was dir die Arbeit abgenommen hat 170.000 mal durch den Wald zu latschen. Irgendwie ist hier gerade der Kampf Akademiker vs Praktiker im Gange. Kann schon sein dass die Leistung akademisch gesehen nicht gut war, die Alternative wäre gewesen Menschen eine Kartei mit 5000+ Gesichtern auswendig lernen zu lassen und die hätten dan per Bauch entschieden ob sie jemanden kennen. Was meinst du wen die so alles angeschleppt hätten? Da sind 3000 vorgefilterte Gesichter zu denen dir noch der evtl passende Eintrag angezeigt wird doch ein Griff in die Goldkiste gegen.

  15. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Axido 07.05.18 - 15:28

    Ich kapiere es immer noch nicht.
    Kann mir das mal einer als Metapher zu folgenden Dingen erklären:

    -Autos
    -Friseure
    -Eiscremesorten
    -Wettervorhersage (Regentage - Sonnentage
    -Soldaten in Bezug auf Terroristen und Zivilisten

    Vielen Dank im Voraus. :)

  16. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:39

    Axido schrieb:
    --------------------------------------------------------------------------------
    > Ich kapiere es immer noch nicht.
    > Kann mir das mal einer als Metapher zu folgenden Dingen erklären:
    >
    > -Autos
    > -Friseure
    > -Eiscremesorten
    > -Wettervorhersage (Regentage - Sonnentage
    > -Soldaten in Bezug auf Terroristen und Zivilisten
    >
    > Vielen Dank im Voraus. :)

    Also du hast ein Fußballfeld (TM) mit 10.000 Friseuren, davon sind 100 auch Terroristen(frisieren Soldaten Vokuhilas trotz besserem Wissens). Jetzt kommt eine Wettervorhersage rein, dass es gleich regnet. Alle haben Angst um Ihre Frisur und wollen zu ihren Autos auf den Parkplatz. Am Ausgang hast du eine Kamera mit dem System.

    Dann ist die Wahrscheinlichkeit dass das System einen davon als Terroristen erkennt 1.5%, die Wahrscheinlichkeit dass das auchwirklich ein Terrorist ist knapp 7%. Also schaust du dir am Terminal, statistisch gesehen, knappe 14 Bilderpaare an und isst ein leckeres Eis dabei und hast *bäm* einen bösen Terroristen erwischt.

    ^__^

    (das inoriert aber natürlich weg dass wir nicht wissen wie viele Kriminelle wirklich bei dem Spiel waren, sprich wir wissen nicht ob das jetzt alle 200 erwischt hat oder ob da eigentlich 170.000 Kriminelle rumgestolpert sind.)

  17. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: artenstreng 07.05.18 - 15:58

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Immerhin war das Ding etwas treffsicherer, als ein Zufallszahlengenerator:
    > Ich denke nämlich nicht, dass 8 % der Besucher des Spiels in der
    > Bilddatenbank als Krimineller gelistet waren ;-)

    Gelistet vielleicht nicht, aber als tatsächlich kriminell könnte sich eine zufällige Auswahl von 8% der Besucher sicherlich entpuppen. ;-)

  18. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:00

    Die Frage ist eben, ob die Ausbeute, die der Algorithmus herausgepickt hat, besser als die eines Zufallszahlengenerator war. Wenn wirklich 7 % Treffer unter dem Filter-Output waren, könnte man von einer gewissen Aufkonzentration reden. Ich denke nicht, dass generell 7 % der Besucher eines Fußballspiels kriminell sind ...

    Ob die 93 % False-Positives unter den Herausgefilterten das System toll finden, hängt wahrscheinlich davon ab, ob sie über das nachfolgende Procedere das Spiel verpasst haben ;-)

  19. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:03

    Im Schülerausweis das Geburtsdatum verändert.
    Beim BAFÖG - Antrag geschummelt.
    Nach einem Parkrempler abgehauen
    ...

    Da könnten es sogar mehr als 8 % sein...

  20. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:12

    Die Polizei macht eine allgemeine Verkehrskontrolle.
    Um die Alcotest Aufsatz Blasmundstücke etwas zielgerichteter einzusetzen, lässt man vorher eine KI die Fahrstile der Fahrer auf dem Weg zur Kontrollstelle beurteilen.
    Danach hat man von 170000 passierenden Autos 2470 herausgewunken weil die KI den Fahrstil als Verdächtig einstufte.
    Bei der nachfolgenden Kontrolle waren dann von den 2470 herausgewunkenen Fahrern 173 Fahrer beim Alco-Test positiv ...

  1. 1
  2. 2

Neues Thema Ansicht wechseln


Dieses Thema wurde geschlossen.

Stellenmarkt
  1. Heimerle + Meule GmbH, Pforzheim
  2. EnBW Energie Baden-Württemberg AG, Karlsruhe
  3. Bundeskriminalamt, Wiesbaden
  4. MÜNCHENSTIFT GmbH, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 2,29€
  2. 24,99€
  3. 59,99€ mit Vorbesteller-Preisgarantie
  4. (u. a. Diablo 3 Ultimate Evil Edition, Gear Club Unlimited, HP-Notebooks)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Shift6m-Smartphone im Hands on: Nachhaltigkeit geht auch bezahlbar und ansehnlich
Shift6m-Smartphone im Hands on
Nachhaltigkeit geht auch bezahlbar und ansehnlich

Cebit 2018 Das deutsche Unternehmen Shift baut Smartphones, die mit dem Hintergedanken der Nachhaltigkeit entstehen. Das bedeutet für die Entwickler: faire Bezahlung der Werksarbeiter, wiederverwertbare Materialien und leicht zu öffnende Hardware. Außerdem gibt es auf jedes Gerät ein Rückgabepfand - interessant.
Von Oliver Nickel


    In eigener Sache: Freie Schreiber/-innen für Jobthemen gesucht
    In eigener Sache
    Freie Schreiber/-innen für Jobthemen gesucht

    IT-Profis sind auf dem Arbeitsmarkt enorm gefragt, und die Branche hat viele Eigenheiten. Du kennst dich damit aus und willst unseren Lesern darüber berichten? Dann schreib für unser Karriere-Ressort!

    1. Leserumfrage Wie sollen wir Golem.de erweitern?
    2. Stellenanzeige Golem.de sucht Redakteur/-in für IT-Sicherheit
    3. Leserumfrage Wie gefällt Ihnen Golem.de?

    3D-Druck on Demand: Wenn der Baumarkt Actionfiguren aus Stahl druckt
    3D-Druck on Demand
    Wenn der Baumarkt Actionfiguren aus Stahl druckt

    Es gibt viele Anbieter für 3D-Druck on Demand und die Preise fallen. Golem.de hat die 3D-Druckdienste von Toom, Conrad Electronic, Sculpteo und Media Markt getestet, um neue Figuren der Big-Jim-Reihe zu erschaffen.
    Ein Praxistest von Achim Sawall