Abo
  1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Maschinelles Lernen…

Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 13:35

    Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.
    Oder anders gesagt: von 170.000 Tests waren vermutlich fast 99% korrekt, unter der Annahme, dass sich unter den 170.000 nicht noch Kriminelle befunden haben, welche nicht entdeckt wurden.

    Das ganze ist eigentlich ein guter Wert. Und wenn wir hier beschrieben ein Mensch sich alle vom System geflaggten Fälle noch einmal anschaut um Fehler zu beseitigen, dann sehe ich hier auch kein wirkliches Problem, dass eine Person fehlerhaft verdächtigt wurde. Und das ganze ist auch deutlich effizienter und billiger als wenn der Abgleich zwischen Foto und Datenbank manuell von Personen vorgenommen würde.

    Das Problem sehe ich daher nicht in der angeblich schlechten Erkennungsrate. Die Frage ist eher, wollen wir diese Form von Abgleich, egal ob von Mensch oder von Maschine vorgenommen?

  2. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: captain_spaulding 07.05.18 - 13:39

    Ja, man will also eher nicht viele Leute mit so einem System testen. Also nicht eine Kamera an einem öffentlichen Platz aufstellen.

    Weil selbst wenn die Erkennungsrate sehr gut ist, gibt es dadurch extrem viele zu Unrecht Verdächtigte.

  3. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Muhaha 07.05.18 - 13:44

    noxxi schrieb:
    --------------------------------------------------------------------------------

    > Das ganze ist eigentlich ein guter Wert.

    Das ist ein katastrophaler Wert!

    "But out of the 2,470 potential matches with custody pictures - 92% - or 2,297 were wrong."

    > Und wenn wir hier beschrieben ein
    > Mensch sich alle vom System geflaggten Fälle noch einmal anschaut um Fehler
    > zu beseitigen, dann sehe ich hier auch kein wirkliches Problem, dass eine
    > Person fehlerhaft verdächtigt wurde.

    92% falsche Verdächtigungen ist für Dich kein Problem?

    > Und das ganze ist auch deutlich
    > effizienter und billiger als wenn der Abgleich zwischen Foto und Datenbank
    > manuell von Personen vorgenommen würde.

    Ohne den manuelle Abgleich würde nun gegen 2297 von 2470 Personen fälschlicherweise ermittelt, ihr Leben erschwert und massenhaft Steuergelder verschwendet. Was auch immer für feuchte Träume bei Sicherheits- und Kontrollparanoikern sorgt, derzeit ist es noch ein Traum. Und sollte idealerweise einer bleiben!

    > Das Problem sehe ich daher nicht in der angeblich schlechten
    > Erkennungsrate. Die Frage ist eher, wollen wir diese Form von Abgleich,
    > egal ob von Mensch oder von Maschine vorgenommen?

    Bevor Du diese Frage stellst, würde ich zuerst an Deinem Statistikverständnis arbeiten :)

  4. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 07.05.18 - 13:52

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.

    Nein, wie oft das System richtig lag ist für die False Positiv Rate unerheblich.
    Es geht um das Verhältnis der als positiv deklarierten Fälle zu den tatsächlich positiven Fälle.
    Hier demnach wieviele Verbrecher keine sind, und hier sind das eben 2297 von 2470.


    (Text: 2.470 hat der Algorithmus als Kriminelle identifiziert, wobei das auf lediglich 173 Verdächtige tatsächlich zutraf)

    nm

  5. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Vash 07.05.18 - 13:54

    Muhaha schrieb:
    --------------------------------------------------------------------------------
    > noxxi schrieb:
    > ---------------------------------------------------------------------------
    > -----
    >
    > > Das ganze ist eigentlich ein guter Wert.
    >
    > Das ist ein katastrophaler Wert!
    >
    > "But out of the 2,470 potential matches with custody pictures - 92% - or
    > 2,297 were wrong."

    Zumal vollkommen unberücksichtigt bleibt wie viele "echte Schuldige" nicht erkannt wurden. Zwar kann man bei der Fehlerquote sicher einen Wert ausrechnen, dennoch wird man sie nie wirklich messen können wenn man nicht zweifelsfrei alle Besucher im Vorfeld kennt.

    Für mich bedeutet es: So ein System darf niemals an einen Automatismus gekoppelt werden (so a la Judge Dredd ... sie sind schuldig und werden gleichzeitig verurteilt....) sondern muss grundsätzlich durch eine detaillierte menschliche Prüfung ergänzt werden. Auch hier ist das Schlamperei-Potential schon hoch genug.

  6. Wichtig wären auch die Falsch-Negativ-Zahlen...

    Autor: IT-Kommentator 07.05.18 - 14:00

    ... um feststellen zu können, zu wie viel Prozent die Gesichtserkennung falsch lag, wie es in der Überschrift und im Artikel formuliert wird.

    Ansonsten stellen sowohl die 92% als auch die 1,3% nur tendenzielle Interpretationen dar.

  7. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 14:02

    > 92% falsche Verdächtigungen ist für Dich kein Problem?

    Von den Verdächtigungen waren 92% falsch. Allerdings sind diese 92% nur 1.3% aller getesteten Fälle - was tatsächlich kein schlechter Wert für so ein System ist. Die Frage ist denke ich weniger, wieviele fälschlicherweise verdächtigt wurden sondern was in diesem Falle passiert. So wie ich den Artikel lese hatte die fehlerhafte Verdächtigung keinerlei Folgen für die betroffenen Personen und sie haben es noch nicht einmal mitbekommen, weil es vorher von einem Menschen korrigiert wurde.

    Nun kann man ein solches System auch einstellen, dass es weniger Fehler Leute falsch verdächtigt, aber dafür auch weniger Kriminelle erkennt. Ein ähnliches Problem hat man übrigens auch bei Virenscanning, Krebsdiagnose... - alles Fälle wo man nur weniger True Positive (Virus, Krebs) verglichen mit ganz vielen True Negatives (kein Virus, kein Krebs) hat. Die Nebeneffekte einer Fehldiagnose sind da allerdings oft gravierender als bei dem fehlerhaften verdächtigen einer Person: im Zweifelsfalle wird entweder gutartige Software blockiert oder aber der Virus durchgelassen bzw. eine invasive Chemotherapie durchgeführt obwohl kein Krebs da ist vs. der nichterkannte Krebs wuchert weiter.

  8. Kartoffelvollernter: 0,5 % der beim Ernten durchgewühlten Erde

    Autor: M.P. 07.05.18 - 14:48

    sind Kartoffeln.

    Wenn der Bauer einer Kartoffelvollernter erhielte, der zu 2/3 mit Erde und Steinen statt Kartoffeln gefüllte Erntewagen bringen würde, würde er den reklamieren....

    Wichtig ist, ob die false Positives nicht womöglich höher sind, als die "true Positives" in der Testgruppe.

    Da scheint mir der Test am Berliner Südkreuz fundierter zu sein...

    https://www.golem.de/news/videoueberwachung-feldversuch-mit-gesichtserkennung-beginnt-in-berlin-1707-129192.html

    Da wird nicht nach Kriminellen gesucht, sondern nach Pendlern, die ihre biometrischen Daten freiwillig für den Test zur Verfügung gestellt haben ...

    Auch schlimm wäre, wenn 1/3 der Kartoffeln auf dem Feld liegen blieben....



    1 mal bearbeitet, zuletzt am 07.05.18 14:54 durch M.P..

  9. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 14:51

    Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu gebrauchen ...

  10. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 14:54

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er
    > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu gebrauchen
    > ...

    In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das Stöckchen nicht zurück.

  11. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 07.05.18 - 15:15

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > M.P. schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er
    > > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu
    > gebrauchen
    > > ...
    >
    > In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen
    > zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das Stöckchen
    > nicht zurück.

    Der Fall hier ist aber so konstruiert:
    In einem Wald mit 170.000 Stöckchen und unbekannt vielen Bällchen hat man den Hund 170.000 mal mit den Worten "Hol's Bällchen" geschickt, und er er hat 173 Bällchen mitgebracht und 2297 mal ein Stöckchen gebracht und behauptet, das wäre der Ball.

    nm

  12. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:20

    Muhaha schrieb:
    > Statistikverständnis arbeiten :)

    Ne, er schreibt das schon ziemlich richtig: es waren 172.000 Menschen im Stadion, davon hat die Software 3000 vorgefiltert von denen dann 200 tatsächlich schuldig waren. Damit hast du 200 mehr erwischt als völlig ohne Software, einen Gesichtsabgleich von 172.000 Menschen mit einer Datenbank nimmst du nämlich nicht manuell vor. Dass jetzt von den 3000 nur 200 wirkliche Treffer waren ist eigentlich fast egal, wenn dir das System da deinen Treffer mit Fahndungsfoto und Foto vom Eingang anzeigt kannst du als Mensch da recht schnell sagen ob das passt oder nicht, wenn nicht brauchst du denjenigen gar nicht erst rauswinken. Alles andere ist nur akademische Haarspalterei, in der Realität zählt das _Ergebnis_ und die _Nutzbarkeit_, dass die da mal eben 2800 Menschen als False Positives erkannt haben, zeigt mir eigentlich nur dass die genug Menschen sitzen hatten das zu verifizieren, ergo war der Feldtest durchaus ein Erfolg. Gedanken musst du dir machen wenn das jemand voll akademisch aufzieht und da _niemand_ mehr manuell verifiziert.

    Und wie er schon schrieb: die eigentliche Frage ist ob wir das so haben wollen und Technik an die Kamera hängen oder eben nicht. Wenn nicht hättest du die 200 nicht erwischt, aber natürlich eröffnet so eine Software eben auch dem Missbrauch Tür und Tor. Im Endeffekt muss man sich solche Technik mal in Händen der Gestapo vorstellen. Ist ja nicht nur so dass du die Software auf Gesichter trainieren kannst, die hätten das auch noch allgemein auf ihre irre Rassenkunde angepasst und dann Menschen nach 'Gesicht' rausgefischt. Bleibt also die Frage, ob das überhaupt ethisch korrekt sein kann einem potentiellen Unrechtsstaat so viel Macht in die Hand zu geben.

  13. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 15:21

    Immerhin war das Ding etwas treffsicherer, als ein Zufallszahlengenerator: Ich denke nämlich nicht, dass 8 % der Besucher des Spiels in der Bilddatenbank als Krimineller gelistet waren ;-)

  14. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:26

    Nullmodem schrieb:
    --------------------------------------------------------------------------------
    > noxxi schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > M.P. schrieb:
    > >
    > ---------------------------------------------------------------------------
    >
    > > -----
    > > > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und
    > er
    > > > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu
    > > gebrauchen
    > > > ...
    > >
    > > In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen
    > > zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das
    > Stöckchen
    > > nicht zurück.
    >
    > Der Fall hier ist aber so konstruiert:
    > In einem Wald mit 170.000 Stöckchen und unbekannt vielen Bällchen hat man
    > den Hund 170.000 mal mit den Worten "Hol's Bällchen" geschickt, und er er
    > hat 173 Bällchen mitgebracht und 2297 mal ein Stöckchen gebracht und
    > behauptet, das wäre der Ball.
    >
    > nm

    ....was dir die Arbeit abgenommen hat 170.000 mal durch den Wald zu latschen. Irgendwie ist hier gerade der Kampf Akademiker vs Praktiker im Gange. Kann schon sein dass die Leistung akademisch gesehen nicht gut war, die Alternative wäre gewesen Menschen eine Kartei mit 5000+ Gesichtern auswendig lernen zu lassen und die hätten dan per Bauch entschieden ob sie jemanden kennen. Was meinst du wen die so alles angeschleppt hätten? Da sind 3000 vorgefilterte Gesichter zu denen dir noch der evtl passende Eintrag angezeigt wird doch ein Griff in die Goldkiste gegen.

  15. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Axido 07.05.18 - 15:28

    Ich kapiere es immer noch nicht.
    Kann mir das mal einer als Metapher zu folgenden Dingen erklären:

    -Autos
    -Friseure
    -Eiscremesorten
    -Wettervorhersage (Regentage - Sonnentage
    -Soldaten in Bezug auf Terroristen und Zivilisten

    Vielen Dank im Voraus. :)

  16. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:39

    Axido schrieb:
    --------------------------------------------------------------------------------
    > Ich kapiere es immer noch nicht.
    > Kann mir das mal einer als Metapher zu folgenden Dingen erklären:
    >
    > -Autos
    > -Friseure
    > -Eiscremesorten
    > -Wettervorhersage (Regentage - Sonnentage
    > -Soldaten in Bezug auf Terroristen und Zivilisten
    >
    > Vielen Dank im Voraus. :)

    Also du hast ein Fußballfeld (TM) mit 10.000 Friseuren, davon sind 100 auch Terroristen(frisieren Soldaten Vokuhilas trotz besserem Wissens). Jetzt kommt eine Wettervorhersage rein, dass es gleich regnet. Alle haben Angst um Ihre Frisur und wollen zu ihren Autos auf den Parkplatz. Am Ausgang hast du eine Kamera mit dem System.

    Dann ist die Wahrscheinlichkeit dass das System einen davon als Terroristen erkennt 1.5%, die Wahrscheinlichkeit dass das auchwirklich ein Terrorist ist knapp 7%. Also schaust du dir am Terminal, statistisch gesehen, knappe 14 Bilderpaare an und isst ein leckeres Eis dabei und hast *bäm* einen bösen Terroristen erwischt.

    ^__^

    (das inoriert aber natürlich weg dass wir nicht wissen wie viele Kriminelle wirklich bei dem Spiel waren, sprich wir wissen nicht ob das jetzt alle 200 erwischt hat oder ob da eigentlich 170.000 Kriminelle rumgestolpert sind.)

  17. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: artenstreng 07.05.18 - 15:58

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Immerhin war das Ding etwas treffsicherer, als ein Zufallszahlengenerator:
    > Ich denke nämlich nicht, dass 8 % der Besucher des Spiels in der
    > Bilddatenbank als Krimineller gelistet waren ;-)

    Gelistet vielleicht nicht, aber als tatsächlich kriminell könnte sich eine zufällige Auswahl von 8% der Besucher sicherlich entpuppen. ;-)

  18. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:00

    Die Frage ist eben, ob die Ausbeute, die der Algorithmus herausgepickt hat, besser als die eines Zufallszahlengenerator war. Wenn wirklich 7 % Treffer unter dem Filter-Output waren, könnte man von einer gewissen Aufkonzentration reden. Ich denke nicht, dass generell 7 % der Besucher eines Fußballspiels kriminell sind ...

    Ob die 93 % False-Positives unter den Herausgefilterten das System toll finden, hängt wahrscheinlich davon ab, ob sie über das nachfolgende Procedere das Spiel verpasst haben ;-)

  19. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:03

    Im Schülerausweis das Geburtsdatum verändert.
    Beim BAFÖG - Antrag geschummelt.
    Nach einem Parkrempler abgehauen
    ...

    Da könnten es sogar mehr als 8 % sein...

  20. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:12

    Die Polizei macht eine allgemeine Verkehrskontrolle.
    Um die Alcotest Aufsatz Blasmundstücke etwas zielgerichteter einzusetzen, lässt man vorher eine KI die Fahrstile der Fahrer auf dem Weg zur Kontrollstelle beurteilen.
    Danach hat man von 170000 passierenden Autos 2470 herausgewunken weil die KI den Fahrstil als Verdächtig einstufte.
    Bei der nachfolgenden Kontrolle waren dann von den 2470 herausgewunkenen Fahrern 173 Fahrer beim Alco-Test positiv ...

  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Robert Bosch GmbH, Wittlich
  2. BGV / Badische Versicherungen, Karlsruhe
  3. WEY Technology GmbH, Frankfurt am Main, München
  4. TeamViewer GmbH, Göppingen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 39,99€ (Release 14.11.)
  2. 0,90€
  3. 4,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Pixel 3 und Pixel 3 XL im Hands on: Googles Smartphones mit verbesserten Kamerafunktionen
Pixel 3 und Pixel 3 XL im Hands on
Googles Smartphones mit verbesserten Kamerafunktionen

Google hat das Pixel 3 und das Pixel 3 XL vorgestellt. Bei beiden neuen Smartphones legt das Unternehmen besonders hohen Wert auf die Kamerafunktionen. Mit viel Software-Raffinessen sollen gute Bilder auch unter widrigen Umständen entstehen. Die ersten Eindrücke sind vielversprechend.
Ein Hands on von Ingo Pakalski

  1. BQ Aquaris X2 Pro im Hands on Ein gelungenes Gesamtpaket mit Highend-Funktionen

Apple Watch im Test: Auch ohne EKG die beste Smartwatch
Apple Watch im Test
Auch ohne EKG die beste Smartwatch

Apples vierte Watch verändert das Display-Design leicht - zum Wohle des Nutzers. Die Uhr bietet immer noch mit die beste Smartwatch-Erfahrung, auch wenn eine der neuen Funktionen in Deutschland noch nicht funktioniert.
Ein Test von Tobias Költzsch

  1. Smartwatch Apple Watch Series 4 mit EKG und Sturzerkennung
  2. Smartwatch Apple Watch Series 4 nur mit sechs Modellen
  3. Handelskrieg Apple Watch und anderen Gadgets drohen Strafzölle

HP Elitebook 840 und Toshiba Tecra X40: Es kann nur eines geben
HP Elitebook 840 und Toshiba Tecra X40
Es kann nur eines geben

Nicht nur Lenovo baut gute Business-Notebooks, auch HP und Toshiba haben Produkte, die vergleichbar sind. Wir stellen je ein Modell der beiden Hersteller mit ähnlicher Hardware gegenüber: das eine leichter, das andere mit überlegenem Akku - ein knapper Gewinner nach Punkten.
Ein Test von Oliver Nickel

  1. Portégé X20W-D-145 Toshiba stellt alte Hardware im flexiblen Chassis vor
  2. Tecra X40-E-10W Toshibas 14-Zoll-Thinkpad-Pendant kommt mit LTE
  3. Dell, HP, Lenovo AMDs Ryzen Pro Mobile landet in allen Business-Notebooks

  1. BVG: Mit bis zu 500 MBit/s im Bus-WLAN unterwegs
    BVG
    Mit bis zu 500 MBit/s im Bus-WLAN unterwegs

    Berliner Linienbusse werden über LTE Advanced mit WLAN angebunden. Der Fahrgast könne damit 100 und 150 MBit/s erwarten, meint die BVG.

  2. Europäischer Gerichtshof: Kein schwarzer Tag für alle Filesharing-Abgemahnten
    Europäischer Gerichtshof
    Kein schwarzer Tag für alle Filesharing-Abgemahnten

    Das Urteil des Europäischen Gerichtshofs zum Filesharing ändert nichts. Es bestätigt nur die bisherige Rechtsprechung des Bundesgerichtshofs. Anschlussinhaber haben nach der grundrechtlich weiterhin besonders geschützten Familie keine näheren Nachforschungspflichten und müssen Angehörige nicht ausspionieren.

  3. Sicherheitslücke in Windows: Den Gast zum Admin machen
    Sicherheitslücke in Windows
    Den Gast zum Admin machen

    Eine Sicherheitslücke in Windows erlaubt, die Rechte von Nutzerkonten auszuweiten. Die Lücke ist seit zehn Monaten bekannt und wurde noch nicht geschlossen. Schadsoftware-Autoren dürften sich freuen.


  1. 19:03

  2. 18:40

  3. 17:44

  4. 17:29

  5. 17:17

  6. 17:00

  7. 17:00

  8. 16:48