Abo
  1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Maschinelles Lernen…

Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 13:35

    Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.
    Oder anders gesagt: von 170.000 Tests waren vermutlich fast 99% korrekt, unter der Annahme, dass sich unter den 170.000 nicht noch Kriminelle befunden haben, welche nicht entdeckt wurden.

    Das ganze ist eigentlich ein guter Wert. Und wenn wir hier beschrieben ein Mensch sich alle vom System geflaggten Fälle noch einmal anschaut um Fehler zu beseitigen, dann sehe ich hier auch kein wirkliches Problem, dass eine Person fehlerhaft verdächtigt wurde. Und das ganze ist auch deutlich effizienter und billiger als wenn der Abgleich zwischen Foto und Datenbank manuell von Personen vorgenommen würde.

    Das Problem sehe ich daher nicht in der angeblich schlechten Erkennungsrate. Die Frage ist eher, wollen wir diese Form von Abgleich, egal ob von Mensch oder von Maschine vorgenommen?

  2. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: captain_spaulding 07.05.18 - 13:39

    Ja, man will also eher nicht viele Leute mit so einem System testen. Also nicht eine Kamera an einem öffentlichen Platz aufstellen.

    Weil selbst wenn die Erkennungsrate sehr gut ist, gibt es dadurch extrem viele zu Unrecht Verdächtigte.

  3. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Muhaha 07.05.18 - 13:44

    noxxi schrieb:
    --------------------------------------------------------------------------------

    > Das ganze ist eigentlich ein guter Wert.

    Das ist ein katastrophaler Wert!

    "But out of the 2,470 potential matches with custody pictures - 92% - or 2,297 were wrong."

    > Und wenn wir hier beschrieben ein
    > Mensch sich alle vom System geflaggten Fälle noch einmal anschaut um Fehler
    > zu beseitigen, dann sehe ich hier auch kein wirkliches Problem, dass eine
    > Person fehlerhaft verdächtigt wurde.

    92% falsche Verdächtigungen ist für Dich kein Problem?

    > Und das ganze ist auch deutlich
    > effizienter und billiger als wenn der Abgleich zwischen Foto und Datenbank
    > manuell von Personen vorgenommen würde.

    Ohne den manuelle Abgleich würde nun gegen 2297 von 2470 Personen fälschlicherweise ermittelt, ihr Leben erschwert und massenhaft Steuergelder verschwendet. Was auch immer für feuchte Träume bei Sicherheits- und Kontrollparanoikern sorgt, derzeit ist es noch ein Traum. Und sollte idealerweise einer bleiben!

    > Das Problem sehe ich daher nicht in der angeblich schlechten
    > Erkennungsrate. Die Frage ist eher, wollen wir diese Form von Abgleich,
    > egal ob von Mensch oder von Maschine vorgenommen?

    Bevor Du diese Frage stellst, würde ich zuerst an Deinem Statistikverständnis arbeiten :)

  4. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 07.05.18 - 13:52

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.

    Nein, wie oft das System richtig lag ist für die False Positiv Rate unerheblich.
    Es geht um das Verhältnis der als positiv deklarierten Fälle zu den tatsächlich positiven Fälle.
    Hier demnach wieviele Verbrecher keine sind, und hier sind das eben 2297 von 2470.


    (Text: 2.470 hat der Algorithmus als Kriminelle identifiziert, wobei das auf lediglich 173 Verdächtige tatsächlich zutraf)

    nm

  5. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Vash 07.05.18 - 13:54

    Muhaha schrieb:
    --------------------------------------------------------------------------------
    > noxxi schrieb:
    > ---------------------------------------------------------------------------
    > -----
    >
    > > Das ganze ist eigentlich ein guter Wert.
    >
    > Das ist ein katastrophaler Wert!
    >
    > "But out of the 2,470 potential matches with custody pictures - 92% - or
    > 2,297 were wrong."

    Zumal vollkommen unberücksichtigt bleibt wie viele "echte Schuldige" nicht erkannt wurden. Zwar kann man bei der Fehlerquote sicher einen Wert ausrechnen, dennoch wird man sie nie wirklich messen können wenn man nicht zweifelsfrei alle Besucher im Vorfeld kennt.

    Für mich bedeutet es: So ein System darf niemals an einen Automatismus gekoppelt werden (so a la Judge Dredd ... sie sind schuldig und werden gleichzeitig verurteilt....) sondern muss grundsätzlich durch eine detaillierte menschliche Prüfung ergänzt werden. Auch hier ist das Schlamperei-Potential schon hoch genug.

  6. Wichtig wären auch die Falsch-Negativ-Zahlen...

    Autor: IT-Kommentator 07.05.18 - 14:00

    ... um feststellen zu können, zu wie viel Prozent die Gesichtserkennung falsch lag, wie es in der Überschrift und im Artikel formuliert wird.

    Ansonsten stellen sowohl die 92% als auch die 1,3% nur tendenzielle Interpretationen dar.

  7. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 14:02

    > 92% falsche Verdächtigungen ist für Dich kein Problem?

    Von den Verdächtigungen waren 92% falsch. Allerdings sind diese 92% nur 1.3% aller getesteten Fälle - was tatsächlich kein schlechter Wert für so ein System ist. Die Frage ist denke ich weniger, wieviele fälschlicherweise verdächtigt wurden sondern was in diesem Falle passiert. So wie ich den Artikel lese hatte die fehlerhafte Verdächtigung keinerlei Folgen für die betroffenen Personen und sie haben es noch nicht einmal mitbekommen, weil es vorher von einem Menschen korrigiert wurde.

    Nun kann man ein solches System auch einstellen, dass es weniger Fehler Leute falsch verdächtigt, aber dafür auch weniger Kriminelle erkennt. Ein ähnliches Problem hat man übrigens auch bei Virenscanning, Krebsdiagnose... - alles Fälle wo man nur weniger True Positive (Virus, Krebs) verglichen mit ganz vielen True Negatives (kein Virus, kein Krebs) hat. Die Nebeneffekte einer Fehldiagnose sind da allerdings oft gravierender als bei dem fehlerhaften verdächtigen einer Person: im Zweifelsfalle wird entweder gutartige Software blockiert oder aber der Virus durchgelassen bzw. eine invasive Chemotherapie durchgeführt obwohl kein Krebs da ist vs. der nichterkannte Krebs wuchert weiter.

  8. Kartoffelvollernter: 0,5 % der beim Ernten durchgewühlten Erde

    Autor: M.P. 07.05.18 - 14:48

    sind Kartoffeln.

    Wenn der Bauer einer Kartoffelvollernter erhielte, der zu 2/3 mit Erde und Steinen statt Kartoffeln gefüllte Erntewagen bringen würde, würde er den reklamieren....

    Wichtig ist, ob die false Positives nicht womöglich höher sind, als die "true Positives" in der Testgruppe.

    Da scheint mir der Test am Berliner Südkreuz fundierter zu sein...

    https://www.golem.de/news/videoueberwachung-feldversuch-mit-gesichtserkennung-beginnt-in-berlin-1707-129192.html

    Da wird nicht nach Kriminellen gesucht, sondern nach Pendlern, die ihre biometrischen Daten freiwillig für den Test zur Verfügung gestellt haben ...

    Auch schlimm wäre, wenn 1/3 der Kartoffeln auf dem Feld liegen blieben....



    1 mal bearbeitet, zuletzt am 07.05.18 14:54 durch M.P..

  9. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 14:51

    Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu gebrauchen ...

  10. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 14:54

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er
    > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu gebrauchen
    > ...

    In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das Stöckchen nicht zurück.

  11. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 07.05.18 - 15:15

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > M.P. schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und er
    > > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu
    > gebrauchen
    > > ...
    >
    > In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen
    > zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das Stöckchen
    > nicht zurück.

    Der Fall hier ist aber so konstruiert:
    In einem Wald mit 170.000 Stöckchen und unbekannt vielen Bällchen hat man den Hund 170.000 mal mit den Worten "Hol's Bällchen" geschickt, und er er hat 173 Bällchen mitgebracht und 2297 mal ein Stöckchen gebracht und behauptet, das wäre der Ball.

    nm

  12. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:20

    Muhaha schrieb:
    > Statistikverständnis arbeiten :)

    Ne, er schreibt das schon ziemlich richtig: es waren 172.000 Menschen im Stadion, davon hat die Software 3000 vorgefiltert von denen dann 200 tatsächlich schuldig waren. Damit hast du 200 mehr erwischt als völlig ohne Software, einen Gesichtsabgleich von 172.000 Menschen mit einer Datenbank nimmst du nämlich nicht manuell vor. Dass jetzt von den 3000 nur 200 wirkliche Treffer waren ist eigentlich fast egal, wenn dir das System da deinen Treffer mit Fahndungsfoto und Foto vom Eingang anzeigt kannst du als Mensch da recht schnell sagen ob das passt oder nicht, wenn nicht brauchst du denjenigen gar nicht erst rauswinken. Alles andere ist nur akademische Haarspalterei, in der Realität zählt das _Ergebnis_ und die _Nutzbarkeit_, dass die da mal eben 2800 Menschen als False Positives erkannt haben, zeigt mir eigentlich nur dass die genug Menschen sitzen hatten das zu verifizieren, ergo war der Feldtest durchaus ein Erfolg. Gedanken musst du dir machen wenn das jemand voll akademisch aufzieht und da _niemand_ mehr manuell verifiziert.

    Und wie er schon schrieb: die eigentliche Frage ist ob wir das so haben wollen und Technik an die Kamera hängen oder eben nicht. Wenn nicht hättest du die 200 nicht erwischt, aber natürlich eröffnet so eine Software eben auch dem Missbrauch Tür und Tor. Im Endeffekt muss man sich solche Technik mal in Händen der Gestapo vorstellen. Ist ja nicht nur so dass du die Software auf Gesichter trainieren kannst, die hätten das auch noch allgemein auf ihre irre Rassenkunde angepasst und dann Menschen nach 'Gesicht' rausgefischt. Bleibt also die Frage, ob das überhaupt ethisch korrekt sein kann einem potentiellen Unrechtsstaat so viel Macht in die Hand zu geben.

  13. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 15:21

    Immerhin war das Ding etwas treffsicherer, als ein Zufallszahlengenerator: Ich denke nämlich nicht, dass 8 % der Besucher des Spiels in der Bilddatenbank als Krimineller gelistet waren ;-)

  14. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:26

    Nullmodem schrieb:
    --------------------------------------------------------------------------------
    > noxxi schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > M.P. schrieb:
    > >
    > ---------------------------------------------------------------------------
    >
    > > -----
    > > > Ein Hund, den man mit dem Befehl "Such das Stöckchen" losschickt, und
    > er
    > > > kommt in 9 von 10 Fällen mit etwas anderem zurück ist nicht zu
    > > gebrauchen
    > > > ...
    > >
    > > In diesem Falle kam der Hund aber in 99% der Fälle mit dem Stöckchen
    > > zurück, d.h. von 170.000 Fällen brachte er nur in 2297 Fällen das
    > Stöckchen
    > > nicht zurück.
    >
    > Der Fall hier ist aber so konstruiert:
    > In einem Wald mit 170.000 Stöckchen und unbekannt vielen Bällchen hat man
    > den Hund 170.000 mal mit den Worten "Hol's Bällchen" geschickt, und er er
    > hat 173 Bällchen mitgebracht und 2297 mal ein Stöckchen gebracht und
    > behauptet, das wäre der Ball.
    >
    > nm

    ....was dir die Arbeit abgenommen hat 170.000 mal durch den Wald zu latschen. Irgendwie ist hier gerade der Kampf Akademiker vs Praktiker im Gange. Kann schon sein dass die Leistung akademisch gesehen nicht gut war, die Alternative wäre gewesen Menschen eine Kartei mit 5000+ Gesichtern auswendig lernen zu lassen und die hätten dan per Bauch entschieden ob sie jemanden kennen. Was meinst du wen die so alles angeschleppt hätten? Da sind 3000 vorgefilterte Gesichter zu denen dir noch der evtl passende Eintrag angezeigt wird doch ein Griff in die Goldkiste gegen.

  15. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Axido 07.05.18 - 15:28

    Ich kapiere es immer noch nicht.
    Kann mir das mal einer als Metapher zu folgenden Dingen erklären:

    -Autos
    -Friseure
    -Eiscremesorten
    -Wettervorhersage (Regentage - Sonnentage
    -Soldaten in Bezug auf Terroristen und Zivilisten

    Vielen Dank im Voraus. :)

  16. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 15:39

    Axido schrieb:
    --------------------------------------------------------------------------------
    > Ich kapiere es immer noch nicht.
    > Kann mir das mal einer als Metapher zu folgenden Dingen erklären:
    >
    > -Autos
    > -Friseure
    > -Eiscremesorten
    > -Wettervorhersage (Regentage - Sonnentage
    > -Soldaten in Bezug auf Terroristen und Zivilisten
    >
    > Vielen Dank im Voraus. :)

    Also du hast ein Fußballfeld (TM) mit 10.000 Friseuren, davon sind 100 auch Terroristen(frisieren Soldaten Vokuhilas trotz besserem Wissens). Jetzt kommt eine Wettervorhersage rein, dass es gleich regnet. Alle haben Angst um Ihre Frisur und wollen zu ihren Autos auf den Parkplatz. Am Ausgang hast du eine Kamera mit dem System.

    Dann ist die Wahrscheinlichkeit dass das System einen davon als Terroristen erkennt 1.5%, die Wahrscheinlichkeit dass das auchwirklich ein Terrorist ist knapp 7%. Also schaust du dir am Terminal, statistisch gesehen, knappe 14 Bilderpaare an und isst ein leckeres Eis dabei und hast *bäm* einen bösen Terroristen erwischt.

    ^__^

    (das inoriert aber natürlich weg dass wir nicht wissen wie viele Kriminelle wirklich bei dem Spiel waren, sprich wir wissen nicht ob das jetzt alle 200 erwischt hat oder ob da eigentlich 170.000 Kriminelle rumgestolpert sind.)

  17. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: artenstreng 07.05.18 - 15:58

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Immerhin war das Ding etwas treffsicherer, als ein Zufallszahlengenerator:
    > Ich denke nämlich nicht, dass 8 % der Besucher des Spiels in der
    > Bilddatenbank als Krimineller gelistet waren ;-)

    Gelistet vielleicht nicht, aber als tatsächlich kriminell könnte sich eine zufällige Auswahl von 8% der Besucher sicherlich entpuppen. ;-)

  18. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:00

    Die Frage ist eben, ob die Ausbeute, die der Algorithmus herausgepickt hat, besser als die eines Zufallszahlengenerator war. Wenn wirklich 7 % Treffer unter dem Filter-Output waren, könnte man von einer gewissen Aufkonzentration reden. Ich denke nicht, dass generell 7 % der Besucher eines Fußballspiels kriminell sind ...

    Ob die 93 % False-Positives unter den Herausgefilterten das System toll finden, hängt wahrscheinlich davon ab, ob sie über das nachfolgende Procedere das Spiel verpasst haben ;-)

  19. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:03

    Im Schülerausweis das Geburtsdatum verändert.
    Beim BAFÖG - Antrag geschummelt.
    Nach einem Parkrempler abgehauen
    ...

    Da könnten es sogar mehr als 8 % sein...

  20. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 16:12

    Die Polizei macht eine allgemeine Verkehrskontrolle.
    Um die Alcotest Aufsatz Blasmundstücke etwas zielgerichteter einzusetzen, lässt man vorher eine KI die Fahrstile der Fahrer auf dem Weg zur Kontrollstelle beurteilen.
    Danach hat man von 170000 passierenden Autos 2470 herausgewunken weil die KI den Fahrstil als Verdächtig einstufte.
    Bei der nachfolgenden Kontrolle waren dann von den 2470 herausgewunkenen Fahrern 173 Fahrer beim Alco-Test positiv ...

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. BWI GmbH, Bonn, Meckenheim
  2. SAPCORDA SERVICE GmbH, Hannover
  3. Bundesinstitut für Risikobewertung, Berlin
  4. ERGO Group AG, Düsseldorf

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 1.149,00€ (Bestpreis!)
  2. 74,90€ (zzgl. Versand)
  3. 124,90€ (Bestpreis!)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Faire IT: Die grüne Challenge
Faire IT
Die grüne Challenge

Kann man IT-Produkte nachhaltig gestalten? Drei Startups zeigen, dass es nicht so einfach ist, die grüne Maus oder das faire Smartphone auf den Markt zu bringen.
Von Christiane Schulzki-Haddouti

  1. Smartphones Samsung und Xiaomi profitieren in Europa von Huawei-Boykott
  2. Smartphones Xiaomi ist kurz davor, Apple zu überholen
  3. Niederlande Notrufnummer fällt für mehrere Stunden aus

Harmony OS: Die große Luftnummer von Huawei
Harmony OS
Die große Luftnummer von Huawei

Mit viel Medienaufmerksamkeit und großen Versprechungen hat Huawei sein eigenes Betriebssystem Harmony OS vorgestellt. Bei einer näheren Betrachtung bleibt von dem großen Wurf allerdings kaum etwas übrig.
Ein IMHO von Sebastian Grüner


    OKR statt Mitarbeitergespräch: Wir müssen reden
    OKR statt Mitarbeitergespräch
    Wir müssen reden

    Das jährliche Mitarbeitergespräch ist eines der wichtigsten Instrumente für Führungskräfte, doch es ist gerade in der IT-Branche nicht mehr unbedingt zeitgemäß. Aus dem Silicon Valley kommt eine andere Methode: OKR. Sie erfüllt die veränderten Anforderungen an Agilität und Veränderungsbereitschaft.
    Von Markus Kammermeier

    1. IT-Arbeitsmarkt Jobgarantie gibt es nie
    2. IT-Fachkräftemangel Freie sind gefragt
    3. Sysadmin "Man kommt erst ins Spiel, wenn es brennt"

    1. Routerfreiheit: Vodafone will noch keine eigenen Glasfasermodems zulassen
      Routerfreiheit
      Vodafone will noch keine eigenen Glasfasermodems zulassen

      Vodafone streitet sich mit der Bundesnetzagentur, ob die Routerfreiheit in Glasfasernetzen auch für das Glasfasermodem (ONT) gilt. Ein Nutzer argumentiert dagegen, das öffentliche Glasfasernetz ende an der Glasfaser-Teilnehmeranschlussdose, wo man als Endkunde sein ONT verbinden kann.

    2. Mercedes EQV: Daimler zeigt elektrische Großraumlimousine
      Mercedes EQV
      Daimler zeigt elektrische Großraumlimousine

      Stilvoll elektrisch shuttlen: Daimler hat für die IAA die serienreife Version des Mercedes EQC angekündigt. In dem Elektro-Van haben sechs bis acht Insassen Platz.

    3. Fogcam: Älteste bestehende Webcam wird nach 25 Jahren abgeschaltet
      Fogcam
      Älteste bestehende Webcam wird nach 25 Jahren abgeschaltet

      Die Webcam Fogcam nimmt seit 1994 Bilder vom Gelände der San Francisco State University aus auf. Nach 25 Jahren wird die Kamera nun abgeschaltet, laut den Machern unter anderem wegen fehlender guter Aussicht.


    1. 18:01

    2. 17:40

    3. 17:03

    4. 16:41

    5. 16:04

    6. 15:01

    7. 15:00

    8. 14:42