Abo
  1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Maschinelles Lernen…
  6. The…

Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Kein Kostverächter 07.05.18 - 16:19

    Du vergisst in deiner Rechnung immer noch die prinzipbedingt unbekannte Anzahl der False Negatives, also der Anzahl bekannter Krimineller, die das System nicht erkannt hat. Der hohe Anteil der False Positives in der Menge der vermeintlichen Positives laesst schon befuerchten, dass die Anzahl der bekannten Kriminellen, die trotz der Gesichtserkennung unerkannt im Stadion war, auch recht hoch sein koennte.
    Wuerdest Du eine Spam-Filter mit einer solchen False-Positive-Rate benutzen, also wenn 92% aller Mails im Spam-Ordner keine sind? Das ist den Aufwand nicht wert, da kann man direkt manuell filtern.

    Bis die Tage,

    KK

    ----------------------------------------------------------
    Mach dir deine eigenen Götter, und unterlasse es, dich mit einer schnöden Religion zu beflecken.
    (Epikur, griech. Phil., 341-270 v.Chr.)
    ----------------------------------------------------------
    We provide AI Blockchain Cloud (ABC) enabled applications bringing Enterprise level synergies to vertically integrated business processes.

  2. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 16:28

    Kein Kostverächter schrieb:
    --------------------------------------------------------------------------------
    > Du vergisst in deiner Rechnung immer noch die prinzipbedingt unbekannte
    > Anzahl der False Negatives, also der Anzahl bekannter Krimineller, die das
    > System nicht erkannt hat. Der hohe Anteil der False Positives in der Menge
    > der vermeintlichen Positives laesst schon befuerchten, dass die Anzahl der
    > bekannten Kriminellen, die trotz der Gesichtserkennung unerkannt im Stadion
    > war, auch recht hoch sein koennte.

    Das kommt auf das System an. Im Allgemeinen hängen Erkennungsrate und Fehlerrate bei KI eng miteinander zusammen, d.h. entweder wird auf hohe Erkennungsrate (True Positive Rate) getuned was mit einer hohen Fehlerrate (False Positive Rate) einhergeht. Oder es wird auf den Teufel versucht False Positives zu vermeiden wodurch dann aber auch die Erkennungsrate leidet. Z.B. könnte es durchaus sein, dass das System im aktuellen Falle auf eine möglichst hohe Erkennungsrate getuned war, weil ja die Ergebnisse sowieso nochmal manuell überprüft werden und damit False Positives aussortiert werden bevor sie ein Problem darstellen. In diesem Falle wäre es recht unwahrscheinlich, dass bei den Unverdächtigen tatsächlich noch gesuchte Personen dabei gewesen sind.

  3. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 16:36

    Man hat einen Test für Krebs. Der Test ist billig und frei von blöden Nebenwirkungen, sodass er in Massen angewendet werden kann. Er gibt ziemlich sicher Entwarnung, wenn jemand kein Krebs hat. Er tendiert aber zu False Positives, d.h. behauptet öfter, dass Personen Krebs haben können, die aber keinen haben.

    Da der Test so schön billig und nebenwirkungsfrei ist, wird er bei 170.000 Personen angewendet. Davon werden 2470 als krebsverdächtig identifiziert. Bei diesen wird dann ein teurerer aber genauerer Test durchgeführt, welcher evtl. auch nicht ganz frei von unerwünschten Nebenwirkungen ist. Auf diese Weise werden dann 173 Fälle identifiziert, wo tatsächlich Krebs vorliegt und diese werden dann behandelt.

    Da der initiale Test billig und nebenwirkungsfrei ist können also weitaus mehr Personen getestet werden und somit letztendlich mehr tatsächliche Krebsfälle identifiziert und behandelt werden. Und ja, es wäre schön, wenn der erstere Test genauer wäre, dabei aber genauso nebenwirkungsfrei und billig bleibt. Aber es ist immernoch besser, als wenn man nur den zweiten Test hätte, da man sowohl wegen Nebenwirkungen wie auch wegen Kosten nicht alle damit testen kann.



    3 mal bearbeitet, zuletzt am 07.05.18 16:40 durch noxxi.

  4. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 17:15

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > ... Er gibt ziemlich sicher Entwarnung, wenn jemand kein Krebs hat.

    In dieser Hinsicht hinkt der Vergleich: Ich würde eher sagen - es schlüpft mit dem Test weniger unerkannter Krebs durch, als ohne den Test ...
    Aus den im Artikel genannten Zahlen zum realen Szenario lässt sich diese Aussage nicht herleiten .
    Ein indirekter Hinweis wäre, wenn nach Einführung der Kontrollen die Kriminalitätsrate im Stadion gesunken wäre ...

  5. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 17:35

    Nach einigem Nachdenken:
    Ich habe in der Studienzeit ein Praktikum in einer Waschmaschinenfabrik gemacht.
    Da gab es bei Schichtwechsel an den Werkstoren um Diebstahl vorzubeugen per Zufallsgenerator und Lichtschranke eine Taschenkontrolle (Der Betriebsrat hat zugestimmt).
    Derjenige, bei dem ein Gong ertönte musste in die Pförtnerloge, und seine Tasche kontrollieren lassen.
    Das entlastete den Pförtner von Entscheidungen ("Ich habe keinen Einfluss darauf bei wem der Gong ertönt") und schreckte trotzdem ab.

    Von da her ist dieses System wohl um einiges Besser, als damals der Zufallsgenerator. Neben der besseren Trefferquote erreicht man wahrscheinlich auch eine gewisse Abschreckung. Gesuchte Taschendiebe werden womöglich gar nicht erst in das Stadion kommen ....

    Solange wie damals die Taschenkontrolle keine 60 Sekunden gedauert hat, hier die persönlich Nachkontrolle auch vor Anpfiff beendet ist, sodass man als falsch positiver Zuschauer zum Anpfiff auf seinem Platz sitzt, könnte man damit leben (noch besser mit einem Freßpaket von den Fahndungsbehörden als Entschädigung ;-) )

  6. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 17:55

    Ich denke das vorgeschlagene Stichprobenverfahren ist sinnvoll, wenn es darum geht, Gelegenheitssstraftaten beim Spiel selber zu vermeiden, d.h. Kontrolle auf Alkohol, Waffen etc.
    In diesem Falle ging es nach meinem Verständnis aber eher darum, die Menge an Person an einem Ort zu nutzen um bereits offiziell strafrechtlich verfolgte Personen zu finden. Stichproben würde hier nur wenig Erfolg haben, da je gerade mal einer von über 1000 Besuchern eine gesuchter Krimineller war.

  7. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mab_42 07.05.18 - 18:56

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.

    Hm.
    https://en.wikipedia.org/wiki/False_positive_rate sagt

    "false positive rate is FP / N = FP / (FP + TN) where FP is the number of false positives, TN is the number of true negatives and N=FP+TN"

  8. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 19:14

    > > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht
    > 92%.
    >
    > Hm.
    > en.wikipedia.org sagt
    >
    > "false positive rate is FP / N = FP / (FP + TN) where FP is the number of
    > false positives, TN is the number of true negatives and N=FP+TN"

    Danke für den Hinweis. Ich habe fälschlicherweise bei der Beschreibung nur die TN im Divisor FP+TN erwähnt. In der eigentlichen Rechnung sind die jedoch drin, d.h. es ändert nichts an den erwähnten 1.3%.

  9. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 19:23

    Kein Kostverächter schrieb:
    --------------------------------------------------------------------------------
    > Du vergisst in deiner Rechnung immer noch die prinzipbedingt unbekannte
    > Anzahl der False Negatives, also der Anzahl bekannter Krimineller, die das
    > System nicht erkannt hat. Der hohe Anteil der False Positives in der Menge
    > der vermeintlichen Positives laesst schon befuerchten, dass die Anzahl der
    > bekannten Kriminellen, die trotz der Gesichtserkennung unerkannt im Stadion
    > war, auch recht hoch sein koennte.
    > Wuerdest Du eine Spam-Filter mit einer solchen False-Positive-Rate
    > benutzen, also wenn 92% aller Mails im Spam-Ordner keine sind? Das ist den
    > Aufwand nicht wert, da kann man direkt manuell filtern.

    Ja, nur kennen wir die nicht. Punkt.

    Auf der anderen Seite hat das System 200 Leute richtig als kriminell erkannt und es kam zu Festnahmen. Punkt.

    Deine Aufgabe ist jetzt zu entscheiden, ob sich das lohnt. Ich sage: generell schon. 3000 Gesichter nachvergleichen - da brauchst du 10 Sekunden je Gesicht, sind 500 Minuten oder für 20(!) Mitarbeiter jeweils 25 Minuten. Du setzt also während des Einlasses da magere 20 Leute hin und die identifizieren dir da lächelnd 200 Kriminelle. Brauchen wir nicht über Kosten/Nutzen reden verglichen mit klassischer Fahndung, oder?

  10. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: suicicoo 07.05.18 - 19:34

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Die Frage ist eben, ob die Ausbeute, die der Algorithmus herausgepickt hat,
    > besser als die eines Zufallszahlengenerator war. Wenn wirklich 7 % Treffer
    > unter dem Filter-Output waren, könnte man von einer gewissen
    > Aufkonzentration reden. Ich denke nicht, dass generell 7 % der Besucher
    > eines Fußballspiels kriminell sind ...
    >
    > Ob die 93 % False-Positives unter den Herausgefilterten das System toll
    > finden, hängt wahrscheinlich davon ab, ob sie über das nachfolgende
    > Procedere das Spiel verpasst haben ;-)
    Ich denke, daß man nur die gesetze an die trefferwahrscheinlichkeit des filters anpassen muss - statistisch sind 7% kriminell und wir fischen 7% raus - passt doch als milchpolitikerrechnung...

  11. 2084 wir kommen

    Autor: maxule 08.05.18 - 01:46

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.
    >
    Das eigentliche Problem sind die nicht erkannten 154.500 False Negatives. Da bleibt die Erkennungsfehlerrate bei 92%. Die passende Gesetzgebung haben wir früher oder später auch dazu. Die Problemlösung wird dann umgehend autonom und automatisch exekutiert... 2084, wir kommen.

  12. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 08.05.18 - 08:57

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > > > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt
    > durch
    > > > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht
    > > 92%.
    > >
    > > Hm.
    > > en.wikipedia.org sagt
    > >
    > > "false positive rate is FP / N = FP / (FP + TN) where FP is the number
    > of
    > > false positives, TN is the number of true negatives and N=FP+TN"
    >
    > Danke für den Hinweis. Ich habe fälschlicherweise bei der Beschreibung nur
    > die TN im Divisor FP+TN erwähnt. In der eigentlichen Rechnung sind die
    > jedoch drin, d.h. es ändert nichts an den erwähnten 1.3%.

    Das Problem hier ist die Annahme, das die anderen 170.000 wirklich True Negatives sind, was der Test überhaupt nicht leistet.
    Immerhin ist es möglich, das alle, die die KI als negativ klassifiziert, Verbrecher waren, dann ist TN = 0

    nm

  13. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 08.05.18 - 09:47

    Ich meinte damit, dass man ruhig einige "false Negatives" mehr zulassen sollte, um die Belästigung der "false Positive"-Zuschauer zu minimieren. Besser als ein Zufallsgenerator und Stichprobenkontrollen sollte man trotzdem sein ...

  14. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Dakkaron 08.05.18 - 10:03

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die Frage ist denke ich weniger, wieviele fälschlicherweise
    > verdächtigt wurden sondern was in diesem Falle passiert. So wie ich den
    > Artikel lese hatte die fehlerhafte Verdächtigung keinerlei Folgen für die
    > betroffenen Personen und sie haben es noch nicht einmal mitbekommen, weil
    > es vorher von einem Menschen korrigiert wurde.

    Das wäre nett, stimmt nur leider nicht. Laut Artikel sind 450 Leute festgenommen worden. Rund 280 Leute sind also nur deswegen festgenommen worden, weil irgendsoein billiger, schlecht gemachter Algo gesagt hat, die müssen jetzt weg.

    Auch wenn die dann sonst keine Strafen dafür bekommen haben, ist allein so eine Festnahme emotional echt heftig. Selbst wenn die Polizei recht flott ihren Fehler erkennt, ist dann zumindest der Tag weg. Stell dir vor, man ist mit Freunden, Familie und Kindern harmlos bei einem Spiel und zack wird man verhaftet. Das hat schon längerfristigere Auswirkungen auch.

    So dringend muss man ein paar Kleinkriminelle nicht verhaften, dass man dafür das Sicherheitsgefühl von unschuldigen Menschen so arg beeinträchtigen muss.

    Laut Artikel waren die schlimmsten Fälle ein Räuber und ein Dieb. Der Rest waren wohl Schwarzfahrer oder so. Tolle Leistung.


    Und laut dem Originalartikel vom Guardian war die Begründung für den Einsatz der Technologie ... ratet mal ... Terrorismus! Und das war ja ein voller Erfolg, haben sie ja seit letztem Sommer satte 0 Terroristen damit gefangen!



    1 mal bearbeitet, zuletzt am 08.05.18 10:10 durch Dakkaron.

  15. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Muhaha 08.05.18 - 10:23

    mambokurt schrieb:
    --------------------------------------------------------------------------------
    > Muhaha schrieb:
    > > Statistikverständnis arbeiten :)
    >
    > Ne, er schreibt das schon ziemlich richtig:

    Deswegen schrub ich ja auch nicht "Mathematik", sondern "Statistikverständnis". Denn Du kannst mathematisch vollkommen korrekte Statistiken erstellen, deren Aussage aber komplett irreführend ist.

  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Forschungszentrum Jülich GmbH, Jülich
  2. BWI GmbH, München
  3. DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., Oberpfaffenhofen bei München
  4. Automotive Safety Technologies GmbH, Wolfsburg

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 199,00€
  2. Code 100SGS3
  3. (u. a. Sicario, Bodyguard, Inception)
  4. (u. a. Lego Ninjago, Wickie, Asterix)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Thyssen-Krupp Testturm Rottweil: Herr Fetzer parkt die Aufzugkabine um
Thyssen-Krupp Testturm Rottweil
Herr Fetzer parkt die Aufzugkabine um

Ohne Aufzüge gäbe es keine Hochhäuser. Aber inzwischen sind Wolkenkratzer zu hoch für herkömmliche Systeme. Thyssen-Krupp testet derzeit einen neuartigen Aufzug, der beliebig hoch fahren kann. Inspiriert ist er vom Paternoster und dem Transrapid. Wir waren im Testturm.
Ein Bericht von Werner Pluta

  1. Ceramic Speed Hätte, hätte - Fahrrad ohne Kette
  2. Geheimdienste und Bundeswehr Masterstudiengang für Staatshacker gestartet
  3. Sonitus Technologies Zahnmikrofon sorgt für klare Kommunikation

Next Generation Car: Das Fahrzeug der Zukunft ist modular
Next Generation Car
Das Fahrzeug der Zukunft ist modular

Ein Fahrzeug braucht eine Kabine und einen Antrieb. Müssen aber beide eine fest verbundene Einheit sein? Forscher des DLR arbeiten an verschiedenen Konzepten für das Auto der Zukunft. Eines davon ist ein modulares Fahrzeug, das für verschiedene Zwecke eingesetzt werden kann.
Von Werner Pluta

  1. DLR Phylax erkennt Sprengstoffreste per Laser
  2. Raumfahrt DLR testet 3D-gedrucktes Raketentriebwerk
  3. Eden ISS Raumfahrt-Salat für Antarktis-Bewohner

Flugzeugabsturz: Boeing 737 MAX geht wegen Softwarefehler außer Betrieb
Flugzeugabsturz
Boeing 737 MAX geht wegen Softwarefehler außer Betrieb

Wegen eines bekannten Softwarefehlers wird der Flugbetrieb für Boeings neustes Flugzeug fast weltweit eingestellt - Die letzte Ausnahme war: die USA. Der Umgang der amerikanischen Flugaufsichtsbehörde mit den Problemen des neuen Flugzeugs erscheint zweifelhaft.

  1. Boeing Rollout der neuen 777X in wenigen Tagen
  2. Boeing 747 Der Jumbo Jet wird 50 Jahre alt
  3. Lufttaxi Uber sucht eine weitere Stadt für Uber-Air-Test

  1. Urheberrecht: Aus dem "Irrsinn" der CDU einen Kompromiss machen
    Urheberrecht
    Aus dem "Irrsinn" der CDU einen Kompromiss machen

    Anstatt sich ernsthaft mit den Argumenten der Kritiker zur EU-Urheberrechtsreform auseinanderzusetzen, bezeichnet die CDU sie als Bots oder gekaufte Demonstranten. Sie sollte den "Irrsinn" beenden und die Europawahlen nicht fürchten.

  2. Secure Element: Global Platform gibt Firmware-Loader-Spezifikation frei
    Secure Element
    Global Platform gibt Firmware-Loader-Spezifikation frei

    Mit zwei neuen Spezifikationen soll Global Platform die Entwicklung von Secure-Element-Anwendungen auf mobilen Plattformen vereinfachen. Die Spezifikationen sind zwar nicht neu, laut Global Platform aber erstmals frei verfügbar.

  3. Duopol: Verbände warnen vor Kauf von Unitymedia durch Vodafone
    Duopol
    Verbände warnen vor Kauf von Unitymedia durch Vodafone

    Ein Duopol von Telekom und Vodafone/Unitymedia würde vermeintlich dazu führen, dass die beiden weiterhin ihre alten Bestandsnetze nutzen, statt Glasfaser auszubauen. Eine Entscheidung der EU-Kommission wird bald erwartet.


  1. 15:48

  2. 15:34

  3. 13:41

  4. 13:31

  5. 13:16

  6. 12:02

  7. 11:55

  8. 11:45