Abo
  1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › Maschinelles Lernen…
  6. The…

Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Kein Kostverächter 07.05.18 - 16:19

    Du vergisst in deiner Rechnung immer noch die prinzipbedingt unbekannte Anzahl der False Negatives, also der Anzahl bekannter Krimineller, die das System nicht erkannt hat. Der hohe Anteil der False Positives in der Menge der vermeintlichen Positives laesst schon befuerchten, dass die Anzahl der bekannten Kriminellen, die trotz der Gesichtserkennung unerkannt im Stadion war, auch recht hoch sein koennte.
    Wuerdest Du eine Spam-Filter mit einer solchen False-Positive-Rate benutzen, also wenn 92% aller Mails im Spam-Ordner keine sind? Das ist den Aufwand nicht wert, da kann man direkt manuell filtern.

    Bis die Tage,

    KK

    ----------------------------------------------------------
    Mach dir deine eigenen Götter, und unterlasse es, dich mit einer schnöden Religion zu beflecken.
    (Epikur, griech. Phil., 341-270 v.Chr.)
    ----------------------------------------------------------
    Gesendet von meinem AppleTree iphone23 mit GoogleByte TalkAlways
    What the FUUK is going on?

  2. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 16:28

    Kein Kostverächter schrieb:
    --------------------------------------------------------------------------------
    > Du vergisst in deiner Rechnung immer noch die prinzipbedingt unbekannte
    > Anzahl der False Negatives, also der Anzahl bekannter Krimineller, die das
    > System nicht erkannt hat. Der hohe Anteil der False Positives in der Menge
    > der vermeintlichen Positives laesst schon befuerchten, dass die Anzahl der
    > bekannten Kriminellen, die trotz der Gesichtserkennung unerkannt im Stadion
    > war, auch recht hoch sein koennte.

    Das kommt auf das System an. Im Allgemeinen hängen Erkennungsrate und Fehlerrate bei KI eng miteinander zusammen, d.h. entweder wird auf hohe Erkennungsrate (True Positive Rate) getuned was mit einer hohen Fehlerrate (False Positive Rate) einhergeht. Oder es wird auf den Teufel versucht False Positives zu vermeiden wodurch dann aber auch die Erkennungsrate leidet. Z.B. könnte es durchaus sein, dass das System im aktuellen Falle auf eine möglichst hohe Erkennungsrate getuned war, weil ja die Ergebnisse sowieso nochmal manuell überprüft werden und damit False Positives aussortiert werden bevor sie ein Problem darstellen. In diesem Falle wäre es recht unwahrscheinlich, dass bei den Unverdächtigen tatsächlich noch gesuchte Personen dabei gewesen sind.

  3. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 16:36

    Man hat einen Test für Krebs. Der Test ist billig und frei von blöden Nebenwirkungen, sodass er in Massen angewendet werden kann. Er gibt ziemlich sicher Entwarnung, wenn jemand kein Krebs hat. Er tendiert aber zu False Positives, d.h. behauptet öfter, dass Personen Krebs haben können, die aber keinen haben.

    Da der Test so schön billig und nebenwirkungsfrei ist, wird er bei 170.000 Personen angewendet. Davon werden 2470 als krebsverdächtig identifiziert. Bei diesen wird dann ein teurerer aber genauerer Test durchgeführt, welcher evtl. auch nicht ganz frei von unerwünschten Nebenwirkungen ist. Auf diese Weise werden dann 173 Fälle identifiziert, wo tatsächlich Krebs vorliegt und diese werden dann behandelt.

    Da der initiale Test billig und nebenwirkungsfrei ist können also weitaus mehr Personen getestet werden und somit letztendlich mehr tatsächliche Krebsfälle identifiziert und behandelt werden. Und ja, es wäre schön, wenn der erstere Test genauer wäre, dabei aber genauso nebenwirkungsfrei und billig bleibt. Aber es ist immernoch besser, als wenn man nur den zweiten Test hätte, da man sowohl wegen Nebenwirkungen wie auch wegen Kosten nicht alle damit testen kann.



    3 mal bearbeitet, zuletzt am 07.05.18 16:40 durch noxxi.

  4. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 17:15

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > ... Er gibt ziemlich sicher Entwarnung, wenn jemand kein Krebs hat.

    In dieser Hinsicht hinkt der Vergleich: Ich würde eher sagen - es schlüpft mit dem Test weniger unerkannter Krebs durch, als ohne den Test ...
    Aus den im Artikel genannten Zahlen zum realen Szenario lässt sich diese Aussage nicht herleiten .
    Ein indirekter Hinweis wäre, wenn nach Einführung der Kontrollen die Kriminalitätsrate im Stadion gesunken wäre ...

  5. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 07.05.18 - 17:35

    Nach einigem Nachdenken:
    Ich habe in der Studienzeit ein Praktikum in einer Waschmaschinenfabrik gemacht.
    Da gab es bei Schichtwechsel an den Werkstoren um Diebstahl vorzubeugen per Zufallsgenerator und Lichtschranke eine Taschenkontrolle (Der Betriebsrat hat zugestimmt).
    Derjenige, bei dem ein Gong ertönte musste in die Pförtnerloge, und seine Tasche kontrollieren lassen.
    Das entlastete den Pförtner von Entscheidungen ("Ich habe keinen Einfluss darauf bei wem der Gong ertönt") und schreckte trotzdem ab.

    Von da her ist dieses System wohl um einiges Besser, als damals der Zufallsgenerator. Neben der besseren Trefferquote erreicht man wahrscheinlich auch eine gewisse Abschreckung. Gesuchte Taschendiebe werden womöglich gar nicht erst in das Stadion kommen ....

    Solange wie damals die Taschenkontrolle keine 60 Sekunden gedauert hat, hier die persönlich Nachkontrolle auch vor Anpfiff beendet ist, sodass man als falsch positiver Zuschauer zum Anpfiff auf seinem Platz sitzt, könnte man damit leben (noch besser mit einem Freßpaket von den Fahndungsbehörden als Entschädigung ;-) )

  6. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 17:55

    Ich denke das vorgeschlagene Stichprobenverfahren ist sinnvoll, wenn es darum geht, Gelegenheitssstraftaten beim Spiel selber zu vermeiden, d.h. Kontrolle auf Alkohol, Waffen etc.
    In diesem Falle ging es nach meinem Verständnis aber eher darum, die Menge an Person an einem Ort zu nutzen um bereits offiziell strafrechtlich verfolgte Personen zu finden. Stichproben würde hier nur wenig Erfolg haben, da je gerade mal einer von über 1000 Besuchern eine gesuchter Krimineller war.

  7. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mab_42 07.05.18 - 18:56

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.

    Hm.
    https://en.wikipedia.org/wiki/False_positive_rate sagt

    "false positive rate is FP / N = FP / (FP + TN) where FP is the number of false positives, TN is the number of true negatives and N=FP+TN"

  8. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: noxxi 07.05.18 - 19:14

    > > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht
    > 92%.
    >
    > Hm.
    > en.wikipedia.org sagt
    >
    > "false positive rate is FP / N = FP / (FP + TN) where FP is the number of
    > false positives, TN is the number of true negatives and N=FP+TN"

    Danke für den Hinweis. Ich habe fälschlicherweise bei der Beschreibung nur die TN im Divisor FP+TN erwähnt. In der eigentlichen Rechnung sind die jedoch drin, d.h. es ändert nichts an den erwähnten 1.3%.

  9. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: mambokurt 07.05.18 - 19:23

    Kein Kostverächter schrieb:
    --------------------------------------------------------------------------------
    > Du vergisst in deiner Rechnung immer noch die prinzipbedingt unbekannte
    > Anzahl der False Negatives, also der Anzahl bekannter Krimineller, die das
    > System nicht erkannt hat. Der hohe Anteil der False Positives in der Menge
    > der vermeintlichen Positives laesst schon befuerchten, dass die Anzahl der
    > bekannten Kriminellen, die trotz der Gesichtserkennung unerkannt im Stadion
    > war, auch recht hoch sein koennte.
    > Wuerdest Du eine Spam-Filter mit einer solchen False-Positive-Rate
    > benutzen, also wenn 92% aller Mails im Spam-Ordner keine sind? Das ist den
    > Aufwand nicht wert, da kann man direkt manuell filtern.

    Ja, nur kennen wir die nicht. Punkt.

    Auf der anderen Seite hat das System 200 Leute richtig als kriminell erkannt und es kam zu Festnahmen. Punkt.

    Deine Aufgabe ist jetzt zu entscheiden, ob sich das lohnt. Ich sage: generell schon. 3000 Gesichter nachvergleichen - da brauchst du 10 Sekunden je Gesicht, sind 500 Minuten oder für 20(!) Mitarbeiter jeweils 25 Minuten. Du setzt also während des Einlasses da magere 20 Leute hin und die identifizieren dir da lächelnd 200 Kriminelle. Brauchen wir nicht über Kosten/Nutzen reden verglichen mit klassischer Fahndung, oder?

  10. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: suicicoo 07.05.18 - 19:34

    M.P. schrieb:
    --------------------------------------------------------------------------------
    > Die Frage ist eben, ob die Ausbeute, die der Algorithmus herausgepickt hat,
    > besser als die eines Zufallszahlengenerator war. Wenn wirklich 7 % Treffer
    > unter dem Filter-Output waren, könnte man von einer gewissen
    > Aufkonzentration reden. Ich denke nicht, dass generell 7 % der Besucher
    > eines Fußballspiels kriminell sind ...
    >
    > Ob die 93 % False-Positives unter den Herausgefilterten das System toll
    > finden, hängt wahrscheinlich davon ab, ob sie über das nachfolgende
    > Procedere das Spiel verpasst haben ;-)
    Ich denke, daß man nur die gesetze an die trefferwahrscheinlichkeit des filters anpassen muss - statistisch sind 7% kriminell und wir fischen 7% raus - passt doch als milchpolitikerrechnung...

  11. 2084 wir kommen

    Autor: maxule 08.05.18 - 01:46

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt durch
    > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht 92%.
    >
    Das eigentliche Problem sind die nicht erkannten 154.500 False Negatives. Da bleibt die Erkennungsfehlerrate bei 92%. Die passende Gesetzgebung haben wir früher oder später auch dazu. Die Problemlösung wird dann umgehend autonom und automatisch exekutiert... 2084, wir kommen.

  12. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Nullmodem 08.05.18 - 08:57

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > > > Die False Positive Rate (FPR) ist die False Positives (FP) geteilt
    > durch
    > > > alle True Negatives (TN). 2297 FP bei 170.000 TN macht 1.3% und nicht
    > > 92%.
    > >
    > > Hm.
    > > en.wikipedia.org sagt
    > >
    > > "false positive rate is FP / N = FP / (FP + TN) where FP is the number
    > of
    > > false positives, TN is the number of true negatives and N=FP+TN"
    >
    > Danke für den Hinweis. Ich habe fälschlicherweise bei der Beschreibung nur
    > die TN im Divisor FP+TN erwähnt. In der eigentlichen Rechnung sind die
    > jedoch drin, d.h. es ändert nichts an den erwähnten 1.3%.

    Das Problem hier ist die Annahme, das die anderen 170.000 wirklich True Negatives sind, was der Test überhaupt nicht leistet.
    Immerhin ist es möglich, das alle, die die KI als negativ klassifiziert, Verbrecher waren, dann ist TN = 0

    nm

  13. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: M.P. 08.05.18 - 09:47

    Ich meinte damit, dass man ruhig einige "false Negatives" mehr zulassen sollte, um die Belästigung der "false Positive"-Zuschauer zu minimieren. Besser als ein Zufallsgenerator und Stichprobenkontrollen sollte man trotzdem sein ...

  14. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Dakkaron 08.05.18 - 10:03

    noxxi schrieb:
    --------------------------------------------------------------------------------
    > Die Frage ist denke ich weniger, wieviele fälschlicherweise
    > verdächtigt wurden sondern was in diesem Falle passiert. So wie ich den
    > Artikel lese hatte die fehlerhafte Verdächtigung keinerlei Folgen für die
    > betroffenen Personen und sie haben es noch nicht einmal mitbekommen, weil
    > es vorher von einem Menschen korrigiert wurde.

    Das wäre nett, stimmt nur leider nicht. Laut Artikel sind 450 Leute festgenommen worden. Rund 280 Leute sind also nur deswegen festgenommen worden, weil irgendsoein billiger, schlecht gemachter Algo gesagt hat, die müssen jetzt weg.

    Auch wenn die dann sonst keine Strafen dafür bekommen haben, ist allein so eine Festnahme emotional echt heftig. Selbst wenn die Polizei recht flott ihren Fehler erkennt, ist dann zumindest der Tag weg. Stell dir vor, man ist mit Freunden, Familie und Kindern harmlos bei einem Spiel und zack wird man verhaftet. Das hat schon längerfristigere Auswirkungen auch.

    So dringend muss man ein paar Kleinkriminelle nicht verhaften, dass man dafür das Sicherheitsgefühl von unschuldigen Menschen so arg beeinträchtigen muss.

    Laut Artikel waren die schlimmsten Fälle ein Räuber und ein Dieb. Der Rest waren wohl Schwarzfahrer oder so. Tolle Leistung.


    Und laut dem Originalartikel vom Guardian war die Begründung für den Einsatz der Technologie ... ratet mal ... Terrorismus! Und das war ja ein voller Erfolg, haben sie ja seit letztem Sommer satte 0 Terroristen damit gefangen!



    1 mal bearbeitet, zuletzt am 08.05.18 10:10 durch Dakkaron.

  15. Re: Fehlerquote (False Positive Rate) von 92% ? Ich komme auf 1.3%.

    Autor: Muhaha 08.05.18 - 10:23

    mambokurt schrieb:
    --------------------------------------------------------------------------------
    > Muhaha schrieb:
    > > Statistikverständnis arbeiten :)
    >
    > Ne, er schreibt das schon ziemlich richtig:

    Deswegen schrub ich ja auch nicht "Mathematik", sondern "Statistikverständnis". Denn Du kannst mathematisch vollkommen korrekte Statistiken erstellen, deren Aussage aber komplett irreführend ist.

  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. FTI Touristik GmbH, München
  2. Carl Hanser Verlag GmbH & Co. KG, München
  3. Münchener Verein Versicherungsgruppe, München
  4. Hays AG, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 46,99€
  2. 49,95€
  3. (-50%) 29,99€
  4. 49,95€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Flexibles Smartphone: Samsung verspielt die Smartphone-Führung
Flexibles Smartphone
Samsung verspielt die Smartphone-Führung

Jahrelang dominierte Samsung den Smartphone-Markt mit Innovationen, in den vergangenen Monaten verliert der südkoreanische Hersteller aber das Momentum. Krönung dieser Entwicklung ist das neue flexible Nicht-Smartphone - die Konkurrenz aus China dürfte feiern.
Eine Analyse von Tobias Költzsch

  1. Flexibles Display Samsungs faltbares Smartphone soll im März 2019 erscheinen
  2. Samsung Linux-on-Dex startet in privater Beta
  3. Infinity Flex Samsung zeigt statt Smartphone nur faltbares Display

Interview Alienware: Keiner baut dir einen besseren Gaming-PC als du selbst!
Interview Alienware
"Keiner baut dir einen besseren Gaming-PC als du selbst!"

Selbst bauen oder Komplettsystem kaufen, die Zukunft von Raytracing und was E-Sport-Profis über Hardware denken: Golem.de hat im Interview mit Frank Azor, dem Chef von Alienware, über PC-Gaming gesprochen.
Von Peter Steinlechner

  1. Dell Alienware M15 wird schlanker und läuft 17 Stunden
  2. Dell Intel Core i9 in neuen Alienware-Laptops ab Werk übertaktet

Dark Rock Pro TR4 im Test: Be Quiet macht den Threadripper still
Dark Rock Pro TR4 im Test
Be Quiet macht den Threadripper still

Mit dem Dark Rock Pro TR4 hat Be Quiet einen tiefschwarzen CPU-Kühler für AMDs Threadripper im Angebot. Er überzeugt durch Leistung und den leisen Betrieb, bei Montage und Speicherkompatiblität liegt die Konkurrenz vorne. Die ist aber optisch teils deutlich weniger zurückhaltend.
Ein Test von Marc Sauter

  1. Dark Rock Pro TR4 Be Quiets schwarzer Doppelturm kühlt 32 Threadripper-Kerne

  1. Deutsche Telekom: Gemeinden verhindern Schließung von Funklöchern
    Deutsche Telekom
    Gemeinden verhindern Schließung von Funklöchern

    Seit November 2017 will die Deutsche Telekom Funklöcher in Bayern schließen. Doch das ist gar nicht so einfach, betont der Konzern.

  2. Retrogaming: ROM-Seiten zahlen 12 Millionen US-Dollar an Nintendo
    Retrogaming
    ROM-Seiten zahlen 12 Millionen US-Dollar an Nintendo

    Mit den populären Webseiten LoveROMs und LoveRETRO dürften die Betreiber sehr viel Geld eingenommen haben. Nun sind 12 Millionen US-Dollar durch einen Vergleich mit Nintendo wieder weg - zeitweise stand eine weit höhere Summe im Raum.

  3. Blockverschlüsselung: Verschlüsselungsmodus OCB2 gebrochen
    Blockverschlüsselung
    Verschlüsselungsmodus OCB2 gebrochen

    Im Verschlüsselungsmodus OCB2 wurden in kurzer Abfolge zahlreiche Sicherheitsprobleme gefunden. Breite Verwendung findet dieser Modus nicht, obwohl er Teil eines ISO-Standards ist.


  1. 15:06

  2. 14:51

  3. 14:35

  4. 14:14

  5. 13:45

  6. 13:31

  7. 13:03

  8. 12:43