1. Foren
  2. Kommentare
  3. Games
  4. Alle Kommentare zum Artikel
  5. › Minerva: Künstliche Intelligenz sperrt…

Was ist mit false positives?

  1. Thema

Neues Thema Ansicht wechseln


  1. Was ist mit false positives?

    Autor: ZeldaFreak 28.10.19 - 12:18

    https://de.wikipedia.org/wiki/Penistone
    https://de.wikipedia.org/wiki/Gaylord
    Es gibt auch Orte wo die Ortsschilder die Runde machen, aber da habe ich spontan kein Wikipedia Artikel dazu gefunden.
    Dann gibt es noch das Land Niger oder die Farbe Schwarz, aber auf spanisch.

    Man behauptet ja gerne mal dass da eine super dolle Ki am Werk ist. Wortfilter gibt es schon lange und auch versuche typische umgehungen zu erkennen. Da könnte man aber mit allen 4 genannten Beispielen anecken. Kontext zu erkennen, ist ja für Menschen nicht immer leicht. Eine Ki wird das bestimmt nicht so leicht können. Was wäre mit dem Namen Gaylord? Ich kann damit den Namen meinen oder eher wahrscheinlich es als Beleidigung meinen.
    Natürlich gibt es auch in jeder Sprache andere Beleidigungen, die man nicht mal eben in einer tollen Liste findet.

    Wenn die Ki aber zuverlässig den Kontext erkennt, dann kann man mal den Aluhut aufsetzen. Die Menschen sind ja ziemlich kreativ was das umgehen von Wortfiltern ist, wenn man jemanden beleidigen will.

  2. Re: Was ist mit false positives?

    Autor: StaTiC2206 28.10.19 - 12:20

    auch gut war vor Jahren als bei einer Uni die Alarmglocken losgingen weil jemand nach StaatSEXamen gesucht hat.

  3. Re: Was ist mit false positives?

    Autor: plastikschaufel 28.10.19 - 12:30

    Genau wegen so was sorgt die Zensur höchstens dafür, dass sich überhaupt keiner mehr verständigt.

  4. Re: Was ist mit false positives?

    Autor: Z101 28.10.19 - 12:37

    ZeldaFreak schrieb:
    --------------------------------------------------------------------------------
    > de.wikipedia.org
    > de.wikipedia.org
    > Es gibt auch Orte wo die Ortsschilder die Runde machen, aber da habe ich
    > spontan kein Wikipedia Artikel dazu gefunden.
    > Dann gibt es noch das Land Niger oder die Farbe Schwarz, aber auf spanisch.
    >
    > Man behauptet ja gerne mal dass da eine super dolle Ki am Werk ist.
    > Wortfilter gibt es schon lange und auch versuche typische umgehungen zu
    > erkennen. Da könnte man aber mit allen 4 genannten Beispielen anecken.
    > Kontext zu erkennen, ist ja für Menschen nicht immer leicht. Eine Ki wird
    > das bestimmt nicht so leicht können. Was wäre mit dem Namen Gaylord? Ich
    > kann damit den Namen meinen oder eher wahrscheinlich es als Beleidigung
    > meinen.
    > Natürlich gibt es auch in jeder Sprache andere Beleidigungen, die man nicht
    > mal eben in einer tollen Liste findet.
    >


    Deswegen ist es eine KI und kein Wortfilter. Die KI muss halt den Zusammenhang des Wortes verstehen. Davon mal abgesehen sind ja Wörter wie Gaylord kein Problem, warum auch? Das Wort "Gay" ist keine Beleidigung.

    Das nun ständig Leute im Chat (egal Spanier oder nicht) nun ständig das Land Niger oder obskure Ortsschilder erwähnen, ist wohl eher unwahrscheinlich, und wenn sie dann falsch gesperrt werden, können sie sich ja beschweren.

    > Wenn die Ki aber zuverlässig den Kontext erkennt, dann kann man mal den
    > Aluhut aufsetzen. Die Menschen sind ja ziemlich kreativ was das umgehen von
    > Wortfiltern ist, wenn man jemanden beleidigen will.

    Klar wird ja auch gemacht, aber irgendwann müssen die Beleidigungen dann so versteckt werden, dass sie nicht mehr als solche zu erkennen sind. Davon mal abgesehen, sind die meisten Flamer ja nicht unbedingt besonders klug, dürfte denen also eher schwer fallen subtile Beleidigungen zu verfassen.

  5. Re: Was ist mit false positives?

    Autor: Muhaha 28.10.19 - 12:41

    Z101 schrieb:
    --------------------------------------------------------------------------------

    > Klar wird ja auch gemacht, aber irgendwann müssen die Beleidigungen dann so
    > versteckt werden, dass sie nicht mehr als solche zu erkennen sind. Davon
    > mal abgesehen, sind die meisten Flamer ja nicht unbedingt besonders klug,
    > dürfte denen also eher schwer fallen subtile Beleidigungen zu verfassen.

    Richtig. Die meisten pöbeln aus einem emotionalen Impuls heraus, nur wenige machen das aus Prinzip und gehen dabei rational vor. Hier geht es ja auch nicht darum Pöbeleien vollständig verschwinden zu lassen (was eh nicht geht), sondern Pöbeleien zu reduzieren. Damit wäre schon viel geholfen.

  6. Re: Was ist mit false positives?

    Autor: StaTiC2206 28.10.19 - 12:58

    Z101 schrieb:
    --------------------------------------------------------------------------------
    > Das nun ständig Leute im Chat (egal Spanier oder nicht) nun ständig das
    > Land Niger oder obskure Ortsschilder erwähnen, ist wohl eher
    > unwahrscheinlich, und wenn sie dann falsch gesperrt werden, können sie sich
    > ja beschweren.

    und dann geht das wie bei Facebook aus, dass man im besten Fall eine Ablehnung der Beschwerde bekommt. Die Leute welche 30 Tage Sperre bekommen haben weil sie einen Postillion-Artikel geteilt haben (während der Artikel selbst unbeanstandet blieb) können sicher ein Lied davon singen.

  7. Re: Was ist mit false positives?

    Autor: eidolon 28.10.19 - 13:24

    Postillon und Comicseiten sind immer am besten. Letztens hat der KI-Filter zugeschlagen, weil der Postillon ein Bild einer Hebamme mit Baby gepostet hat. Oder Anti-Nazi-Comics, die gesperrt werden, weil da was mit Nazis vorkommt.

    Schöne neue KI-Welt.

  8. Re: Was ist mit false positives?

    Autor: thecrew 28.10.19 - 13:25

    StaTiC2206 schrieb:
    --------------------------------------------------------------------------------
    > Z101 schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Das nun ständig Leute im Chat (egal Spanier oder nicht) nun ständig das
    > > Land Niger oder obskure Ortsschilder erwähnen, ist wohl eher
    > > unwahrscheinlich, und wenn sie dann falsch gesperrt werden, können sie
    > sich
    > > ja beschweren.
    >
    > und dann geht das wie bei Facebook aus, dass man im besten Fall eine
    > Ablehnung der Beschwerde bekommt. Die Leute welche 30 Tage Sperre bekommen
    > haben weil sie einen Postillion-Artikel geteilt haben (während der Artikel
    > selbst unbeanstandet blieb) können sicher ein Lied davon singen.

    Die Facebook KI ist eh die beste. Erkennt einen Röhren TV als Waffe und ein Playmobil Spielzeugschloß als Sexspielzeug (Wahrscheinlich wegen dem "Türmchen"). Beim dem TV kann ich es nicht mal sagen wie die Ki darauf kommt.

  9. Re: Was ist mit false positives?

    Autor: Nullmodem 28.10.19 - 13:53

    ZeldaFreak schrieb:
    --------------------------------------------------------------------------------
    > de.wikipedia.org
    > de.wikipedia.org
    > Es gibt auch Orte wo die Ortsschilder die Runde machen, aber da habe ich
    > spontan kein Wikipedia Artikel dazu gefunden.
    > Dann gibt es noch das Land Niger oder die Farbe Schwarz, aber auf spanisch.

    Ja, das ist in der Tat ein Problem. Man denke nur an die tausenden unschuldigen Spieler, die sich tagtäglich bei CS:GO anmelden, um sich dort lediglich über Britische Orte und Zentralafrikanische Länder auszutauschen. Wie gerne würde ich mich mit diesen Leuten unterhalten können, aber ich werde immer gesperrt und weiss nicht warum :-(


    Gaylord Nullmodem

  10. Re: Was ist mit false positives?

    Autor: BoMbY 28.10.19 - 14:09

    False Positives erwähnt man lieber nicht, denn die dürften hier wohl locker bei 25% liegen.

  11. Re: Was ist mit false positives?

    Autor: MrAnderson 28.10.19 - 15:10

    .... ist aber durchaus ein Problem.
    - So kann ich in NoManSky keine Pflanze mit "Kraut" benennen, weil das ein unzulässiger Begriff ist.
    - Gestern habe ich mein Eber-Pet im WoW Gildenchat als "Sau" bezeichnet ... X%$§!:D ... durfte ich nicht schreiben.
    - Im neuen ANNO hatte ich ein Schiff, das "Sumpfratte" hies, wollte es umbenenne, hab es mir dann anders überlegt. "Abbrechen" ging aber nicht mehr, denn es war ein falsches Wort (String) enthalten ... musste es dann doch umbenennen.

    Ob KIs das wesentlich besser machen, bleibt fraglich.

  12. Re: Was ist mit false positives?

    Autor: Hotohori 28.10.19 - 15:10

    Nur, dass das kein Wortfilter ist sondern eine trainierte KI.

  13. Re: Was ist mit false positives?

    Autor: eidolon 28.10.19 - 15:16

    Wie gut trainierte KIs sind, wenns um Sprache geht, sieht man ja jeden Tag bei FB usw.

    tumblr hatte auch mal versucht, mit KI Inhalte zu filtern. Und schon wurden Fotos mit Brezeln, Häusern und Gartenschläuchen gesperrt, weil "pornografischer Inhalt".

  14. Re: Was ist mit false positives?

    Autor: And3rgraund 28.10.19 - 15:18

    Die meisten in diesem Thread kennen nicht den Unterschied zwischen einer Stichwortsuche/Spamfilter und einer hier nicht näher umschriebenen "KI".

    Wenn es sich hier wirklich um eine KI handelt, dann sind zuverlässige Trefferquoten von 95% absolut kein Problem. Das ist kein Filter der nach "StaatSEXamen" oder "GAYlord" sucht.
    Die KI sucht in der Regel nach Mustern und zusammenhängen, die Menschen auf Grund der hohen Komplexität nicht mehr verstehen können und bildet daraus ein Modell was quasi eine Blackbox ist für den Entwickler.

    Um so einen Algorithmus zu erhalten werden verschiedenste und möglichst viele Daten benötigt, mit denen man sowas antrainiert was "gut" und was eher "böse" ist. Diese Daten müssen nicht nur Wörter und Sätze sein. Das können auch so Sachen sein wie getippte Zeichen/Minute oder die Länge der Nachrichten, die Anwendung bestimmter Buchstaben, Zahlen und Satzzeichen, Groß und Kleinschreibung usw. Vielleicht sogar der Username, Uhrzeit, Ort, Internetanbieter-/Geschwindigkeit, PC Performance, das aktuelle Wetter am Ort usw.... Alles das kann man einbeziehen und schauen ob das KI-Modell am Ende besser oder schlechter wird.

    Und ob die KI gut oder schlechter ist kann man auch einfach testen. Einfach der KI unbekannte Chat-Sätze reinhauen, so 1 Mio. Stück oder sowas und schauen was rauskommt. Dauert meistens nur Paar Sekunden bei der heutigen Rechenleistung. Und wenn das Wetter die Zuverlässigkeit gesteigert hat, dann scheint es wirklich wohl einen gewissen Zusammenhang zu geben ;)



    1 mal bearbeitet, zuletzt am 28.10.19 15:19 durch And3rgraund.

  15. Re: Was ist mit false positives?

    Autor: And3rgraund 28.10.19 - 15:22

    eidolon schrieb:
    --------------------------------------------------------------------------------
    > Wie gut trainierte KIs sind, wenns um Sprache geht, sieht man ja jeden Tag
    > bei FB usw.
    >
    > tumblr hatte auch mal versucht, mit KI Inhalte zu filtern. Und schon wurden
    > Fotos mit Brezeln, Häusern und Gartenschläuchen gesperrt, weil
    > "pornografischer Inhalt".

    Da wurden KIs schlecht trainiert oder übertrainiert um bestimmte Sachen zu erkennen. Bilder sind aber auch deutlich schwerer als der sehr begrenzte Umfang der Satzzeichen - selbst wenn man Schriftzeichen einbeziehen würde, die Anzahl der Variationen wäre endlich. Bei Bildern sind die Möglichkeiten der Darstellung und Zusammensetzung aber unendlich.

  16. Re: Was ist mit false positives?

    Autor: Hotohori 28.10.19 - 15:27

    And3rgraund schrieb:
    --------------------------------------------------------------------------------
    > eidolon schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Wie gut trainierte KIs sind, wenns um Sprache geht, sieht man ja jeden
    > Tag
    > > bei FB usw.
    > >
    > > tumblr hatte auch mal versucht, mit KI Inhalte zu filtern. Und schon
    > wurden
    > > Fotos mit Brezeln, Häusern und Gartenschläuchen gesperrt, weil
    > > "pornografischer Inhalt".
    >
    > Da wurden KIs schlecht trainiert oder übertrainiert um bestimmte Sachen zu
    > erkennen. Bilder sind aber auch deutlich schwerer als der sehr begrenzte
    > Umfang der Satzzeichen - selbst wenn man Schriftzeichen einbeziehen würde,
    > die Anzahl der Variationen wäre endlich. Bei Bildern sind die Möglichkeiten
    > der Darstellung und Zusammensetzung aber unendlich.

    Eben, ist jetzt nicht das erste mal hier in den Kommentaren, dass KI Kritiker mit Bildern ankommen, hier geht es aber rein um Text, etwas völlig anderes.

  17. Re: Was ist mit false positives?

    Autor: eidolon 29.10.19 - 11:18

    And3rgraund schrieb:
    --------------------------------------------------------------------------------
    > erkennen. Bilder sind aber auch deutlich schwerer als der sehr begrenzte
    > Umfang der Satzzeichen

    Bilder sind einfacher, weil man bei Sätzen die genaue Bedeutung und den Gesamtzusammenhang wissen muss. Einfach nur Wörter erkennen reicht halt nicht.

  18. Re: Was ist mit false positives?

    Autor: And3rgraund 30.10.19 - 14:47

    eidolon schrieb:
    --------------------------------------------------------------------------------
    > And3rgraund schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > erkennen. Bilder sind aber auch deutlich schwerer als der sehr begrenzte
    > > Umfang der Satzzeichen
    >
    > Bilder sind einfacher, weil man bei Sätzen die genaue Bedeutung und den
    > Gesamtzusammenhang wissen muss. Einfach nur Wörter erkennen reicht halt
    > nicht.

    Die Bedeutung und der Gesamtzusammenhang wird hier nicht wie ein "Mensch" verstanden, also an Hand von Regeln, Bedeutung, Grammatik oder anderen uns greifbaren Konzepten.

    Laienhaft ausgedrückt werden die Wörter und Kombinationen, die Daten drum herum - "Big data" also - in ein neuronales Netzwerk gekippt und damit dieses trainiert. Am Ende kommt eine Blackbox raus, die wir nicht mehr verstehen können, die aber ohne Probleme 90%, 95% oder mehr Fälle korrekt erkennen kann und ggf. in verschiedenen Abstufungen.

    Bei der Datenaufbereitung, was der Großteil beim erstellen einer "KI-Algorithmus" ist, ist es viel einfacher Wörter, Sätze und Zahlen aufzubereiten als Bilder - das ganz ganz grob zu dieser ganzen Thematik, die man deutlich umfangreicher diskutieren könnte.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. BEKO TECHNOLOGIES GMBH, Neuss
  2. AZTEKA Consulting GmbH, Freiburg, Mannheim
  3. SCHOTT AG, Mainz
  4. B.i.Team Gesellschaft für Softwareberatung mbH, Berlin, Karlsruhe, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Mobile-Angebote
  1. (u. a. Galaxy S21 mit Galaxy Buds Pro In-Ears und Galaxy Smart Tag für 849€)
  2. 189,99€ (Bestpreis)
  3. 279,99€ (Bestpreis)


Haben wir etwas übersehen?

E-Mail an news@golem.de