1. Foren
  2. Kommentare
  3. Wissenschaft-Forum
  4. Alle Kommentare zum Artikel
  5. › Zwischentöne: Software…

Trefferquote

Neue Foren im Freiraum! Raumfahrt und freie Software haben jetzt einen Platz, die Games tummeln sich jetzt alle in einem Forum.
  1. Thema

Neues Thema Ansicht wechseln


  1. Trefferquote

    Autor: blablup 20.05.10 - 20:59

    Im Artikel steht, 77% der ironischen Saetze DIE ERKANNT WERDEN sind auch wirklich ironisch gemeint. Seh ich das richtig ?
    Aber wieviele ironische Saetze gibts denn absolut und wieviele davon hat das programm gefunden ?

  2. Re: Trefferquote

    Autor: statistiker 20.05.10 - 21:29

    keine! steht doch im text: aus 66000 rezensionen wurden 80 sätze von 3 testern als sarkastisch erkannt, anschliessend das programm darauf angelernt und zum schluss die 66000 rezensionen OHNE die sarkastischen sätze wieder zur prüfung hergenommen... steht so im text...

  3. Re: Trefferquote

    Autor: blablup 20.05.10 - 23:16

    Hmm.. ich hab das so verstanden, dass sie halt 80 Saetze zum training genommen haben, was aber nicht der Menge aller sarkastischen saetze in den rezessionen entspricht. Davon gibts viel mehr, und ein paar davon hat das programm dann nach dem Training gefunden.

  4. Re: Trefferquote

    Autor: ABE 21.05.10 - 09:40

    Ich finde 77% extrem gut. Das ist deutlich mehr als ein durchschnittlicher Computerforenleser schafft.

  5. Re: Trefferquote

    Autor: dfgdfg 21.05.10 - 10:13

    >Ich finde 77% extrem gut.

    Wie der TE schon fragt, dafür müßte man wissen, wie viele sarkastische Sätze es wirklich gab, und wie viele dann vom Programm als sarkastische erkannt wurden.

    Beispiel: Wenn es 10 000 sarkastische Kommentare gab, und das Programm nur 4 Sätze als sarkastisch erkannt hat, wovon noch einer gar nicht sarkastisch gemeint war, wäre die Erkennungsquote so wie sie hier definiert ist trotzdem 75%, weil ja 3 Sätze richtig klassifiziert wurden. Von einem guten ergebniss könnte man dann wohl trotzdem nicht sprechen

  6. Re: Trefferquote

    Autor: Flying Circus 21.05.10 - 10:58

    dfgdfg schrieb:
    --------------------------------------------------------------------------------
    > Wie der TE schon fragt, dafür müßte man wissen, wie viele
    > sarkastische Sätze es wirklich gab, und wie viele dann vom
    > Programm als sarkastische erkannt wurden.

    Steht doch im Artikel, wenn auch verklausuliert.

    Da steht, daß die 77% der Einstufungen korrekt waren. Der Einstufungen. D.h. in 77% der Fälle - hier: von 66.000 Einträgen - entsprach die Beurteilung (entweder "sarkastisch gemeint" oder "nicht sarkastisch gemeint") den Tatsachen.

    Und 77% ist statistisch signifikant, bei der Größe der Stichprobe von 66.000 Einträgen.

  7. Re: Trefferquote

    Autor: Echt mal 21.05.10 - 12:03

    Zum einen lese ich bei Golem nirgendwo, dass es nur zwei Ergebnisse (sarkastisch/nicht sarkastisch) für einen Satz geben kann und zum anderen liefert die Software laut Text doch eigentlich nur eine Aussage, ob etwas sarkastisch gemeint sei. Die nicht als sarkastische Texte erkannten Stellen flossen vermutlich gar nicht in das Ergebnis ein, oder?

  8. Re: Trefferquote

    Autor: ickeooch 21.05.10 - 13:17

    Leute, es bringt doch nichts in irgendwelche Prozentzahlen etwas hineinzudeuten. Lest doch einfach den Originalartikel, da stehts drin wie es gemeint ist, inklusive Angaben zu false-positive etc. Da gibts nichts zu deuten!

  9. Re: Trefferquote

    Autor: Echt mal 21.05.10 - 13:28

    ickeooch schrieb:
    --------------------------------------------------------------------------------
    > Leute, es bringt doch nichts in irgendwelche Prozentzahlen etwas
    > hineinzudeuten. Lest doch einfach den Originalartikel, da stehts drin wie
    > es gemeint ist, inklusive Angaben zu false-positive etc. Da gibts nichts zu
    > deuten!

    Nein, es ist unnötig, den Originaltext zu lesen. Es reichen immer Zitate oder Kommentare, um sich eine Meinung zu bilden, die ausreicht, um dort mitzureden.

  10. Re: Trefferquote

    Autor: Prypjat 21.05.10 - 14:18

    Echt mal schrieb:
    --------------------------------------------------------------------------------
    > Nein, es ist unnötig, den Originaltext zu lesen. Es reichen immer Zitate
    > oder Kommentare, um sich eine Meinung zu bilden, die ausreicht, um dort
    > mitzureden.

    Alarm! Sarkasmus entdeckt! Tatütata!
    Trefferquote 100%

  11. Re: Trefferquote

    Autor: GodsBoss 21.05.10 - 20:26

    > > Leute, es bringt doch nichts in irgendwelche Prozentzahlen etwas
    > > hineinzudeuten. Lest doch einfach den Originalartikel, da stehts drin
    > wie
    > > es gemeint ist, inklusive Angaben zu false-positive etc. Da gibts nichts
    > zu
    > > deuten!
    >
    > Nein, es ist unnötig, den Originaltext zu lesen. Es reichen immer Zitate
    > oder Kommentare, um sich eine Meinung zu bilden, die ausreicht, um dort
    > mitzureden.

    Vollkommene Unvoreingenommenheit erreicht man nur, wenn man Artikel und Überschrift ausblendet und direkt Forenbeiträge verfasst. Natürlich, ohne die anderen Beiträge gelesen zu haben, sonst würde man nur beeinflusst. Nur auf Grundlage dieser Vorgehensweise kann das Wissen der Menschheit vermehrt und die Zukunft gesichert werden.

    Reden ist Silber, Schweigen ist Gold, meine Ausführungen sind Platin.

  12. Re: Trefferquote

    Autor: toboytoby 22.05.10 - 11:07

    Flying Circus schrieb:
    --------------------------------------------------------------------------------
    > dfgdfg schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Wie der TE schon fragt, dafür müßte man wissen, wie viele
    > > sarkastische Sätze es wirklich gab, und wie viele dann vom
    > > Programm als sarkastische erkannt wurden.
    >
    > Steht doch im Artikel, wenn auch verklausuliert.
    >
    > Da steht, daß die 77% der Einstufungen korrekt waren. Der Einstufungen.
    > D.h. in 77% der Fälle - hier: von 66.000 Einträgen - entsprach die
    > Beurteilung (entweder "sarkastisch gemeint" oder "nicht sarkastisch
    > gemeint") den Tatsachen.
    >
    > Und 77% ist statistisch signifikant, bei der Größe der Stichprobe von
    > 66.000 Einträgen.

    Wenn man davon ausgeht, dass in jeder 5. Beurteilung Sarkasmus vorhanden ist, dann erreiche ich gar eine 80%ige Trefferquote, wenn ich einfach alle Posts als Nichtsarkastisch werte.

    Ich sollte einen Wissenschaftlichen Artikel über meinen Sarkamus-finde-Algorithmus schreiben. Immerhin besser als der 77%ige

  13. Re: Trefferquote

    Autor: Klassifikationsspezialist 22.05.10 - 13:54

    Wenn der Goldstandard nur 80 Sätze betrug, dann hat die Erkennngsrate von "77%" keine Aussagekraft. Berechnet mal ein Konfidenzintervall ...
    Auch bei gleicher Klassenwahrscheinlichkeit müsste das riesig sein.

    Ach bei teilüberwachtem Lernen wären 80 Lerndaten sehr wenig ...

  14. Re: Trefferquote

    Autor: tramd 22.05.10 - 14:45

    GodsBoss schrieb:

    > Vollkommene Unvoreingenommenheit erreicht man nur, wenn man Artikel und
    > Überschrift ausblendet und direkt Forenbeiträge verfasst. Natürlich, ohne
    > die anderen Beiträge gelesen zu haben, sonst würde man nur beeinflusst. Nur
    > auf Grundlage dieser Vorgehensweise kann das Wissen der Menschheit vermehrt
    > und die Zukunft gesichert werden.


    In der Überschrift steht doch auch schon alles wichtige.
    Wozu also den langweiligen Artikel lesen?

    Und wenn - lieber direkt auf das original Paper weil die Zusammenfassungen beil Golem oft fehler enthalten oder andere Interpretationen als vom ursprünglichen Autor gewollt zulassen.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Senior Spezialist IT (m/w/d) - Informationssicherheit und Datenschutz
    RATIONAL Aktiengesellschaft, Landsberg am Lech
  2. Mitarbeiter Support Labor - SAP QM / LIMS (m/w/d)
    Sachsenmilch Leppersdorf GmbH, Wachau
  3. Digital Talents (m/w/d)
    Bundeskriminalamt, Wiesbaden, Berlin, Meckenheim
  4. IT - Sicherheit und Systemadministrator (m/w/d)
    ADAC Hessen-Thüringen e.V., Frankfurt am Main

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. 499,99€
  2. (u. a. Ryzen 5 5600X 358,03€)


Haben wir etwas übersehen?

E-Mail an news@golem.de