Tensorflow + Keras und LIME

[Oviing]

Gerade für Anfänger eignet sich meiner Meinung nach eher Tensorflow mit Keras. So muss man zum Beispiel nicht die Trainingsloop selber schreiben.
Blackbox würde ich nicht mehr so unterschreiben. LIME zum Beispiel gibt sehr gute Einblicke welche Features für die Klassifikation wichtig sind

[Christopher Schultes]

Denke auch das gerade Keras am Anfang schon sehr hilfreich ist. Ich habe mit Tensorflow angefangen und bin mittlerweile zu PyTorch gewechselt. Wie sind deine Erfahrungen mit PyTorch? Durch Attentions (verwendet LIME ja auch) gibt es natürlich die Möglichkeit zu sehen warum das Model so entschieden hat. Aber wenn das Wort dann z.B. klein geschrieben ist kann das Ergebnis wieder anders aussehen.

[Oviing]

Wenn es geht verwende ich Tensorflow aber letztendlich ist es kein muss. Liegt auch daran das ich mit Tensorflow bisher mehr gemacht habe. Bei LIME oder auch anderen Techniken ist eine saubere Prepropcessing Pipeline wichtig. Da ich bei Text nur Englisch eigentlich habe, sind Probleme wie Groß und Kleinschreibung für mich eher nicht so relevant. Schwer ist aber Slang und Dialekt, gerade bei Social Media Daten

[Christopher Schultes]

Preprocessing ist mit das wichtigste! Wenn du Social Media Daten hast, wie machst du es z.B. mit Emojis? Nimmst du die Sonderzeichen raus oder werden mit trainiert?