Wie kann etwas den Verstand verlieren …

[wolfman22]

… wenn es gar keinen hat - sondern nur Wahrscheinlichkeiten für das nächste Wort ermittelt.
🤔

lg
Wolfgang

[MrAndersenson]

Gute berechtigte Frage, ymmd .)

Aber sorry, die Antwort könnte die Bevölkerung verunsichern.



1 mal bearbeitet, zuletzt am 22.02.24 07:47 durch MrAndersenson.

[Golg]

Wie kann etwas Verstand haben, was nur chemische neuronale Transmitter-Signale ist?
Das Zauberwort lautet: Emergenz

[DeMar]

>Wie kann etwas Verstand haben, was nur chemische neuronale Transmitter-Signale ist?
>Das Zauberwort lautet: Emergenz
Treffer schiff versenkt

[frnz]

nein, nicht versenkt.
Die billige Nummer funktioniert nur, wenn man zwischen Mensch und Maschine nicht unterscheidet.

[Golg]

frnz schrieb:
--------------------------------------------------------------------------------
> nein, nicht versenkt.
> Die billige Nummer funktioniert nur, wenn man zwischen Mensch und Maschine
> nicht unterscheidet.

Erstens, sind Menschen zu 100% Maschinen. Und es nicht nur biochemische Prozesse, sondern tatsächlich auch mechanische wie beim Komplementsystem bei denen eine Kaskade von Enzymen Erreger ausser Gefecht setzen können. Wir sind vollfunktionsfähige Maschinen.

Zweitens, selbst WENN du zwischen Mensch und Maschine unterscheiden willst, weil du dem Menschen irgendetwas magisches oder religiöses zusprichst, ändert das am Prinzip nichts.
Auch Blockchain und das Internet sind emergente Technologien.

Ein komplexes System das aus vielen einfachen Dingen besteht, entfaltet neue Eigenschaften die aus denen der Einzelteile hinaus geht.
Emergenz ist ein fundamentales Prinzip.
Der Autor hier versucht zu argumentieren, dass das System eine Eigenschaft nicht haben kann, weil die Einzelteile sie nicht haben. Diese Argumentation ist aber komplett falsch.

Es gibt überall im Universum viele Beispiele für Emeregenz. Das hat nichts mit "Mensch" zu tun, Das war nur ein Beispiel.
Protonen bekommen emergente Eigenschaften wie Ladungen, obwohl die Quarks diese Eigenschaften gar nicht erst besitzen.
Die kinetische Energie von Teilchen bilden eine neue Eigenschaft: Temperatur.
Usw. usw.

Du kannst nicht hergehen und behaupten, die Einzelteile sind doof, also ist auch das Ganze doof. Das ist falsch.



1 mal bearbeitet, zuletzt am 22.02.24 11:38 durch Golg.

[Stergro]

Um das nächste Wort so zuverlässig wie GPT-4 vorhersagen zu können, braucht man aber schon ein ziemlich genaues Modell der Welt oder zumindest ein Modell wie Text funktioniert. Das ist deutlich mehr als einfache Statistik. Die Struktur der Neuronen bildet die Logik unserer Welt ab.

Am spannendsten finde ich "emergente" Fähigkeiten, die Sprachmodelle plötzlich bekommen wenn man größere Modelle trainiert, ohne dass irgendjemand das explizit in die Daten eingefügt hätte. Zum Beispiel wissen große Sprachmodelle, wenn sie etwas nicht wissen, während kleine Modelle einfach irgendetwas halluzinieren. Diese Fähigkeit hat niemand vorhergesehen, sie ist einfach ab einer bestimmten Größe der neuronalen Netze aufgetaucht.



2 mal bearbeitet, zuletzt am 22.02.24 11:39 durch Stergro.

[Cerdo]

wolfman22 schrieb:
--------------------------------------------------------------------------------
> wenn es gar keinen hat - sondern nur Wahrscheinlichkeiten für das
> nächste Wort ermittelt.

Machen Menschen das anders?

[frnz]

haha, spar Dir die Mühe.

Emergenz ist ein Denkmodell, wo sage ich denn, dass es falsch ist?
Für mich ist es eine Denkbremse, die bei einigen scheinbar schon funktioniert, sonst würden sie nicht nicht sagen, Menschen sind Maschinen.

Menschen sind keine Maschinen, Punkt. Du kannst Dich ja zu den Maschinen legen, viel Spaß.

[Golg]

frnz schrieb:
--------------------------------------------------------------------------------
> haha, spar Dir die Mühe.
>
> Emergenz ist ein Denkmodell, wo sage ich denn, dass es falsch ist?
> Für mich ist es eine Denkbremse, die bei einigen scheinbar schon
> funktioniert, sonst würden sie nicht nicht sagen, Menschen sind Maschinen.
>
> Menschen sind keine Maschinen, Punkt. Du kannst Dich ja zu den Maschinen
> legen, viel Spaß.

Hä?

[Gunslinger Gary]

> Menschen sind keine Maschinen, Punkt. Du kannst Dich ja zu den Maschinen legen, viel Spaß.
Organische Maschinen sind auch Maschinen. Punkt.

Verifizierter Top 500 Poster!

Signatur von quineloe geklaut!

[VirusBlackBox]

Gunslinger Gary schrieb:
--------------------------------------------------------------------------------
> Organische Maschinen sind auch Maschinen. Punkt.

"Maschinen sind immer Produkte des Menschen."
Wikipedia ^^

Biomechanik macht Menschen nicht zu Maschinen, auch wenn sich mancher für eine hält.



1 mal bearbeitet, zuletzt am 22.02.24 20:50 durch VirusBlackBox.

[Potrimpo]

Das ist ja wie bei der Fortpflanzung ;)

[stryba123]

Es ist ja nichtmal so, das ChatGPT Worte vorhersagt. Es sagt Token hervor, quasi Zeichenschnipsel und das genau nach einem "einfachen" statistischen Modell. Da ist nichts mit Wissen, Verstehen etc. auch wenn es gerne so verkauft wird, bzw. es so empfunden wird, weil die Ergebnisse überwiegend überzeugend wirken. Fakt ist aber, ChatGPT versteht nichts von dem, was es vorgesetzt bekommt. Es "weiß" auch nicht, ob es was nicht weiß, weil es kein Wissen hat.

[stryba123]

Es ist ja nicht mal so, das ChatGPT Worte vorhersagt. Es sagt Token hervor, quasi Zeichenschnipsel und das genau nach einem "einfachen" statistischen Modell. Da ist nichts mit Wissen, Verstehen etc. auch wenn es gerne so verkauft wird, bzw. es so empfunden wird, weil die Ergebnisse überwiegend überzeugend wirken. Fakt ist aber, ChatGPT versteht nichts von dem, was es vorgesetzt bekommt. Es "weiß" auch nicht, ob es was nicht weiß, weil es kein Wissen hat.

[frnz]

... einige machen das. Wenn man das nicht merkt, wird es schwierig.

[Golg]

stryba123 schrieb:
--------------------------------------------------------------------------------
> Es ist ja nichtmal so, das ChatGPT Worte vorhersagt. Es sagt Token hervor,
> quasi Zeichenschnipsel und das genau nach einem "einfachen" statistischen
> Modell. Da ist nichts mit Wissen, Verstehen etc. auch wenn es gerne so
> verkauft wird, bzw. es so empfunden wird, weil die Ergebnisse überwiegend
> überzeugend wirken. Fakt ist aber, ChatGPT versteht nichts von dem, was es
> vorgesetzt bekommt. Es "weiß" auch nicht, ob es was nicht weiß, weil es
> kein Wissen hat.

Kein Fakt, reine Mutmaßung.
Mathematisch ist "Verstehen" das Extrahieren von Mustern aus Signalen und diese dann mit gespeicherten Muster abgleichen. Ein Muster ist ein Teilgraph.
Je mehr Muster abgeglichen werden können, umso größer das Verständnis.

Schreibe eine Aussage wie "Ein Apfel fällt vom Baum" und lass dir eine Liste geben, welche Aussagen die KI alles versteht. Die KI wird sogar an passende Metaphern denken.
Für Interpretationen, Metaphern und Analogien von unbekannten Texten ist Verständnis unumgänglich.

[Golg]

VirusBlackBox schrieb:
--------------------------------------------------------------------------------
> Gunslinger Gary schrieb:
> ---------------------------------------------------------------------------
> -----
> > Organische Maschinen sind auch Maschinen. Punkt.
>
> "Maschinen sind immer Produkte des Menschen."
> Wikipedia ^^
>
> Biomechanik macht Menschen nicht zu Maschinen, auch wenn sich mancher für
> eine hält.

Sind Babies auch.

[stryba123]

Golg schrieb:
--------------------------------------------------------------------------------
> stryba123 schrieb:
> ---------------------------------------------------------------------------
> -----
> > Es ist ja nichtmal so, das ChatGPT Worte vorhersagt. Es sagt Token
> hervor,
> > quasi Zeichenschnipsel und das genau nach einem "einfachen"
> statistischen
> > Modell. Da ist nichts mit Wissen, Verstehen etc. auch wenn es gerne so
> > verkauft wird, bzw. es so empfunden wird, weil die Ergebnisse
> überwiegend
> > überzeugend wirken. Fakt ist aber, ChatGPT versteht nichts von dem, was
> es
> > vorgesetzt bekommt. Es "weiß" auch nicht, ob es was nicht weiß, weil es
> > kein Wissen hat.
>
> Kein Fakt, reine Mutmaßung.
> Mathematisch ist "Verstehen" das Extrahieren von Mustern aus Signalen und
> diese dann mit gespeicherten Muster abgleichen. Ein Muster ist ein
> Teilgraph.
> Je mehr Muster abgeglichen werden können, umso größer das Verständnis.
>

Hier liegt mMn der Trugschluss, Mustererkennung hat erstmal nichts mit Intelligenz oder Verstehen zu tun. Es dient in diesem Fall nur zur Einordnung eines Tokenvektors im statistischen Modell.

> Schreibe eine Aussage wie "Ein Apfel fällt vom Baum" und lass dir eine
> Liste geben, welche Aussagen die KI alles versteht. Die KI wird sogar an
> passende Metaphern denken.
> Für Interpretationen, Metaphern und Analogien von unbekannten Texten ist
> Verständnis unumgänglich.

Nicht wirklich. Was passiert ist, dass Tokens bzw. Tokenlisten durch ihre Eigenschaftsvektoren eine Ähnlichkeit zueinander definieren. Diese wird verwendet um neue Tokenlisten zu erstellen, bzw. eigentlich die Tokenliste basiserend auf der Wahrscheinlichkeit (gepaart mit etwas randomness) erweitert wird.

Mir reicht ein kleines Beispiel wie dieses hier, in dem ich ChatGPT eine denkbar einfache Aufgabe "8119+7881-16001+1" gegeben habe. Resultat: "8119 + 7881 - 16001 + 1 equals -1."
Warum ist das so. Genau, weil die Wahrscheinlichkeit im LLM für das Token -1 höher war als für 0 und weil ein LLM keinerlei Notion von Mathematik oder Rechenoperatoren/Axiomen etc. hat. Null.