ACHTUNG! So funktioniert ChatGPT! (Deep Dive)
2023 ж. 1 Нау.
7 027 Рет қаралды
In dem Video erkläre ich die Funktionsweise von sogenannten Large Language Models (LLMs) wie ChatGPT. Am Ende verrate ich ein Geheimnis dieser Modelle...
Themen in dem Video u.a.:
- Natural Language Processing (NLP)
- Tokens und Word Embedding
- Attention und Self-Attention
- Next-Word Prediction
Link zum besprochenen Blogpost:
- blog.ephorie.de/attention-wha...
Playlist zu ChatGPT:
- • ChatGPT
Playlist zu Neuronalen Netzen (Deep Learning):
- • Neuronale Netze (Deep ...
#chatgpt #künstlicheintelligenz #chatbot
Auch sehenswert das neue Video vom Kollegen Rieck zum Thema: kzhead.info/sun/lreGYtZvb5ahrGw/bejne.html
Danke für das ernüchternde Video :) Es war eine harte Nacht und bin froh ein nettes Gesicht zu sehen, dass Komplexes so schön einfach begreiflich machen kann^^ Danke dafür, auch wenn ich es mir sicherlich trotzdem nochmal anschauen werden muss.
Die gute alte Taktik "Versuch und Irrtum" angewendet. Danke für Ihre Erklärung.
Der Heureka Moment gehörte immer zur Wissenschaft dazu.
Das war der bisher beste Beitrag, den ich zu den Tiefen von chatgpt gesehen habe. Vielen Dank )
Was für ein tolles Lob, vielen Dank!
Sehr spannendes Video. Was ich interessant fände: Wie wurde ChatGPT auf die Ausführung von Tasks trainiert und designt?
Sehr gut und bitte noch mehr zum Thema. Habe an anderer Stelle gehört, dass auch sehr viel "Handarbeit" nötig war.
sehr interessantes Video. Aber gerne noch ein zusätzliches längeres dazu, vielleicht mit einem stark vereinfachten Beispiel wie ein NN am Ende einen kurzen Satz ausspuckt. (Love is wonderful war hier der Input, oder?) Habe ihre Reihe über NNs auch gesehen, waren ebenfalls sehr interessant! Danke für die Videos!
Guter Überblick, hat mir sehr gut gefallen.
Danke!
Sehr interessant und gut erklärt .
Vielen Dank!
Also ich muss ganz ehrlich sagen, dass mich bis jetzt noch kein einziges ihrer Videos enttäuscht hat. Die Themen sind immer sehr interessant und sie vermitteln die Inhalte sehr verständlich. Ich bin immer wieder darüber erstaunt, wie sie es schaffen komplexe Themen in nur etwa 10-15 Minuten zu erklären. Zudem braucht man meist nicht einmal Vorwissen bezüglich Statistik/Machine Learning, um ihren Erläuterungen folgen zu können. Außerdem merkt man auch wirklich, wie sie Spaß daran haben diese Videos für uns zu produzieren. Vielen Dank für ihre Bemühungen!!! ❤
Vielen Dank für das tolle Feedback! Das ist ein echter Ansporn, den Kanal weiter auszubauen.
Sehr gute Flughöhe. Vielen Dank für den tollen Content
Vielen Dank für das tolle Feedback!
Sehr gut erklärt 👍🏻 Macht Lust auf mehr, gibt es da empfehlenswerte Literatur?
Vielen Dank! Es gibt eine ganze Menge, allerdings oft sehr technisch. Ich versuche in meinen Videos die Sachen immer so zu erklären, dass man es, auch wenn man kein Experte ist, versteht.
Spannendes Thema! Seht gut erklärt mit einem tollen Beispiel, nun kann ich mir besser vorstellen wie so ein LLM funktioniert. Danke! Verändern sich die Antworten von ChatGPT über einen längeren Zeitraum?
Vielen Dank! Ich hatte mir noch überlegt, da drauf einzugehen, aber es wäre dann zu lang geworden. Vielleicht schauen Sie sich auch noch einmal das Intuitionsvideo an: kzhead.info/sun/aZyAY9iHjpt6p2w/bejne.html. Es gibt jetzt einen weiteren Parameter, der sich temperature nennt. Wenn dieser 0 ist, wird wirklich nur das jeweils wahrscheinlichste Wort genommen, das macht die Sache deterministisch, allerdings oft auch langweilig. Je höher dieser Wert gedreht wird, desto kreativer werden die Texte und jedesmal kommt etwas anderes heraus. Auch bei ChatGPT werden Sie jedesmal etwas andere Antworten erhalten.
If the human brain were so simple that we could understand it, we would be so simple that we couldn’t. Emerson M. Pugh Es wäre interessant zu wissen, ob es uns in der Theorie überhaupt möglich wäre, LLM´s bzw. generell größere NN zu verstehen. Erstens ist unsere Denkweise nicht dafür gemacht und hinzu kommt, dass wir hier schon teilweise menschliches Niveau erreicht haben, wo die Hypothese des Zitats (wenn richtig) oben greifen würde. Tolles Video! 😄 Finde es auch irgendwie toll, die beispiele mit simplen R Codes darzustellen. Glaube nicht, dass das der Großteil der Zuschauen versteht, aber es entmystifizieren die Themen rund um Data Science und AI - und das ist nur positiv!
Alles verstanden, super erklärt. Ich wünschte, meine Professoren (Physik + Informatik) hätten damals auch so gut erklären können. Vielen lieben Dank dafür.
Vielen Dank für das tolle Feedback!
am ende kommts eh drauf an, dass du genug Übungsaufgaben durchgegangen bist.
Ich stelle mir es es bisschen wie Schachprogramme vor. Es werden möglicherweise extrem viele Zufallsgeneratoren gestartet und die Ergebnisse optimiert. Ich habe vor 30 Jahren mal ein Programm in Basic geschrieben. Es löste die 9*9 Zahlenrätzel. Wenn logische Schlüsse nicht mehr klappten, probierte das Programm theoretische Lösungen aus und dauerte manchmal 20 Minuten mit hunderten Durchläufen. Jahre später funktionierte es noch, aber ich habe keine Ahnung warum.
Mir fehlt, dass da zig zusätzliche Mechanismen eingebaut sein müssen, denn dass ChatGPT Zahlen multiplizieren oder (ein wenig) Schach spielen kann oder ein Wort mit sieben Buchstaben das mit B beginnt benennen kann hat nichts mit Texten aus dem Internet zu tun die statistisch analysiert wurden sondern muss explizit einprogrammiert worden sein.
Einfach ChatGPT fragen und erklären lassen, warum und wie genau es funktioniert :)
"Die Ingenieure wissen auch nicht mehr so genau was da so drin steht..." Erinnert mich irgendwie an meine intuitive Anfangszeit als Entwickler. Die Ideen waren besser als die Ausführung. Dann aber gilt man als kein guter Entwickler. Hmm...
Vielleicht sollte man ChatGPT einmal selbst fragen "Kannst Du an einem verständlichen Beispiel erklären, wie Deine innere Funktionsweise ist ?"
Voila: "Als KI-Modell kann ich nicht behaupten, dass ich eine "innere Funktionsweise" habe, die direkt mit menschlichen Erfahrungen und Emotionen vergleichbar ist. Ich kann jedoch erklären, wie ich dazu programmiert wurde, um menschenähnliche Aufgaben zu erledigen. Ich wurde mit großen Mengen an Texten und Daten trainiert, um ein Verständnis für Sprache und menschliches Wissen zu entwickeln. Dieses Wissen wird in Form von mathematischen Modellen und Algorithmen organisiert, die es mir ermöglichen, eine Vielzahl von Aufgaben durchzuführen, wie z.B. Textverarbeitung, Übersetzung, Erkennung von Bildern und vieles mehr. Konkret funktioniert meine innere Funktionsweise folgendermaßen: Wenn Sie mir eine Frage stellen, analysiere ich den Text, den Sie mir geben, um zu verstehen, was Sie wissen möchten. Dann durchsuche ich meine Datenbank nach relevanten Informationen und generiere eine Antwort, indem ich meine Sprachmodelle und Algorithmen nutze, um den am besten geeigneten Text zu erzeugen. Das ist in etwa vergleichbar mit einem Lexikon oder einer Enzyklopädie, aber mit dem Unterschied, dass ich in der Lage bin, natürlichere Antworten zu geben, die auf dem Kontext und der Intention der Frage basieren."
Love kann Nomen und Verb sein. Hm ;)
Stimmt, ist ja auch nur ein illustratives Beispiel!
@@vonjd Immer diese Linguisten ;) Würde ein LLM das dann als zwei Elemente mit verschiedenen Eigenschaften erkennen? Also sozusagen love (1) und love (2)? Das Ding sollte ja mit Homonymen/Homographen umgehen können, bei Spracherkennung auch mit Homophonen...
Ja, das ist für diese Systeme kein Problem, habe direkt mal ChatGPT gefragt "Explain the different grammatical usage of love in these two sentences: "I love you" and "love is a bitch"" Die Antwort: In the first sentence, "I love you," "love" is a verb that expresses a strong feeling of affection and attachment towards another person. It is used as a transitive verb to describe the action of loving someone. The subject "I" is the person who feels the emotion of love towards the object "you." In the second sentence, "love is a bitch," "love" is used as a noun, and it refers to the concept or idea of love. The sentence is using the expression "is a bitch" as an idiomatic expression to convey a negative sentiment towards love. In this context, "love" is not being used as an action or feeling but as a concept that can cause difficulty or hardship. Overall, the two sentences use the word "love" in different grammatical roles and contexts to convey different meanings and emotions.
@@vonjdIch frag mich dennoch, wie das intern repräsetiert wird, bei Bildgeneratoren hatte ich verstanden, dass die einfach das Bild in eine Reihe von Pixeln zerlegen (sozusagen auf eine Dimension bringen) und das dann eben durch ein typisches Gitter jagen, obwohl, das ich glaub ich eher für dei BIlderkennung, oder? Hm, komplex ;)
Moin Herr Professor. Danke das haben sie super erklärt. Frage: Wir reden doch immer alle von Energie/Strom sparen. Wieviel kw´s Strom braucht den ChatGPT.? Und funktioniert der "Zauber" auch dann noch wenn kein Strom mehr fließt. Denke das an den Science Fiction Film "Odyssee im Weltall" und an die Maschine Hell. Die ließ sich ja auch nicht mehr abschalten. Oder an das Ende des Films "Her" Wir haben im Deutschunterricht, vor 40 Jahren, "Die Physiker" besprochen. Ein Satz ist hängengeblieben: "Was einmal gedacht worden ist, kann nicht mehr zurückgenommen werden." In dem Sinne bin ich sehr gespannt, wie sich die KI/AI in den nächsten 5 Jahren entwickeln wird. Denn wir Menschwesen sind ja darauf ausgelegt linear zu denken. Doch was im Bereich KI/AI gerade passiert findet ja mindestens in 10er Potenzen statt. Gruß Peter .