Wir Würfeln Wörter! So funktioniert ChatGPT! (Intuition)
2022 ж. 21 Жел.
29 882 Рет қаралды
In dem Video erkläre ich intuitiv die Funktionsweise von sogenannten Large Language Models (LLMs) wie ChatGPT.
Link zum besprochenen Blogpost:
- blog.ephorie.de/create-texts-...
Wenn Ihr noch tiefer in die Funktionsweise von ChatGPT eintauchen wollt, guckt euch mein neues Video dazu an:
- • ACHTUNG! So funktionie...
Playlist zu ChatGPT:
- • ChatGPT
Playlist zu Neuronalen Netzen (Deep Learning):
- • Neuronale Netze (Deep ...
#chatgpt #künstlicheintelligenz #chatbot
Wenn Ihr noch tiefer in die Funktionsweise von ChatGPT eintauchen wollt, guckt euch mein neues Video dazu an: kzhead.info/sun/ZdZ6f86DnZ9tdKs/bejne.html
Gute Bereicherung der Kanal gemeinsam mit Prof. Christian Rieck. Gut, dass auch Akademiker immer mehr auf KZhead machen!
Vielen Dank! Leider noch deutlich weniger Reichweite als der Kollege...
@@vonjd Der Anfang ist immer steinig bei KZhead. ABER mein Tipp wäre, auch hier Daten zu nutzen, um dem Glück auf die Sprünge zu helfen! :) Die Leute interessiert aktuell ChatGPT. Also mehr Content zu ChatGPT. In 6 Monaten wird es ein anderes Thema in diesem Umfeld sein. Der Kollege Rieck hat erst an Schwung gewonnen, als er begonnen hat, hochaktuelle Themen mit seinem Fachgebiet zu verknüpfen. Das fände ich auch bei Ihrem Fachgebiet sehr interessant!
Und eine Instant-Wachstumsstrategie sind auch Interviews. Sie sprechen also zB. mit Herrn Rieck 2 Stunden lang über diverse, interessante KI-Themen, die möglichst viele Menschen interessieren könnten. Die eine Stunde wird auf Ihrem Kanal veröffentlicht, die andere auf Herrn Riecks Kanal. Mit gegenseitigem Verweis. Als Beispiel :)
@@vonjd lieber jede woche ein video als in einer woche 3 videos und dann 2 wochen gar nichts. das mag youtube überhaupt nicht...
@@vonjd Ich bin mir sicher, dass sich das bald ändern wird. 👍
Prima Video! Nun verstehe ich endlich, warum ChatGPT bei einfachen Rechenaufgaben regelmäßig versagt. Das war für mich ein Rätsel.
Ich fand das Aufgabenvideo auch sehr spannend. Ich habe auch schon versucht ChatGPT einen Werksvergleich schreiben zu lassen und bis auf das es nach der hälfte abgebrochen hat war die Antwort schon ziemlich Solide. Die Erklärung wie es funktioniert finde ich jetzt auch sehr spannend, dazu hatte ich noch nichts gefunden außer das was Chat GPT so verraten hat. Ich finde es um so beeindruckender das das alles theoretisch ohne Internet funktioniert.
Wenn er die Antwort abbricht, kann man ihn bitten weiterzuschreiben. Zur Not auch mehrfach. Er wiederholt dann meist den letzten Absatz und schreibt weiter. Ggf. bricht er wieder ab, dann einfach wieder schreiben, er möge doch bitte fortsetzen. Und ja, der Bot funktioniert "ohne Internet", die Daten, mit denen er geschult wurde, hunderttausende Dokumente und Texte, stammen aber alle aus dem Internet. Ohne das Internet wäre es vermutlich sehr schwer an so große Datenmengen zu kommen, die die Grundlage für das LLM bilden. Und der ChatGPT wurde auch sicher nicht dafür entwickelt nicht am Internet zu hängen. Denn das wird seine Fähigkeiten noch einmal enorm vergrößern. Kritisch sehe ich aktuell, dass ChatGPT eiskalt lügt, sprich Fehlbehauptungen aufstellt und diese auch verteidigt. Erst nach mehrmaligen Nachhaken knickt er dann ein. Als produktives Tool sollte man es also (noch) nicht einsetzen.
Chat gbt kann nur eine bestimmte Länge an Wörtern ausgeben, weshalb es wahrscheinlich mitten in der Antwort abgebrochen hat. Man kann anschließend einfach danach fragen ob sie den werksvergleich fortsetzen kann und dann tut sie dies auch.
Wieder ein tolles Video, vielen Dank! Dieser Kanal verdient einfach viel mehr Aufmerksamkeit!
bisher eines der lehrreichsten Videos über die Funktionsweise von ChatGPT! Eine der interessantesten Dinge an diesen Modellen finde ich persönlich, wie viel Klarheit sie über die Denkmuster von Menschen geben. Im konkreten Fall wie groß die Rolle von Sprache ist, doch die enorme Intelligenz im mathematischen Kontext ziemlich hilflos ist (wenn auch nicht komplett). Menschen denken doch sicherlich ebenfalls primär in Sprache bzw. vielleicht Bildern? Sowie unser Sprachzentrum auf andere Hirnareale für Aufgaben wie beispielsweise Rechnen zurückgreift, könnte ein LLM in Kombination mit anderen neuronalen Netzen diese Probleme sehr einfach lösen, oder? Sehr spannend👍
Der Test mit der Multiplikation zweier vierstelliger Zahlen ist wirklich beeindruckend! Selbst wenn man ihn aufklärt, dass das Ergebnis nicht korrekt ist, glaubt er sich zu berichtigen, liefert aber dennoch immer wieder denselben falschen Wert. Dahinter folgt dann jedes Mal wieder das übliche Geschwafel, wie wichtig dieses und jenes sei.
Ja genau! Und wenn du ihn fragst, ob er möglicherweise falsch rechnet, weil er gar nicht wirklich "rechnet", behauptet er, dass er tatsächlich wirklich rechnet. Er lügt dir frech ins Gesicht!
Vielen Dank! Sehr interessantes Video. Ich fände eine Fortsetzung spannend, bei der nochmal auf die angesprochenen weiteren Mechanismen (Kontextsensitivität, Self attention...) eingegangen wird.
Wow, super, vielen Dank! Ich werde demnächst etwas zum Thema Übersetzen beitragen.
Sehr gut erklärt, auch für normal sterbliche 👍🏼
Nach diesen beiden Videos hatte ich ein wenig Angst um meinen Job als Softwareentwickler. Darum habe ich chatGPT auf die Probe gestellt. Jetzt habe ich keine Angst mehr ;-) Trotzdem, ich hätte damals in Stochastik doch aufpassen sollen 😞 Sehr schöne Einführung!
Vielen Dank! Es ist nie zu spät, abonnieren Sie einfach meinen Kanal 😉
Wow, super interessant! Danke!
Super Erklärung, danke!
Ein super Typ bist du !
super kanal
Ich benutze ChatGPT hauptsächlich dazu kleine Python-Scripte zu schreiben die zwar nicht kompliziert sind, aber mich mehr Zeit kosten würden selbst zu schreiben als dem Bot zu sagen was ich haben will.
Auch ganz interessant: Als ich you (ähnlich zu ChatGPT) nach wissenschaftlichen Quellen zu einem bestimmten Thema recherchieren ließ, hat er sich einfach plausibel klingende Quellen ausgedacht. Teilweise mit richtig guten Titeln. Sogar inkl. ausgedachter Springer-Links, die dann aber natürlich allesamt ins Leere führten ("Page not found").
ChatGPT schaut einfach in die Zukunft und zitiert Quellen, die noch nicht einmal geschrieben wurden! 😉
Sehr gutes Video, worauf man auch noch hätte eingehen können ist, dass ChatGPT auch nicht "logisch schlussfolgern" kann, zB kann es die Stetigkeit einfacher Funktionen oder einfache Aufgaben zu linearer Algebra nicht lösen, die kein rechnen sondern folgern erfordern. Vielleicht gab es zu wenig Lösungen zu derartigen Aufgaben im Corpus?
Mehr. Mehr. Mehr.
Meine erste Begegnung mit dem Thema war ein "Gespräch " mit ELIZA vor ungefähr 50 Jahren. Es war faszinierend und anschließend ernüchternd, wie simpel das Programm war. Bis letzten Dezember dachte ich zur KI, wir sind da noch auf den Niveau einer Ameise. Jetzt denke ich, unser Gehirn funktioniert vielleicht ähnlich wie GPT und es dauert nicht mehr lange, bis der Turing-Test bestanden wird.
... dem Niveau...
Es ist natürlich auch eine Kränkung, zu sehen, dass sich vieles von dem, was wir als intelligent erachten, durch "Würfeln" lösen lässt...
@@vonjd Zur Ehrenrettung der Menschheit: Es funktioniert aber auch nur, weil vorher jemand die Texte erstellt hat, mit denen das Model trainiert wurde. 😀
@@vonjd Es wird aber was erwürfelt unter Mithilfe von allem, was zuvor Menschen über Jahrzehnte erschaffen haben. Ohne ChatGPT. Eine Art Kategorienfehler, lieber Prof. ;-)
Mich würde ja interessieren, ob die (vermutlich) hart codierte Voruteilsfreiheit und Inoffensivität von ChatGPT zu Meinungen und politischen Themen sowie persönlichen Ratschlägen das Modell insgesamt beeinflussen. Oder wie so eine "Meinungssperre" überhaupt funktioniert und ob sie sich überlisten liese.
Eine Frage, die mich noch interessieren würde, ist: Könnte man nicht sagen, dass menschliches Denken letztlich ähnlich funktioniert, wie die LLMs? Also natürlich ist ein Gehirn eine in gewisser Hinsicht komplexere (insb. weil stärker unterteiltere) Architektur; aber der grundlegende Mechanismus, durch den das Gehirn entscheidet, welcher Gedanke auf welchen Gedanken folgt, dürfte doch ähnlich sein (also: die Basis sind Häufigkeitsmuster)? Wenn es nun Grund gäbe, jetzt mal nur hypothetisch, anzunehmen, dass ein LLM das auch-emotionale Erleben, das ja im Background jedes menschengemachten Texts steht, gewissermaßen spiegelbildlich simuliert (von sich aus, quasi), hätte man bald nur noch wenige Argumente, die dagegen sprechen, LLMs Bewusstsein zuzuschreiben. Oder wie oder was? Alles jedenfalls sehr, sehr spannend.
Genau zu diesem Thema habe ich ein Video gemacht: kzhead.info/sun/itGAnapxiqatbJE/bejne.html
Wie wurde ChatGPT auf die Ausführung von Tasks designt? Wurde von den Entwicklern ein „FAQ“ von Menschen erstellt - Code schreiben, Aufsätze schreiben - und ChatGPT wurde dann trainiert diese Aufgaben zu lösen? Oder ist das Lösen solcher Tasks Teil des Large Language Modells?
Chat Gpt nutze ich aktuell um Probeklausuren im Stil meines Profs zu erzeugen. "Stelle Fragen in dem Stil von: Strg V". Bisher sind die meisten Aufgaben lösbar.
Eigentlich keine schlechte Idee...
Wie funktioniert der input, also woher weißt das Ding worüber es schreibt. Oder steht in meiner Frage das Wort X und das steht oft in Kombination mit dem Wort Y. Und daran wird dann die Antwort errechnet. Stimmt das so in etwa. Oder liegt da noch ein Suchindex zugrunde
Ja, das ist das Grundprinzip.
Hmm... bezüglich der Multiplikation 2er vierstelliger Zahlen hatte ich das System gefragt, ob der fehlerhafte Wert darauf zurückzuführen ist, dass es gar nicht rechnet, sondern die Antwort basierend auf seinen Trainingstexten generiert. Darauf hin meinte es allerdings, "nein, es kalkuliert tatsächlich". Sieht mir aber nicht so aus. Es lügt mir frech ins Gesicht.
"Hallo zusammen und ein schönes Wochenende wünsche euch ein frohes Fest für die neue Woche wünsche euch und euren Lieben und lasst es uns nicht vergessen haben und hoffen dass es ihr nicht wieder so gut ging wie ich sie hatte. " Das sagt meine Tastatur zum ersten Versuch xD
Für so ein blödes Telefon mit ultra-simplen Sprachmodell doch gar nicht sooo schlecht - Danke fürs Teilen 👍🏻
Der Aufforderung "follow the science" kann hier uneingeschränkt entsprochen werden. 😉👍
Dass diese Sprachwuefler nicht rechnen koennen leuchtet ein. Aber da einen Rechenzweig zu Verfügung zu stellen, der auf bestimmte Auslöser angesprungen wird und dann innerhalb der Rechenmaschine zu Ergebnissen kommt sollte schon gehen.
Ja, das wird definitiv kommen, Schnittstellen zu verschiedenen spezialisierten Systemen.
@@vonjd ja, und die klügsten User sind, die, die die besten Fragen in der geeignetsten Reihenfolge an das System stellen. Da werden ganz neue (Aus)Bildungsbereiche bei Entwicklung und Anwendung entstehen. Ich bin ganz angefixt, wohl ich im Ruhestand bin.
It can however help you to get a program that does the multiplication. It seems we can now combine associative thinking with logical thinking. So what we now need is a system to select and bridge between those two domains. Write Python Program Multiply Four-Digit Numbers Write a python program to multiply two four digit numbers. Certainly! Here is a simple Python program that multiplies two four-digit numbers: # Define the two four-digit numbers num1 = 1234 num2 = 5678 # Calculate the product of the numbers product = num1 * num2 # Print the result print(f"The product of {num1} and {num2} is {product}.") This program defines two variables num1 and num2 which are the two four-digit numbers that we want to multiply. Then, it calculates the product of these numbers using the * operator and stores the result in the product variable. Finally, it prints the result to the console using the print() function. I hope this helps! Let me know if you have any questions or if you need further assistance.
Ganz interessant ist auch, wenn man ChatGPT fragt "Verwendest du Markov-Ketten?", antwortet er mit "Ja, als Teil meiner Programmierung verwende ich Markov-Ketten. Eine Markov-Kette ist ein statistisches Modell, das sich auf den Zustand eines Systems bezieht und die Wahrscheinlichkeit berechnet, in einen bestimmten Zustand zu gelangen, basierend auf dem aktuellen Zustand. In meinem Fall verwende ich Markov-Ketten, um die Wahrscheinlichkeit zu berechnen, dass ein bestimmtes Wort oder eine bestimmte Phrase als Nächstes in einem Satz oder einer Unterhaltung erscheint. Dies ermöglicht es mir, meine Antworten und Reaktionen auf die Eingabe des Benutzers anzupassen und zu optimieren. Markov-Ketten sind ein wichtiger Bestandteil der Technologie, die ich verwende, um natürliche Sprache zu verarbeiten und auf Anfragen des Benutzers zu reagieren." Wenn man weiter nachhakt, gibt er einem sogar Preis welche Modelle er benutzt: "Einige der statistischen Modelle, die ich verwende, sind: Markov-Modelle: Ich verwende Markov-Modelle, um die Wahrscheinlichkeit zu berechnen, dass ein bestimmtes Wort oder eine bestimmte Phrase als Nächstes in einem Satz oder einer Unterhaltung erscheint. N-Gram-Modelle: Ich verwende N-Gram-Modelle, um die Häufigkeit von Wortfolgen in einer gegebenen Sprachmenge zu berechnen. Neuronale Netze: Ich verwende Neuronale Netze, um Mustererkennung und Klassifizierungsaufgaben durchzuführen und die natürliche Sprache zu verstehen und zu generieren. Attention Mechanismen : Ich verwende Attention Mechanismen, um bestimmte Wörter oder Wortgruppen in einem gegebenen Text besonders zu berücksichtigen." "Neben den bereits genannten Markov-Modellen, N-Gram-Modellen, neuronalen Netzen und Attention Mechanismen, verwende ich auch folgende Modelle: Language Modeling: Ich verwende Language Modeling, um die Wahrscheinlichkeit von Wortfolgen in einer gegebenen Sprachmenge zu berechnen. Dies hilft mir, die natürliche Sprache besser zu verstehen und zu generieren. Transformer-Modell: Ich bin ein Transformer-Modell, eine Art von neuralen Netzwerk, das besonders gut für die Verarbeitung und Generierung von natürlicher Sprache geeignet ist. Es nutzt die Attention Mechanismen, um die Bedeutung von Wörtern im Kontext zu verstehen. Machine Learning Algorithmen: Ich verwende verschiedene Machine Learning Algorithmen, wie z.B. Gradient Descent, um mein Modell zu trainieren und zu optimieren. Fine-Tuning: Ich nutze Fine-Tuning, um das Modell an spezifische Anwendungen anzupassen, indem ich es auf eine kleine Menge an spezifischen Daten neu trainiere."
Das ist ja wirklich sehr interessant, vielen Dank!
ChatGPT liefert auch deshalb zu bestimmten Aufgaben keine Lösungen, weil er für den Internet Benutzer in vielen Funktionen limitiert wurde. Andernfalls könnte immer wieder der Versuch gemacht werden, dass System mit spezieller Aufgabenstellung zu spammen.
Das Video erklärt für mich, weshalb als Ergebnisse grammatisch und semantisch vernünftige Sätze produziert werden. Aber unerklärt bleibt für mich die inhaltliche Qualität der Ergebnisse. Das ist absolut nicht einfach gewürfelt, würde ich sagen. Auch das korrekte Aufstellen eines Gleichungssystems zu einer Textaufgabe oder die korrekte Produktion eines funktionierenden und inhaltlich korrekten Codes ist für mich noch nicht erklärt und der eigentlich entscheidende Faktor. Kann da noch jemand etwas mehr dazu sagen?
Ich fürchte das man da nicht viel mehr zu sagen kann. Wir müssen uns damit abfinden, dass große Teile dessen, was wir für intelligent erachten, durch statistische Wortfolgen zu erzeugen ist. Man kann jetzt noch tiefer in die Technik einsteigen, über die verschiedenen Layer des Transformers, über Attention und self-attention und über die genauen Trainingsregime, in denen große Teile der Texte quasi gleichzeitig verarbeitet werden, aber vom Kernprinzio bleibt es bei statistischen Wortfolgen. Nehmen Sie mal als Beispiel aus dem Video Alice in Wonderland: wenn Sie Fragen, who flew down the rabbithole, wird das System Alice antworten, weil es einfach statistisch zusammen vorkommt. Es scheint also etwas über den Text verstanden zu haben. Aus Quantität wird irgendwann Qualität, also ein emergentes Verhalten, was auf einmal intelligent zu sein scheint... hoffe, das hilft erst einmal.
@@vonjd Danke für die weitere Erläuterung. Unglaublich. "Mark my words, AI is far more dangerous than nukes" (Elon Musk). Durch die gratis Freigabe der AI zur Nutzung durch Millionen Menschen lernt das System nur noch schneller. Und getrieben durch unsere Neugierde und Faszination helfen wir alle dabei mit. Und wir stehen ja gerade erst am Anfang, dass AI über die Expertencommunity hinaus wahrgenommen wird und an Relevanz gewinnt. In politischen Angendas ist das bezüglich Regulierungen und Gesetzgebung scheinbar noch gar nicht angekommen.
Irrerwweise scheint sich GPT über die Zeit zu verändern. Das multiplizieren von Zahlen ist kein Problem mehr: was ist das produkt aus 4596 und 4559 Das Produkt aus 4596 und 4559 ist 20749764. Um das Produkt von zwei Zahlen zu berechnen, multipliziert man die Zahlen miteinander. In diesem Fall wäre das Ergebnis also 4596 x 4559 = 20.749.764. Ach so.... sehr geil. der schätzt nur.... 20,953,164, sehr großer Spaß
Tragen Sie Hosenträger? Falls ja, warum?
Schauen Sie sich alle meine Videos an und finden es heraus 😉👍🏻
Ich habe ChatGPT mal gefragt, was passiert, wenn man einem Hasen Salz oder Pfeffer auf den Schwanz streut. Die korrekte Antwort wäre gewesen: "Er bleibt stehen, und so kannst Du ihn problemlos einfangen". Das checkt ChatGPT aber nicht. Stattdessen macht ChatGPT sich ernsthaft Sorgen um die Gesundheit des Hasen, da er den Pfeffer vom Schwanz ablecken könnte. Google hingegen liefert sofort die korrekte Antwort.
Wir wissen nun, wie das typische Politiker-Sprech funktioniert bzw. warum letztlich völlig inhaltsleere Aussagen den Eindruck von Kompetenz erwecken können.
Ich habe kein Smartfon. Ich bin jetzt 50 und kann auf dem Mäusekino nicht mehr viel lesen. Das ist einfach alles zu klein. 👀
Professor they are preventin you to see the algorithm, otherwise everything is very clear how it works.
multipliziere 3433 mal 3434 konnte er ohne probleme berechnen...
Manchmal klappt es, manchmal nicht, einfach mal ein paar Beispiele probieren oder auch andere Berechnungen.
@@vonjd Die Nachkommastellen von Pi errät ChatGPT auch nicht sehr gut, es kommt einem so vor, als könne es nicht mal bis 10 zählen, obwohl es das explizit kann. :D
Meh Detail bitte, das ist mir noch nicht tief genug :(
dann frag doch chatGPT aus 🤷♂
Schon wieder so'n Mist, wo man seine Telefonnummer preisgeben soll. Geht's noch?
Demis Hassabis [CEO of DeepMind, part of Alphabet/Google]: “We’re getting into an era where we have to start thinking about the freeloaders, or people who are reading but not contributing to that information base,” he says. “And that includes nation states as well.” He declines to name which states he means-“it’s pretty obvious, who you might think”-but he suggests that the AI industry’s culture of publishing its findings openly may soon need to end. Hallo, wissen Sie ob es in DE Projekte ähnlicher Qualität gibt? Die Tendenz dürfte aus obigem Text ersichtlich sein.
Einige Stellen in DE und EU sind jetzt aufgewacht und es werden verschiedene Projekte aus dem Boden gestampft, allerdings wird die Qualität der amerikanischen Modelle (noch?) nicht erreicht. Ich gebe Ihnen recht, dass wir aufpassen müssen, hier nicht zu abhängig von amerikanischem Big Tech zu werden.
@@vonjd Danke für ihre Antwort. Mein erster Gedanke dazu war...noch eine weitere Abhängigkeit...By the way das Astro Thema scheint wohl salonfähiger zu werden, siehe Astrologin Silke Schäfer bei Bild TV gestern. Grüsse
Multiply 1234 with 5678 - Antwort: The result of the multiplication of 1234 by 5678 is 7006652. 1234 x 5678 - Antwort: The result of the multiplication of 1234 by 5678 is 7006652.
Manchmal funktioniert es, manchmal nicht, habe es gerade noch einmal mit anderen Zahlen ausprobiert.
Am besten welche nehmen, die etwas "unkonventioneller" sind oder auch mal andere Rechnungen probieren.
Ja, habe ich mit anderen Fragen auch festgestellt. An einem Tag ist die Antwort richtig und an einem anderen Tag wieder nicht. :)
@@vonjd Ich denke, dass das System rechnen kann. Dabei wird die Fragen in ein mathematische Form umgewandelt und dann mit einem "math solver", den das System hat, berechnet. Beispiel: A man takes a loan of $ 10,000 at a compound interest rate of 10% per annum. (i) Find the amount after 1 year. (ii) Find the compound interest for 2 years. (iii) Find the sum of money required to clear the debt at the end of 2 years. (iv) Find the difference between the compound interest and simple interest at the same rate for 2 years.
@@vonjd Bei so einer Frage hat das System ein Problem. Es erfordert die kognitive Fähigkeit, über eine Frage nachzudenken und sich dagegen zu wehren, die erste Antwort zu melden, die einem in den Sinn kommt. Da haben auch viele Menschen ein Problem. If it takes five machines five minutes to make five widgets, how long would it take 100 machines to make 100 widgets?
also bei mir hat es funktioniert! Frage an KI. 4560, 8978 multipliziere diese beiden zahlen ChatGPT Antwort der KI Um die beiden Zahlen 4560 und 8978 zu multiplizieren, müssen Sie einfach die erste Zahl mit der zweiten Zahl multiplizieren: 4560 x 8978 = 40,944,480 Daher ist das Ergebnis der Multiplikation von 4560 und 8978 gleich 40,944,480.
Ja, OpenAI hat inzwischen "aufgerüstet".
Geht doch?! Aufgabe: multipliziere 1354 mit 4597 Antwort: Die Antwort ist 6,217898e+05.
Ja, nur leider falsch...
@@vonjd Aha, das hatte ich nicht überprüfen 😅
Bei mir hat's beim erstem mal geklappt mit der Multiplikation. Beim 2. Mal hat er sich etwas vertan :D 9999 x 1111 = 11109889