ChatGPT & Co - Funktionsweise und Intelligenzniveau
Seit ChatGPT sind Large Language Models (LLM) in aller Munde. Doch wie funktioniert das überhaupt?
Dieser Vortrag von Thomas Stahl zum Thema KI geht tiefer als die Mainstream Diskussion auf Funktionsweise und Trainingsverfahren ein und gibt einen Einblick in die sogenannte Transformer-Architektur, auf der diese Modelle basieren.
Der zweite Teil beleuchtet die erstaunliche "Intelligenzleistung" von GPT-4, dem Nachfolger von ChatGPT (GPT-3.5).
Insbesondere die beobachtbare Fähigkeit, Schlussfolgerungen zu ziehen - das sogenannte Reasoning - macht diese Version zum derzeit überragenden Sprachmodell.
Der letzte Teil fasst Stärken und Schwächen aktueller LLMs zusammen und wagt einen Ausblick auf die rasante Entwicklung im Bereich KI.
Inhalt
00:00 Intro
00:44 Agenda
02:17 Einstimmung
08:58 Funktionsweise von LLMs - die Transformer Architektur
33:43 GPT-4 Reasoning Assessment
44:40 Einschätzung der Leistungsfähigkeit, Stärken & Schwächen aktueller LLMs
53:04 Zusammenfassung & Ausblick
1:01:33 Fragen
Weitere Videos zum Thema KI und Machine Learning findest du hier: • b+m KI-Lab - Künstlich...
www.bminformatik.de/themen/ku...
Thomas Stahl leitet das KI-Lab der b+m Informatik AG und beschäftigt sich seit über 7 Jahren schwerpunktmäßig mit dem Thema Künstliche Intelligenz und Machine Learning. Er arbeitet operativ in KI-Projekten und betreibt angewandte Forschung.
Dieses Video wurde im Rahmen eines Live-Vortrags aufgezeichnet. Wir bitten die sporadischen Störgeräusche zu entschuldigen.
👍Erste Darstellung zu diesem Thema mit ausreichender Tiefe & Verständlichkeit mit der ich als 60+ Laie endlich was anfangen und einordnen kann ! Vielen Dank dafür 🙏
Hervorragend erklärt. Danke. Der Vortrag war vor 8 Monaten. Es gab wahrscheinlich wieder einen Sprung nach vorne.
WOW! Eines der besten und fundiertesten Videos zum Thema. Gerade die Analyse zu GPT-4 hinsichtlich der Emergenz war mir bislang nicht so klar. Das ganze Video wirkt unaufgeregt, im Gegensatz zu diversen anderen Clickbaiting AI-News. Aber das Kapitel ab 33:43 ist ... krass... hat mir die Augen geöffnet. Danke!
Vielen Dank! Spannend finde ich, wie sich die Leistungsfähigkeit der LLMs jetzt weiter entwickelt. Haben wir schon mehr oder weniger ein Plateau erreicht, oder geht es genau so rasant weiter? Beides ist denkbar. Ersteres wäre ein Hinweis darauf, dass noch neue, fundamentale Mechanismen fehlen, um weiter zu kommen. Letzteres ein Hinweis auf eine noch weit reichendere Emergenz.
Der beste Content zu diesem Thema. Danke. Pflichtprogramm für Schule und Studium.
Vielen Dank fürs Teilen des Vortrags hier. Habe viel gelernt, obwohl ich natürlich nicht alles verstehe. Freue mich auf Weiteres.
Sehr gute Erklärung, schreibe gerade meine Masterarbeit und habe genauso etwas gesucht!
Mit das Beste, was ich auf YT zum Thema LLM gesehen habe, inklusive der englisch-sprachigen Kanäle. Sowohl hinsichtlich der Tiefe (bspw. mathematische Herleitung Backpropagation) als auch der Breite (Emergenz, Bewusstsein). Vielen, vielen Dank!
Sehr gerne - ich danke für das tolle Feedback
Sehr gute Erklärung. Danke dafür
Sehr lehrreich. Vielen Dank!
Super interessant. Aus philosophischer Perspektive möchte ich gern noch ergänzen: Nicht nur Menschen, sondern auch Tiere (mit ZNS) haben Bewusstsein, das heißt: qualitative mentale Repräsentationen, also nicht nur Ja/Nein, sondern sogenannte Qualia: Qualia heißt: Es "ist für sie irgendwie", Schmerz zu fühlen, eine Farbe zu sehen, den Körper zu spüren, zu laufen etc. (vgl. auch den Aufsatzklassiker von Thomas Nagel "How is it like to be a bat"). Für GPT "ist es (noch) nicht irgendwie", Operationen auszuführen. Die Frage ist, ob/wann Qualia bei KI als Emergenzphänomen auftauchen, ja, und wie wir feststellen, ob sie wirklich Qualia haben oder sich nur so verhalten als ob (vgl. das philosophische Problem des Fremdpsychischen) und ob es (derzeit) überhaupt eine empfindungs- und leidensfähige KI geben sollte … usw. :-)
Was für ein Zufall: Gerade gestern habe ich ein Interview mit Daniel Dennett bei Sternstunde Philosophie (SRF-Kultur auf YT) gesehen, da wurde auch genau das diskutiert/erläutert, was Sie ausführen. Spannend, vielen Dank!
@@bminformatikag Das ist ja echt ein Zufall. Bei Sternstunden Philosophie sind oft gute Themen und Gäste dabei. KI-Themen sind für mich (als Philosophin, aber Nicht-Informatikerin) oft schwer zu verstehen. Deshalb freue ich mich, wenn Fachleute das Wesentliche auf den Begriff bringen: Emergenz, Reasoning … Ich habe mir Screenshots von Ihren Folien gemacht :-)
@@bminformatikag sagt Dennett nicht,daß Bewußtsein nur eine Illusion ist?Wie kann man ernsthaft vertreten, daß das einzige was man sicher wissen kann nämlich,daß man etwas bewußt erlebt nur eine Illusion ist? Das ist doch höherer Unfug.
@@honkytonk4465 so habe ich ihn auch verstanden. Das Bewusstsein als Illusion zu bezeichnen, find ich auch min. begrifflich problematisch. Ich fand aber die Diskussion mit dem Moderator spannend - und seine Idee/Metapher, dass das Bewusstsein so eine Art Benutzeroberfläche ist, die von den unglaublich komplexen Prozessen im Hirn abstrahiert. Andererseits: Wenn das so ist, wer ist dann der Benutzer ;-) Eine abschließende Meinung hab ich mir dazu aber noch nicht gebildet.
Hibt ein gutes Buch von C. Koch The feeling of life itself dazu.
Also echt das beste Video zum Thema, sehr gut und verständlich erklärt. Vor allem nochmal anschaulicher was Emergenz ist. Ich glaube viele haben eben nicht auf dem Schirm was das genau ist. Ich glaube wir werden noch einige Überraschungen mit KI erleben. Vielen Dank für den super Content.
Besten Dank! Eine vielleicht noch interessante Ergänzung zum Thema Emergenz: Diese kann man in gewisser Weise sogar messen: Bei nicht-emergenten Fähigkeiten skaliert die Güte/Erfolgsquote bei Tests der Fähigkeit ungefähr linear mit der Größe des neuronalen Netzes oder mit der Größe der Trainingsdaten, d.h. je größer das Netz oder je mehr Trainingsdaten, desto besser ist die Fähigkeit ausgeprägt. Bei emergenten Fähigkeiten passiert lange Zeit nichts und dann gibt es plötzlich einen Sprung und die Fähigkeit hat sich ausgebildet.
Danke!
Danke, war mega interessant. Gerne mehr davon.👍👍👍👍👍
Endlich endlich ein Beitrag wo man wirklich etwas erfährt. Super tolles Video für Fortgeschrittene. 👍👍
Einer der besten Vorträge zum Thema ChatGPT und der emergenten Eigenschaften von GPT-4 ... vielen Dank dafür, wäre fantastisch, wenn Sie uns auch weiterhin bzgl. dieses Themas auf dem Laufenden halten könnten, falls es zeitlich machbar ist. Wie Sie schon sagten, die Entwicklung ist wirklich fast schon exponentiell ...
Vielen Dank! Das mit der zeitlichen Problematik haben Sie gut erkannt ;-) mal sehen ...
Eines der überhaupt besten Videos, die ich dazu je gesehen habe. danke.
❤❤❤
Ich find den Vortrag gut, verweise aber gerne nochmal auf C. Koch. Da sind allerdings ein paar Analoga drin (synapsen gewichtung intelligenz, emergenz bewusstsein.) bei denen man aufs Glatteis kommen kann.
Ist "Behlohnung und Bestrafung" nur beim Training wirksam? Ich habe den Vortrag so verstanden, dass das Human Feedback im Betrieb auch ein wichtiger Bestand beim LLM ist. Oder bringe ich da was durcheinander?
Im Betrieb wird das Human Feedback lediglich gesammelt, hat aber keine unmittelbare Wirkung auf das LLM. In regelmäßigen Abständen wird dann nach- oder neutrainiert und dabei fließt das gesammelte Human Feedback ein.
Danke für diesen beeindruckenden Einblick und Vortrag
Super Video danke :) Ich finde es richtig cool wie gut Sie den Teil mit dem Transformer oder den Attentions erklären. Nur bezüglich Bewusstsein habe ich nicht die gleiche Meinung. Für mich macht es irgendwie keinen Sinn, dass eine künstliche Intelligenz ein Bewusstsein entwickeln kann. Alle bisherigen Modelle lassen sich im Kleinen auf Statistik herunterbrechen. Und dadurch entsteht kein Bewusstsein. Oder was meinen Sie dazu?
Danke erstmal für das schöne Feedback :-) Ja, das Thema Bewusstsein ist schwierig und ich werde auch meine Darstellung dazu etwas überarbeiten. Ich sehe es folgendermaßen: Kognitionsleistung im Sinne von Intelligenztests impliziert kein Bewusstsein, aber eine gewisse Kognitionsleistung ist sicherlich Voraussetzung für ein Bewusstsein. D.h. es ist durchaus eine KI vorstellbar, die dem Menschen in Sachen Kognitionsleistung weit überlegen ist, ohne jedoch ein Bewusstsein zu entwickeln. Das Problem auf der anderen Seite ist, das es zwar Theorien mit großer Bandbreite (von Qualia bis Illusion) zum Thema Bewusstsein gibt aber keine gesicherte Erkenntnis. Ich zitiere mal Geoffrey Hinton: "Die Leute sind sich sicher, dass LLMs kein Bewusstsein haben, aber wenn man sie fragt was das ist haben sie keine Antwort". Das Bewusstsein einer KI kann sich ja zudem deutlich von dem eines Menschen unterscheiden. Ich verstehe Bewusstsein wie gesagt als emergentes Phänomen und damit ist die elementare Konstruktionsweise m.E. eben kein Argument - genauso wenig wie man das Phänomen auf der Funktionsebene von biologischen Neuronen erklären kann, es aber offensichtlich existiert.
Danke erst mal für das interessante Video. Die Erläuterung, dass es kein Gedächnis oder Zustand gibt im Bezug auf das Wort Session fand ich etwas missverständlich. Müsste es nicht heißen ‚reicht genau über einen Prompt‘. In ChatGPT wird der Chatverlauf als Prompt genommen, oder? Ich als Programmierer würde eine Session als Zustand beschreiben.
ja absolut, ich habe mich an der Stelle leider ziemlich lax/missverständlich ausgedrückt. Also nochmal präzise: Das LLM im Prediction-Mode (d.h. austrainiert) ist im Sinne der Informatik eine zustandslose Funktion. Der Zustand wird in der ChatGPT Browser-Session gehalten - also in einer klassischen WebApp, nicht innerhalb der KI. Konkret wird der Dialogverlauf (= MessageHistory) mit jedem Dialogschritt (= Nutzereingabe) erweitert und wieder in Gänze als Prompt in die LLM-API eingespeist. Terminiert die Browser-Session ist dieser Zustand (= Dialogverlauf) verloren. Die ChatGPT-App kann sich also nicht „erinnern“ was sie in vergangenen oder parallelen Sessions gesagt hat. Das LLM selbst kann sich nicht einmal an den letzten Dialogschritt „erinnern“ - es ist wie gesagt zustandslos (stateless).
Wenn diese Modelle auf Tokenbasis arbeiten, also den Eingabetext und vielleicht auch den Ausgabetext als Abfolge von Tokens verarbeiten, wie wird dann die Zeichensetzung erzeugt? Also z.B. korrekte Kommasetzung. Ist das auch ein emergentes Phänomen? Kann dann aber nicht sein, wenn Token die kleinste Verarbeitungseinheit ist.
Völlig richtig - bei Interpunktion würde man nicht von Emergenz sprechen. Tatsächlich sind die Interpunktionszeichen eigene Token. Manche Worte werden auch in mehrere Token zerlegt (hat aber nichts mit Silben zu tun, eher mit Wortstämmen). Statistisch kommen auf 75 Worte englischer Text ca. 100 Token. Bei anderen Sprachen ist die Fragmentierung noch größer. Auf "platform.openai.com/tokenizer" kann man einen Satz eingeben und es wird dann die zugehörige Tokenisierung, die OpenAI verwendet, angezeigt. Ist ganz aufschlussreich.
@@bminformatikag Danke für den Link und die Erklärung. Jetzt würde mich interessieren, ob die Textausgabe auch über Tokens passiert oder ob jedes Zeichen einzeln generiert wird. Im zweiten Fall (jedes Zeichen einzeln) wäre vielleicht sogar das Training einfacher und die Ausgabe viel allgemeiner möglich. So habe ich z.B. schon chinesische, hebräische und kyrillische Schriftzeichen in der Ausgabe gesehen. Auch viele Dialekte werden korrekt generiert. Probiert habe ich mit Kölsch, Ruhrdeutsch und Bayrisch. Ich kann mir nicht vorstellen, dass dafür einzelne Tokens existieren. Allerdings bei der Eingabe werden auch die Dialekte entsprechend tokenisiert.
Auf der Ausgabeseite wird tatsächlich die gleiche Tokenisierung verwendet. Pauschal kann man sagen, dass je exotischer (oder vllt. besser je weiter entfernt von Englisch) eine Sprache ist, desto stärker ist die Fragmentierung durch den Tokenizer. Das kann im Extremfall bis auf Buchstaben- oder Schriftzeichenebene runter gehen.
@@bminformatikag Danke. Hier mal ein Beispiel, was mich umgehauen hat. Ich hatte ChatGPT gefragt, wie man in Python von einem Aufzählungstext mit Nummerierungen die Nummerierung entfernt, damit nur noch der Text verarbeitet werden kann: text = re.sub(r'^(\d+\.)\s+(.*?)(?= |$)', r'\2,', text, flags=re.MULTILINE) Und es funktioniert! Offensichtlich kann man den Output schlecht durch Token abbilden. Es werden hier wohl schon einzelne Zeichen generiert.
ChatGPT kann zB nicht 6 aufeinanderfolgende Zahlen nennen, die keine Prinzahlen sind. Hier versagt der Turing-Test sofort, weil sich selbst widersprechender Unsinn geantwortet wird. Wie ist das mit GPT4 ? (Frageformulierung: "Gibt es 6 aufeinanderfolgende natürliche Zahlen, die keine Primzahlen sind?" ) Bing scheitert erst bei 10 aufeinanderfolgenden Zahlen. Allerdings ist auch in den anderen Fällen die Erklärung (Logik) falsch.
Hier die Antworten, einmal mit 6, einmal mit 12. Ziemlich überzeugend finde ich. ------------------------------------ Ja, es gibt 6 aufeinanderfolgende natürliche Zahlen, die keine Primzahlen sind. Ein einfaches Beispiel dafür sind die Zahlen von \(90\) bis \(95\): \(90, 91, 92, 93, 94, 95\) Keine dieser Zahlen ist eine Primzahl: - \(90\) ist durch \(1, 2, 3, 5, 6, 9, 10, 15, 18, 30, 45\) und \(90\) teilbar. - \(91\) ist durch \(1, 7, 13\) und \(91\) teilbar. - \(92\) ist durch \(1, 2, 4, 23, 46\) und \(92\) teilbar. - \(93\) ist durch \(1, 3, 31\) und \(93\) teilbar. - \(94\) ist durch \(1, 2, 47\) und \(94\) teilbar. - \(95\) ist durch \(1, 5, 19\) und \(95\) teilbar. Wie Sie sehen können, ist keine dieser Zahlen eine Primzahl. Es gibt auch andere Beispiele für solche Sequenzen in den natürlichen Zahlen. ------------------------------------------- Ja, es gibt 12 aufeinanderfolgende natürliche Zahlen, die keine Primzahlen sind. Ein solches Beispiel kann durch die Überlegung gefunden werden, dass die Fakultät \(n!\) (d.h. das Produkt aller natürlichen Zahlen von 1 bis n) für jedes \(n > 1\) keine Primzahl ist. Die Zahl \(n!\) ist durch alle Zahlen von 2 bis \(n\) teilbar. Wenn wir \(n = 12\) nehmen, dann ist \(12!\) durch alle Zahlen von 2 bis 12 teilbar. Daher sind die Zahlen: \[12! + 2, 12! + 3, \ldots, 12! + 12\] alle keine Primzahlen, da \(12! + 2\) durch 2 teilbar ist, \(12! + 3\) durch 3 teilbar ist, und so weiter bis \(12! + 12\), das durch 12 teilbar ist. Somit haben wir 11 aufeinanderfolgende Zahlen, die keine Primzahlen sind. Wenn wir \(12! + 1\) hinzufügen, erhalten wir 12 aufeinanderfolgende Zahlen, die keine Primzahlen sind, da \(12! + 1\) durch 1 und sich selbst teilbar ist, aber keine Primzahl ist. Also, die Zahlen \(12! + 1, 12! + 2, \ldots, 12! + 12\) sind 12 aufeinanderfolgende natürliche Zahlen, die keine Primzahlen sind. -------------------------------------- Das Argument mit 12!+1 ist etwas wackelig und es würde einfacher mit 13!+2,...,13!+13 funktionieren, aber trotzdem deutlich besser als GPT3.5
Extrem gutes und Informatives Video mit einem Nachgeschmack und der ist die Folge ihrer Zensur wünschen. Es wird mir Angst und Bange eine Stern denke dass ausgerechnet sie darüber entscheiden was wahr und was fake ist.
wtf soll ihr Kommentar bedeuten?
Sehr informativer Vortrag, vielen Dank dafür! Ich hätte eine Frage zu der Einschätzung, dass ein Mensch der es nicht wüsste, nicht feststellen könnte ob er mit GPT 4-KI oder einem Menschen spricht: welchen Einschränkungen unterliegt die menschliche Seite der Interaktion dabei? Wenn es keine gäbe, dann ließe sich die KI in der aktuellen Form und mit angemessenem Aufwand (so zumindest meine Einschätzung) nämlich leicht an dem erkennen worin sie jedem Menschen überlegen ist, oder worin sie sich zwangsläufig unterscheidet. Hätte man ein Team von Experten verschiedenster Fachrichtungen und einen schnellen Internetzugang parat, könnte man die KI daran erkennen dass sie, zuviel weiß; zu schnell antwortet; ein 4000-Promt Limit hat, halluziniert u.s.w.. Man könnte die KI also in eine "zeig mir wer du bist"-Falle locken. Würde man hingegen nur wissen, dass man eines zufällig gewählten Tages einmal ohne Vorwarnung mit einer KI statt einem Menschen spricht, dann kein Zweifel, das würde man nicht merken.
Sie haben natürlich Recht: Ausgestattet mit so einem "Meta-Wissen" über LLMs, kann man das sicher entscheiden. Meine These bezog sich auf den klassischen Turing Test von 1950, ohne Verwendung dieser Wissensebene. Dieser ursprüngliche Test gilt aber in Fachkreisen ohnehin aus mehreren Gründen als überholt (auch daher obsolet) - vgl. Frage von @ungetuemer
@@bminformatikag Danke für die Antwort! Der wikipedia-Eintrag, auf den Sie sich bei der Antwort auf @ungetuemer beziehen scheint leider nicht mehr zu existieren. Aber dass es sich um einen "arglosen" Menschen im Test handelt beantwortet meine Frage ja auch so. Ich denke übrigens ebenfalls, dass man erst merken wird, dass man es mit einer AGI zu tun hat, wenn sie selbst es (in Computer-Zeitbegriffen) schon lange weiß. Was wiederum schnell gefährlich werden könnte. Oft habe ich schon von Experten gehört oder gelesen, die das für praktisch unmöglich halten, weil es sich ja "nur um stochastische Modelle handelt". Ich denke aber auch, dass es schwierig ist Bewusstsein überhaupt zu definieren. Der Alien-Vergleich passt da hervorragend und kam auch mir am Anfang in den Sinn. So weit muss man aber gar nicht gehen: wenn man diverse Tierarten auf ihre kognitiven Fähigkeiten untersucht stellt sich schnell heraus, dass es "die" eine Intelligenz und "das" eine Bewusstsein wohl ohnehin nicht gibt und uns hier unsere eingefahrenen Kategorien eher im Wege stehen.
Beim Turing Test finde ich komisch, dass der Computer vom Menschen befragt wird das, zumindest in den Medien, als "Konversation" angesehen wird - die bestanden wird oder nicht. Eine Konversation besteht aber aus Fragen und Antworten. Chatgpt 3 habe ich versucht in die Richtung "stelle mir auch fragen" zu bewegen. Sieht schlecht aus. Zur Intelligenz kommt auch irgendwo Interesse hinzu und dazu muss man "gute" Fragen stellen (können). Damit fliegt die aktuelle KI komplett in einem Test-Gespräch richtig auf.
Ja, GPT-4 ist zwar auch in dieser Hinsicht schon besser als 3.5, aber auch in der KI-Forschung gilt der klassische Turing Test (von 1950) als tendenziell überholt. Ein, wie ich finde, valider Kritikpunkt ist z.B., dass er eher die menschliche Leichtgläubigkeit testet als die maschinelle Intelligenz (Stichwort: Imitation Game). Es gibt ein paar modernere Abwandlungen (s. "de.wikipedia.org/wiki/Turing-Test").
@@bminformatikag zu den alternativen habe ich ChatGpt auch gefragt und mir die näher erläutern lassen. Nachdem es aber keine "richtige" Definition von Intelligenz selbst gibt, kann man viele Tests entwickeln.. selbst die Intelligenztests für Menschen haben nicht wenige Lücken
genau :-)
@@ungetuemer Ich meine, es gibt ne richtige Definition von Intelligenz. Wurde auf der ISO-Normung zur AI vorgestellt. Allerdings wollte sie keiner haben, alle wollten bloß die Turing-artige Scharlatanerie des "AI-Systems" haben.
Wann glauben wir ganz grundsätzlich einer Entität, dass sie ein Bewusstsein hat? Ich denke, dass wir Bewusstsein z.B. in Form von Klassifikationen pro Sekunde zusammen mit der Größe des Zustandsraums und der Anzahl an Klassen messen könnten. Das Maß an Bewusstsein wäre dann ein Kontinuum. Ein Bewusstsein erschiene nicht plötzlich in größeren Systemen. Vielmehr ließen sich diese auf Basis des Bewusstseinsgrads vergleichen. Welchen Wert der Mensch hat, ließe sich derzeit wohl nur abschätzen. Aber immerhin sind damit technische Systeme vergleichbar. Schlage vor, diese Maßeinheit EGO zu nennen🤔. Klingt ein bisschen, wie in der Thermodynamik. Immerhin ist Temperatur auch eine emergente Eigenschaft, die durch Aggregation von Teilchengeschwindigkeiten entsteht.
das ist mal ein Ansatz :-)
Vielen Dank für die verständlichen und anschaulichen Erklärungen. Ich habe einen Test im neuen Bing durchgeführt: Auf meine Frage, welche Version im neune "Bing" integriert ist, habe ich GPT-4 als Antwort erhalten. Dann habe ich die Frage gestellt, die bei 39min als Beispiel gezeigt wurde. Ich hbe lediglich die Reihenfolge vertauscht (Buch, Laptop, 9 Eier, Nagel und Flasche): Hier die Antwort: There are many ways to stack these objects in a stable manner. Here are some general tips: Start with the heaviest object (e.g. laptop) and place it on the ground. Place the book on top of the laptop. Place the bottle on top of the book. Place the nail on top of the bottle. Place the eggs on top of the nail. This should result in a stable stack. Please note that this is just one suggestion and that there are many other ways to stack a tower from these objects. If you have any further questions, please let me know. ??? Die generierten Bilder waren noch weiter von der Lösung entfernt (9 Bücher, 1 Ei, ...) Also veilleicht doch kein GPT-4 im neuen Bing?
die Lösung klingt zirkusreif :-) da ich keine Ahnung habe, welche Version bzw. was für ein Derivat MS in Bing wirklich integriert, kann ich nur spekulieren: Das Paper bezieht sich auf eine "frühe Version" von GPT-4, also eine bei der noch kein finales AI Safety-Finetuning gemacht wurde. Es ist bekannt, dass ein exzessives Finetuning solche Fähigkeiten wieder verblassen lässt. Wenn also Bing GPT-4 verwendet, dann wird es ein Derivat sein, bei dem mit Sicherheit noch viel für AI-Safety Finetuning investiert wurde, um Skandale zu vermeiden. Gleiches gilt sicherlich auch für ChatGPT+.
Das Wort Bewusstsein ist eine Worthülse, die nicht wirklich definiert ist. Unser menschliches Bewusstsein ist sich des Seins durch Selbstspiegelung und Erinnerung bewusst. Es gibt sozusagen eine Spiegelebene des eigenen Inputs.
In dem Vortrag wird immer wieder darauf hingewiesen, welcher große Sprung von Chat-GPT zu GPT4 erfolgt ist. Nach meinem Verständnis sollte das doch eher eine Unterscheidung zwischen GPT3.5 und GPT4 sein? Chat-GPT ist doch die Anwendung der jeweiligen Version des Sprachmodells, eben 3.5 oder 4. In der Pro-Version wird ja auch Chat-GPT mit GPT4 genutzt. Oder ist das mein Verständnis unvollständig?
Ja, Sie haben absolut recht. Nur, zum Zeitpunkt des Vortrags war GPT4 noch im beta Stadium und ChatGPT ausschließlich mit 3.5 verfügbar - daher hatte ich ChatGPT und GPT3.5 synonym verwendet, was aus heutiger Sicht falsch ist: Wie Sie sagen, das eine ist eine Anwendung und das andere die Version des zu Grunde liegenden Sprachmodells.
@@bminformatikag Vielen Dank für Ihre schnelle Klarstellung. Dadurch fühle ich mich etwas sicherer im Umgang mit den Begriffen.
Endlich jemand der Sparks of AI gelesen hat. Meine Hoffnung für dieses Land wurde wieder hergestellt. 😊
@Lari... 😂😅
ethisch wertvolle Antworten im Gegensatz zu wahren Antworten,hmm problematisch.
da haben Sie einen Punkt - besonders wenn man bedenkt, dass das KI-Alignment von kommerziellen LLMs ja in der Hand der jeweiligen Wirtschaftsunternehmen liegt. Im Open-Source Umfeld ist das anders, da hat man dann Zugriff auf die sog. Foundation-Modelle (ohne Alignment). Die sind nur (noch) nicht so stark wie GPT-4.
Diese KI zeigt deutlich wie dumm der Mensch ist.
? Also ich bin jedenfalls klüger und kann analysieren. Meine Kollegen ebenfalls. Über Sie kann ich nicht urteilen, aber nach Ihrem Kommentar muss ich Schlimmes befürchten.... PS: die KI nicht überschätzen, logische Zusammenhänge sind für die KI (noch) zu schwierig.
@@tribonian3875 "PS: die KI nicht überschätzen, logische Zusammenhänge sind für die KI (noch) zu schwierig." Für die meisten Menschen auch, leider.
@@opavlog453 Habe gestern Bruchrechnen mit der KI geübt. Die hatte 30 Prozent Fehler. Gibt einfach eine falsche Antwort wenn sie nicht weiter weiß. Jeder gute 6klässler kriegt das hin. Und ein komplexeres IT-System zu analysieren, das schafft ein gut ausgebildeter Informatiker, aber die nächsten 5 Jahre keine Maschine.
@@tribonian3875 Wenn Sie den Im Vortag zugehört hätten, dann wüssten Sie, dass diese "KI" nicht zum lösen von Matheaufgaben gemacht wurde. Und die Tatsache, dass es ihnen statt einen Error eine falsche Antwort nennt ist etwas, dass auch Kinder und Erwachsene tun, wenn sie nicht weiter wissen. Ich verweise auf Ihren Kommentar, in dem Sie etwas behaupten das Sie nicht wissen können, und auch sonst nicht ganz logische Schlüsse ziehen. Wenn wir jetzt mal auf den Vortag zurück gehen und was denn eigentlich zum "Reasoning" beiträgt, dann landen wir bei "Attention" was bei Ihnen heute scheinbar nicht im Überfluss vorhanden war. 😁
@@tribonian3875 "Jeder gute 6klässler kriegt das hin. " Nicht in Deutschland
Seine unablässige, unsachliche Begeisterung nervt einfach nur. Kein Raum um sich eine eigene Zusammenfassung zu bilden