Das Black Box-Problem der Künstlichen Intelligenz
2023 ж. 16 Сәу.
3 415 Рет қаралды
Was ist eigentlich eine Black Box, wieso ist das ein Problem und wie geht es bitte auch transparenter?
Themen im Video:
0:12 Einführung
3:11 Beispiel Neuronales Netz "Husky oder Wolf?"
5:21 Beispiel Einkommensprognose
7:20 Machine Learning: One Rule (OneR)
10:10 Machine Learning: Decision Trees (Entscheidungsbäume)
14:04 Machine Learning: Random Forest
17:44 Accuracy-Interpretability Trade-Off
Link zum besprochenen Blogpost:
- blog.ephorie.de/learning-data-science-predicting-income-brackets
Playlist zu Neuronalen Netzen (Deep Learning):
- kzhead.info/channel/PLF26qtcDwK1GHaENS8usKAkqolbV0kovB.html
#künstlicheintelligenz #machinelearning #blackbox
Es hat sich ein klitzekleiner Fehler ins Video eingeschlichen... wer findet ihn?
In the last example the formula in optbin is tx and not dx.
Wie immer sehr spannend und anschaulich, vielen Dank! Ich denke, dass es zunehmend relevant sein wird die Entscheidungsschritte transparent zu machen, alleine schon um die Akzeptanz und Massentauglichkeit von der wachsenden Anzahl an KI-Anwendungen zu gewährleisten.
Sie sind der beste KZheadr zum Thema AI. Immer interessante Themen! Kommt bald was mit Prof. Rieck gemeinsam? Fände ein Gespräch zwischen Ihnen beiden extrem spannend!
Vielen Dank für das tolle Feedback! Wir kennen uns persönlich, haben da aber (noch?) nichts geplant.
Ich denke, es hängt vom Einzelfall ab, ob die Interpretierbarkeit oder die Genauigkeit eine höhere Wichtung bekommt. Bei sehr komplexen Datenstrukturen denke ich, muss man - um eben präzisere Ergebnisse zu bekommen - Abstriche bei der Transparenz machen und auch hinnehmen. Das Problem liegt m. E. immer bei der Qualität der Rohdaten. Das kann man schön am Husky-Wolf-Beispiel sehen: wenn eben die Husky-Bilder zum größten Teil Schnee als Hintergrund haben, muss man damit rechnen, dass "Schnee ja/nein" als Kriterium herangezogen wird. Wenn ich beim Thema Einkaufsverhalten beispielsweise auch Tageszeit und Wochentag des Einkaufs erfasse, kann das einerseits die Genauigkeit erhöhen (z. B. Berufstätige werden eher nicht vormittags einkaufen), andererseits aber auch Fehlerquellen enthalten (z. B. in einem Jahr fallen zufällig besonders viele Feiertage auf einen Freitag, was dann die Genauigkeit für das Einkaufsverhalten an Freitagen durchaus erheblich beeinflussen kann). Zusammenfassung: hohe Qualität der Rohdaten = höhere Wahrscheinlichkeit auf Präzision. Und: kein Vorteil ohne Nachteil. Liege ich in etwa richtig?
Auf der einen Seite ja, auf der anderen Seite muss ich natürlich am Ende mit den Daten arbeiten, die ich habe und da wäre es dann wieder von Vorteil, zu wissen, nach welchen Kriterien das System entscheidet.
Hallo! Zu allererst, Herzlichen Dank für dieses tolle und inormative Video welches mir anschaulich die Problematik erklärt hat. Nebenbei auch Decision Trees besser verstanden. Um die am Ende gestellte Frage zu kommentieren, nehme ich Bezug auf die Beispiel Daten zur Accuracy. Von 29% auf 34 % ist keine relevante Verbesserung um dafür fehlende Interpretierbarkeit in Kauf zu nehmen meiner Meinung nach. Ganz allgemein sollte eigentlich jedes System nachvollziehbar und für Programmierer zu debuggen sein um Entscheidungen nachvollziehen zu können. Zumindest ist das meine, wahrscheinlich naive, Sicht der Dinge als "Hobby-Programmierer". Anhand des Beispiels Wolf vs Husky kann man sehen wie Menschen eine Vorstellung von der Arbeitsweise eines Systems haben können ohne dabei die zu erahnen nach welchen Kriterien das System ein Ergebnis erzielt hat. Vor allem wenn es um Systeme geht die Entscheidungen treffen von denen Menschen direkt abhängen könnten (wie zum Beispiel Kreditanträge) sollte ein Systemdesign besser etwas weniger Accuracy in Kauf nehmen wenn es im Gegenzug Transparenz liefert. P.S. Ich bin kein Student sondern schaue nur gerne die Videos aus Interesse.
3:15 - 5:00 Ähem "husky classified as wolf" heißt "Husky als Wolf klassifiziert", also wurden die Aufnahmen der "Hundeartigen" im Schnee als Wölfe katalogisiert und nicht umgekehrt und das trotz Kette in diesem Bild. Schnee = Wolf
Genau! Da habe ich mich auch einmal kurz verdaddelt, siehe oben 👍
Würde mich freuen, wenn sie eine Diskussion auf ihrem Kanal mit Franz Hörmann über Geld und die Banken hätten. Sie meinten ja mal, sie kommen aus diesem Bereich.
Vielen Dank für die Anregung!
- Zu Ihrem heutigen Video: Kann man zumindest Sprach-KI nicht ein wenig ausfragen und so etwas Licht in solche Black-Boxes bringen? Mich stört dieses Black Box-Problem sehr. - Erweiterung zu Ihrem heutigen Video: Mein Wunsch ist, dass KI einmal so weit ist, dass sie in großen Datenmengen Muster erkennt, auf Nachfrage ausgewählte Muster erklärt, beschreibt, wie und wo sie es gefunden hat (also Black-Box erhellen) und auf weitere Nachfrage daraus sogar einen mathematischen Zusammenhang formelmäßig formuliert und dann alles zusammen (Daten, Muster, Ergebnis der mathematischen Formulierung) bildlich darstellt. - weiterführende Frage: Sie haben hier angekündigt, mal ein Video zu analytischer KI zu machen. Ich habe aber diesbezüglich nichts von Ihnen gefunden. Hab ich da irgendwas übersehen? Oder haben Sie das geplant?
Kann man die Entscheidungen der KI nicht reverse engineeren und damit transparent machen? Zum Beispiel könnte man man die ihr vorgelegten Variablen varieren und anhand der Resultate ein vereinfachtes Modell ableiten.
Ja, solche Verfahren gibt es. Ich plane noch ein Video zum Thema "eXplainable AI (XAI)" zu machen und dort ein Verfahren vorzustellen, welches eine Black Box transparenter macht - Abo lohnt sich also in jedem Fall! 😉
Mal ganz einfach gefragt: Könnte man diese Blackbox nicht einfach (zusätzlich) anweisen ihr Vorgehen genau zu protokollieren? ;p
Leider nicht, sie kann genauso wenig in sich selbst hineingucken, wie wir das bei uns letztlich können.
5:00 die Wahrscheinlichkeit einen Wolf neben einer Kette zu "identifizieren" ist neben dem Schnee mit Sicherheit auch nicht unerheblich. ; )
Die Blackbox Problematik ist für Entscheidungen mit schwerwiegenden Folgen (z.B. Medizin) extrem wichtig. Könnte man nicht mit den transparenten System einen Trend bestimmen, der als Vergleichsgröße bei intransparenten Systemen zur Prüfung der Plausibilität angewendet wird?
Ja, sehe ich ganz genauso, gerade auch im medizinischen Bereich. Was meinen Sie in diesem Zusammenhang mit "Trend"?
@@vonjd In Ihrem Beispiel zu Diabetes M. kann mit OneR fuer die Entstehung von DB eine 82%-ige accuracy fuer das Attribut Polyuria erreicht werden. Wenn mit einem Neuronalen Netz eine accuracy von z.B. 98% fuer das selbe Attribut errechnet wird, kann diesem Ergebnis mehr getraut werden als ohne die vorherige "Trend" Bestimmung.
Sie beziehen sich auf blog.ephorie.de/oner-in-medical-research-finding-leading-symptoms-main-predictors-and-cut-off-points. Das Problem ist, dass immer eine Gesamt-Accuracy bestimmt wird, man kann also nicht herausrechnen, welches Attribut zu wieviel Prozent beiträgt. Aber generell gebe ich Ihnen recht, ich habe OneR im Grunde auch zum Bestimmen einer Baseline konzipiert: cran.r-project.org/web/packages/OneR/vignettes/OneR.html. Um die Anteile zu bestimmen, setzt man Techniken der "eXplainable AI (XAI)" ein, dazu mache ich auch nochmal ein Video, ein Abo lohnt also! 😉
@@vonjd Merci fuer Ihre Erklaerung. Uebrigens habe ich mich dank Ihnen heute zum ersten mal in R versucht - herrlich! Kein Versionsgestuerm wie in Python oder Julia, alles klar und verstaendlich, fast wie in MatLab.
Danke für das Video. Ich verstehe nicht, warum man die Entstehung der Ergebnisse wichtig sein sollte. Das zeigt, dass Menschen die Sinnhaftigkeit immer validieren müssen. Das ist bei allen Themen so: wenn man einen Apparat mit FEM berechnet, versteht man auch nicht warum die Ergebnisse an jedem Knoten usw. Deshalb muss es ein Mensch interpretieren und überlegen, ob das Ergebnis sinnvoll ist. Da gibt es sehr viele Beispiele. Bei AI wird immer so gemacht, als sei das schlimm. Ich sehe diesen Punkt nicht. Funktion>>> Nachvollziehbarkeit
Sehen Sie nicht die Gefahr, dass durch die übergroße Komplexität ein Modell unbemerkt das Falsche gelernt hat (wie in dem Video demonstriert) und daher in kritischen Situationen Fehlentscheidungen trifft?
@@vonjd diese Gefahr sehe ich nur dann, wenn der Mensch in der Entscheidungsfindung komplett ausgeschlossen wird. Ohne Mensch entspräche das einer Steuerung und mit Mensch wird eine Regelung daraus. Und umgekehrt: wenn zB Ärzte die KI-Antworten jahrelang korrigieren, wird die KI irgendwann diese Fehler auch nicht mehr machen. Und beim Schreiben fällt mir gerade auf, dass wenn wir die KI immer nachvollziehen können, kann sie ja quasi kaum neue Muster erkennen, da wir dann sagen würden, dass das nicht stimmen kann.
Ihr letzter Punkt ist interessant, da muss ich mal drüber nachdenken...
Habe jetzt nochmal drüber nachgedacht: warum sollten neue Muster nicht erkannt werden können, wenn sie transparent gemacht werden? In diesem Zusammenhang dürfte dieses Video interessant sein: kzhead.info/sun/gaeQd5hwqGOKpH0/bejne.html
@@vonjd Danke. Ich habe mir das Video angeschaut. Wenn man die genannte Erklärung betrachtet, ist der Kontext auch logisch und kein komplexes Problem (eher extrem umerwartet). Deshalb ist die Mathematik dahinter nachvollziehbar. Wenn man hochkomplexe Prozesse betrachtet, ist es uU einfach nicht mehr nachvollziehbar. Beispiel: Albert Einstein hatte viel über Physik gelernt und die richtigen Schlüsse aus vorherigen Theorien gezogen. Nur ganz wenige Menschen können solche Zusammenhänge verstehen/erkennen. Allgemein findet man es nicht schlimm, dass man das nicht versteht. Aber die Erwartung ist bei Software viel höher. Ich denke, dass das Ergebnis zählt. Und wenn eine KI auf Bildern Krankheiten erkennen kann und es stimmt, ist es zweitrangig, warum es das erkennt.
Ich liebe diese Videos und hasse sie. Sie sind ein Baustein von vielen die das Bild der Umgebung deutlich schärfer zeichnen und somit leider auch zu einer gewissen Resignation beitragen denn was kann man eigentlich noch glauben ?
Am Ende wird es ein "Wettrüsten" auf diversen Feldern zwischen verschiedenen KIs geben (wie immer in der Evolution) und es werden sich neue Vertrauensmechanismen rausbilden.
Mmm, ich bleibe dabei, das System der "Maschine Learning" ist ein statistischer Wahrscheinlichkeitsrechner, der uns als Künstliche Intelligenz verkauft wird.
Einfach mal eine provokative Frage: Sind wir am Ende nicht auch, wenn auch oft unbewusst, "statistische Wahrscheinlichkeitsrechner"? Wenn jemand mit einem Messer in der Hand schreiend auf uns zu läuft, könnte er uns das Messer ja auch nur schenken wollen... wahrscheinlich ist das aber eher nicht, daher laufen wir besser weg...
@@vonjd Nicht nur unbewusst. Ich würde das einfach "Lebenserfahrung" und "gelerntes Wissen" nennen. Und das macht biologisch und im Hinblick auf die Evolution auch richtig Sinn. Wieso sollte sich eine KI also anders verhalten, nur DAMIT es anders ist?
Dann hatte ich Sie vielleicht falsch verstanden, ich dachte, Sie dachten der Begriff Künstliche Intelligenz wäre in dem Zusammenhang unangemessen.
@@vonjd Das dachte der Originalkommentator, ja. Ich habe nur auf "wenn auch oft unbewusst" reagiert. Meiner Meinung nach ist der Begriff KI durchaus passend. Denn es soll ja per Definition etwas nachgebaut und optimiert werden, was es in der Natur schon lange gibt. Und Sie haben recht: Erfahrung baut nun mal auf Wahrscheinlichkeit auf.
heuristiken = praktische statistik (s. messer beispiel, oder basketballwurf, dessen flugbahn niemand erst berechnen wird, um im match den korb zu treffen) und natürlich kann man den "menschen" und seine entscheidungen auf reine statistik (auf mehreren) ebenen versuchen zu reduzieren. aber - und dazu muss man nicht religiös werden - das "ghost in the machine problem" oder emergenz hat man damit nicht adressiert. (s. komplexe strukturen (aka "synthetisches leben") aus einfachsten regeln befolgende zelluläre automaten, s. "game of life") was ich damit sagen will: chat GPT und andere modelle können verblüffen, und auch in "einfachen" oder "unterkomplexen" gebieten hilfreich sein, aber die AGI-panik (a. la terminator oder paperclip maximizer) halte ich derzeit für maßlos übertrieben. schon aufgrund der hardware- und energie-kosten und dennoch "wenigen" verbindungen die die layer von deep learnong modellen herstellen können, unsere gehirne aber kostengündtig als wet-ware im meatspace mitbringen.