Was ist ChatGPT? – Tutorial zu ChatGPT

Nachdem wir jetzt also schon einmal gesehen haben, wie einfach die Kommunikation mit ChatGPT ist und wie gut die Ergebnisse sind, ist es an der Zeit, dass wir ein bisschen mehr über den Bot lernen, wo er herkommt und wie das Ganze funktioniert. ChatGPT wurde Ende November 2022 von OpenAI vorgestellt und der Öffentlichkeit zugänglich gemacht. Ohne jetzt zu lange und im Detail auf die Geschichte einzugehen, wollen wir uns kurz diese Firma anschauen. OpenAI ist ein Unternehmen, das sich schon eine ganze Weile mit künstlicher Intelligenz beschäftigt und in diesem Gebiet forscht. 2015 gründeten damals Sam Altman, der heute immer noch CEO ist, Greg Brockman, Elon Musk, Ilya Sutskever, Wojciech Zaremba und John Schulman das unabhängige Forschungslabor OpenAI mit dem Ziel oder der Mission, sicherzustellen, dass künstliche Intelligenz der ganzen Menschheit zugutekommt. Das damalige Investment in diese Mission betrug insgesamt ca. 1 Milliarde US-Dollar, wobei OpenAI so wenig wie möglich davon ausgeben wollte. Seitdem hat sich aber einiges getan, und obwohl das Ziel, auch laut Website und Kommunikation des Unternehmens, sich nicht geändert hat, hat OpenAI mittlerweile jede Menge Investor:innen von sich überzeugen können und konnte Anfang 2025 mit 40 Milliarden das bisher größte Investment aller Zeiten einsammeln. Auch am Führungsteam gab es mittlerweile einige Änderungen, die größte vermutlich mit dem Ausscheiden von Elon Musk, der mittlerweile mit xAI ein eigenes KI-Unternehmen führt. Ein Spezialgebiet der Forschenden von OpenAI sind die sogenannten GPT-Modelle, die ja auch den Namen ChatGPT inspiriert haben. GPT ist eine Abkürzung und steht für "Generative Pre-Trained Transformer". Das klingt erst mal sehr kompliziert, und auch wenn es das auf der untersten technischen Ebene natürlich ist, kann man es mit ein paar Analogien ganz gut erklären. Und das wird uns enorm dabei helfen, zu verstehen, wie eben auch ChatGPT funktioniert. Ein Generative Pre-Trained Transformer ist eine spezielle Art eines sogenannten Large Language Models oder kurz LLM, mit dem Computer Muster oder Pattern aus Daten lernen und dann Vorhersagen oder Entscheidungen treffen können, ohne wirklich explizit dafür programmiert worden zu sein. Sehen wir uns die drei Teile von GPT an. Generative bedeutet, dass das Modell die Fähigkeit hat, Ausgaben zu generieren. In den meisten Fällen, und auch bei ChatGPT, handelt es sich dabei hauptsächlich um Text. Pre-Trained: Das Modell wird trainiert, indem es eine große – oder besser gesagt riesige – Menge an Daten bekommt. Bei den GPT-Modellen von OpenAI handelt es sich dabei um unglaublich viel Text, den die Modelle zum Training bekommen. Das Pre in Pre-Trained bezieht sich darauf, dass dieses allgemeine Training passiert, bevor das Modell für speziellere Aufgaben nochmals besser abgestimmt werden kann. Und dann haben wir noch Transformer. Transformer bezieht sich auf die Art und Weise, wie das Modell arbeitet. GPT-Modelle verarbeiten sequentielle Daten, wie Sätze, aber im Gegensatz zu anderen Strukturen nicht zwangsläufig der Reihe nach. Das ist besonders nützlich für Sprache, denn manchmal kann die Bedeutung eines Wortes von anderen Wörtern abhängen, die sowohl davor als auch danach kommen. Aber machen wir doch mal ein ganz konkretes Beispiel, wie ein GPT-Modell arbeitet, um es noch einfacher herunterzubrechen und verständlich zu machen. Stellen wir uns vor, wir stellen dem GPT-Modell die Frage: Was ist ein Apfel? Zuerst schaut das Modell auf die Wörter in dieser Frage. Es erkennt das Wort Apfel und versteht, dass wir Informationen über Äpfel suchen. Es erinnert sich an all die Informationen über Äpfel, die es während seines Trainings gelesen hat. Dann beginnt es, eine Antwort zu erstellen. Es fängt wahrscheinlich mit dem Wort "Ein" an, weil es gelernt hat, dass eine Definition oft mit "Ein" beginnt. Dann wählt es das nächste Wort, vielleicht Apfel, und dann weitere Wörter, wie "ist", "eine" und "Frucht". Also könnte die Antwort so aussehen: "Ein Apfel ist eine Frucht, die in vielen Teilen der Welt wächst. Sie kann in verschiedenen Farben, wie Rot, Grün und Gelb, gefunden werden und wird oft frisch gegessen oder zum Kochen und Backen verwendet." So hat das GPT-Modell eine vollständige Antwort auf unsere Frage generiert, basierend auf dem, was es während des Trainings gelernt hat. Es versteht nicht wirklich, was ein Apfel ist, aber es kann die Information wiedergeben, die es gelernt hat. Der Grundstein für ChatGPT. Wie wir es heute kennen und benutzen, wurde im Juni 2018 gelegt, als OpenAI mit dem Modell GPT-1 diese GPT-Serie begonnen hat. Dieses erste Modell wurde mit Büchern trainiert und hat zum ersten Mal wirklich die Fähigkeit gezeigt, durch sogenanntes Unsupervised Learning, also eigenständiges Lernen, ein Sprachverständnis zu entwickeln und passende Wörter als Folge zu generieren. Um die Entwicklung und Verbesserung der GPT-Modelle seitdem besser zu verstehen, müssen wir uns noch einen weiteren Fachbegriff anschauen: Parameter. Natürlich hat man, denke ich, irgendeine Definition von Parametern im Kopf, aber in Bezug auf GPT-Modelle ist es ein spezieller Fall. Ein Parameter für ein solches Modell bezeichnet vereinfacht gesagt eine kleine Regel für Sprache, die das Modell gelernt hat. GPT kann dann beim Generieren von Text auf das Wissen, das mit diesen Regeln trainiert wurde, zurückgreifen, um immer das nächste Wort so gut wie möglich vorhersagen zu können. GPT-1 hatte damals 117 Millionen Parameter, also 117 Millionen Miniregeln, die befolgt wurden, um Text zu generieren. Das klingt unglaublich, ist aber für heutige Modelle eigentlich lachhaft wenig. Dieser Fakt zeigt schon die enorme Leistung, die solche Modelle erbringen, und erklärt relativ gut, warum man ein solches Modell nicht einfach mal so auf dem eigenen Computer verwenden oder gar trainieren kann. Man braucht unglaublich viel Rechenleistung dafür. Im Februar 2019 kam dann schon GPT-2 mit einer Steigerung der Parameter auf direkt einmal 1,5 Milliarden. Durch diesen Fortschritt konnte das neue Modell sehr viel bessere Texte generieren und schon sinnvolle Texte auch mit mehreren Absätzen erzeugen. Es dauerte allerdings noch bis November 2019, bis OpenAI das Modell zugänglich machte, da hier bereits der Missbrauch solcher Modelle ein großes Thema wurde und zunächst Sicherheitsrisiken geklärt werden mussten. Im Juni 2020 wurde dann mit GPT-3 ein echter Meilenstein erreicht. Mit sage und schreibe 175 Milliarden Parametern konnte dieses Modell schon unglaublich gute Texte generieren und hatte ein umfassendes Sprachverständnis. Seitdem wurden die Modelle aber stetig weiterentwickelt und bieten mittlerweile ein Vielfaches der Leistung, die wir in der ersten ChatGPT-Version mit dem GPT-3-Modell gesehen haben. Die Parameter werden von OpenAI nicht mehr angegeben. Wenn man aber vergleichbare Modelle anschaut, dann bewegen wir uns vermutlich im hohen dreistelligen Milliardenbereich. Wie bereits am Anfang gesagt, wurde im November 2022 ChatGPT veröffentlicht, und damit eigentlich das erste Mal eine Schnittstelle zu einem GPT-Modell, die wirklich von jeder und jedem benutzt werden konnte. Man brauchte eigentlich selbst gar nichts über KI zu wissen, um mit dem Chatbot interagieren zu können. Die guten Ergebnisse, die dank den starken Modellen erzielt werden können, haben dazu geführt, dass ChatGPT in Rekordzeit neue User gewinnen konnte, und schon nach kürzester Zeit die Grenze von 100 Millionen Nutzer:innen überschritten wurde. Mittlerweile nutzen schon über 500 Millionen Menschen den Chatbot jede Woche. KI ist damit auf jeden Fall in der Mitte der Gesellschaft angekommen, und auch deshalb ist es so wichtig, sich jetzt mit dem Thema zu beschäftigen und zu lernen, wie man diese neuen Tools so gut wie möglich einsetzen kann. Bevor wir damit dann ganz praktisch beginnen, wollen wir uns im nächsten Video aber noch kurz anschauen, was GPT wirklich gut kann und wo vielleicht Limits liegen, welche Anwendungen vielleicht nicht so gut geeignet sind.