Systeme wie ChatGPT, Claude oder Gemini haben Sprachmodelle aus der Forschung in den Alltag geholt. Sie beantworten Fragen, fassen Texte zusammen, schreiben Code und führen Dialoge in natürlicher Sprache. Hinter dieser Oberfläche stehen Large Language Models (LLMs), also große Sprachmodelle, die auf jahrzehntelanger Forschung in Natural Language Processing und Machine Learning aufbauen.
Dieser Artikel führt die Grundbegriffe ein. Es geht nicht um eine vollständige technische Herleitung, sondern um das Vokabular, das für die weiteren Teile der Serie nötig ist: Tokens, Embeddings, Attention, Training und die wichtigsten Grenzen. Die Details zur historischen Entwicklung, Architektur und Sicherheit folgen in den weiteren Artikeln.
Begriff des Sprachmodells
Ein Sprachmodell ist ein System, das Wahrscheinlichkeiten über Sprache berechnet. Klassisch bedeutet das: Es schätzt, welches Wort, Zeichen oder Token in einem gegebenen Kontext wahrscheinlich folgt. Moderne Sprachmodelle nutzen dieses Grundprinzip in großem Maßstab und verbinden es mit neuronalen Repräsentationen, großen Datensätzen und mehrstufigem Training.
Das einfache Smartphone-Beispiel hilft als Einstieg. Wenn eine Tastatur nach "Ich freue mich auf..." passende Wörter vorschlägt, nutzt sie ein Sprachmodell. Es berechnet, welche Fortsetzung im Kontext wahrscheinlich ist. Large Language Models arbeiten mit demselben Grundmotiv, aber in viel größerer und flexiblerer Form.
Bei heutigen Modellen ist es präziser, von Token-Vorhersage zu sprechen. Ein Token kann ein Wort, ein Wortteil, ein Satzzeichen oder ein anderes Textfragment sein. Das Modell erzeugt Text, indem es immer wieder Wahrscheinlichkeiten für das nächste Token berechnet und ein Token auswählt. Daraus entsteht schrittweise eine Antwort.
Diese Aufgabe klingt schlicht, ist aber anspruchsvoll. Um nach "Die Hauptstadt von Frankreich ist..." wahrscheinlich Paris zu erzeugen, muss das Modell nicht nur Wortfolgen kennen. Es muss in seinen Trainingsdaten Muster gelernt haben, die Länder, Hauptstädte, Fragen, Satzbau und Antwortformate verbinden. Ob man das bereits "Verstehen" nennt, ist eine offene Debatte. Technisch genügt zunächst: Das Modell hat statistische Zusammenhänge gelernt, die in vielen Situationen brauchbare Antworten ermöglichen.
Größe, Daten und Rechenaufwand
Der Begriff Large Language Model bezeichnet keine scharfe technische Klasse mit fixer Grenze. Gemeint sind Sprachmodelle, deren Leistungsfähigkeit stark aus Modellgröße, Trainingsdaten und Rechenaufwand entsteht. Größe allein reicht dabei nicht. Entscheidend ist das Zusammenspiel aus Parametern, Datenqualität, Trainingsziel, Architektur und späterer Anpassung.
Parameter sind interne Zahlenwerte des Modells. Sie werden während des Trainings angepasst und bestimmen, wie das Modell Eingaben verarbeitet. GPT-3 hatte 175 Milliarden Parameter, viele spätere Modellfamilien liegen ebenfalls im Milliardenbereich. Die genaue Parameterzahl moderner proprietärer Modelle ist allerdings oft nicht bekannt.
Trainingsdaten sind die zweite Dimension. LLMs werden auf großen Mengen Text trainiert, häufig mit einer Mischung aus Webseiten, Büchern, Code, wissenschaftlichen Texten, Dialogdaten und kuratierten Datensätzen. "Das Internet" ist dabei eine grobe Abkürzung, keine genaue Beschreibung. Die Auswahl, Bereinigung und Gewichtung der Daten beeinflusst das Modell stark.
Der Rechenaufwand ist die dritte Dimension. Training großer Modelle erfordert spezialisierte Hardware, verteilte Infrastruktur und erhebliche Energiekosten. Konkrete Kostenangaben sind schwer vergleichbar, weil Anbieter Hardware, Optimierung und Auslastung unterschiedlich handhaben. Praktisch ist aber klar: Frontier-Modelle entstehen nicht mehr nebenbei auf Einzelrechnern, sondern in industriellen Trainingsumgebungen.
Skalierung hat viele Fähigkeiten verbessert, aber nicht jede Verbesserung ist leicht zu deuten. Manche Leistungen wirken erst ab bestimmten Größen praktisch nutzbar, etwa In-Context Learning, Code-Erzeugung oder komplexere Aufgabenübertragung. Ob man diese Effekte als Emergenz, kontinuierliche Leistungssteigerung oder Folge bestimmter Metriken beschreibt, hängt vom konkreten Fall ab. Für die Einführung genügt: Große Modelle können Aufgaben bearbeiten, für die kleine Sprachmodelle praktisch kaum geeignet waren.
Historischer Rahmen
Moderne LLMs stehen am Ende mehrerer technischer Linien. Frühere statistische Sprachmodelle arbeiteten mit N-Grammen, also kurzen Wortfolgen. Sie waren effizient und nützlich, konnten aber nur begrenzten Kontext verarbeiten.
Word Embeddings wie Word2Vec verschoben den Fokus auf dichte Vektorrepräsentationen. Wörter wurden nicht mehr nur gezählt, sondern als Punkte in einem Bedeutungsraum modelliert. Dadurch konnten semantische Ähnlichkeiten mathematisch genutzt werden, etwa die Nähe zwischen "Auto" und "Fahrzeug".
Recurrent Neural Networks und LSTM-Modelle brachten Sequenzverarbeitung stärker in neuronale Modelle. Sie konnten Information durch Texte tragen, blieben aber schwer parallelisierbar und hatten Grenzen bei langen Abhängigkeiten.
Der Transformer von 2017 änderte vor allem die Skalierbarkeit. Self-Attention erlaubte, Beziehungen zwischen Positionen im Kontext direkter und im Training besser parallelisierbar zu modellieren. BERT und GPT nutzten diese Architektur anschließend für unterschiedliche Ziele: BERT für bidirektionale Repräsentationen, GPT für autoregressive Textgenerierung. Der nächste Artikel der Serie zeichnet diese Entwicklung ausführlicher nach.
Tokens als Verarbeitungseinheiten
Tokens sind die Einheiten, mit denen Sprachmodelle intern arbeiten. Ein Token kann ein ganzes Wort sein, aber auch ein Wortteil oder ein Satzzeichen. Das deutsche Wort "Bundestagswahl" könnte in mehrere Subwort-Tokens zerlegt werden. Diese Zerlegung hilft, auch seltene oder neue Wörter zu verarbeiten.
Tokenisierung hat praktische Folgen. Kontextlängen werden meist in Tokens angegeben, nicht in Wörtern. Eine Kontextlänge von 100.000 Tokens entspricht nicht exakt 100.000 Wörtern. Die Umrechnung hängt von Sprache, Wortlänge, Zeichensystem und Tokenizer ab.
Auch Kosten und Geschwindigkeit hängen an Tokens. Modelle berechnen für jedes neue Token Wahrscheinlichkeiten und erzeugen Antworten Token für Token. Lange Eingaben und lange Antworten erhöhen also Rechenaufwand, Latenz und Kosten.
Embeddings als Zahlenrepräsentationen
Embeddings übersetzen Tokens in numerische Vektoren. Ein Vektor ist eine Liste von Zahlen, die das Modell weiterverarbeiten kann. Diese Zahlen sind keine willkürlichen IDs. Sie werden im Training so angepasst, dass sie für die Modellaufgabe nützliche Eigenschaften enthalten.
Man kann sich Embeddings wie Koordinaten auf einer sehr komplexen Landkarte vorstellen. Tokens mit ähnlichen Kontexten landen oft näher beieinander. Dadurch werden semantische und syntaktische Beziehungen teilweise rechnerisch nutzbar. Die bekannte Analogie König - Mann + Frau ≈ Königin zeigt solche Regularitäten in bestimmten Embedding-Räumen.
Diese Darstellung ist hilfreich, aber begrenzt. Embeddings bilden statistische Nähe ab, kein menschliches Begriffsverständnis. Sie können außerdem Verzerrungen aus Trainingsdaten übernehmen. Wenn Daten gesellschaftliche Stereotype enthalten, können diese auch in Repräsentationen sichtbar werden.
Attention und Kontextbeziehungen
Self-Attention ist ein Kernmechanismus moderner Transformer-Modelle. Für jedes Token berechnet das Modell, welche anderen Tokens im Kontext für die Verarbeitung relevant sein könnten. Dadurch können Beziehungen über größere Distanzen direkter modelliert werden als in klassischen rekurrenten Architekturen.
Ein einfaches Beispiel ist ein Pronomen. Im Satz "Die Katze, die auf dem Dach saß, war schwarz" muss das Modell "war" mit "Katze" verbinden, nicht mit dem näherstehenden "Dach". Attention kann solche Beziehungen gewichten. Das bedeutet nicht, dass das Modell wie ein Mensch liest, aber es erhält eine rechnerische Möglichkeit, entfernte Stellen des Kontextes einzubeziehen.
Attention hat ihren Preis. Standard-Attention wächst mit der Kontextlänge quadratisch. Lange Kontexte erfordern also deutlich mehr Speicher und Rechenzeit. Außerdem ist mehr Kontext nicht automatisch besser. Modelle können relevante Informationen in langen Eingaben übersehen oder schwächer gewichten, besonders wenn sie ungünstig platziert sind.
Training in mehreren Phasen
Das Training eines modernen Sprachmodells besteht meist aus mehreren Phasen. Die erste Phase ist das Pretraining. Dabei lernt das Modell aus großen Textmengen, Tokens im Kontext vorherzusagen. Durch diese Aufgabe entstehen Repräsentationen für Grammatik, Stil, Faktenmuster, Code, Argumentationsformen und viele andere sprachliche Strukturen.
Pretraining erzeugt zunächst ein Basismodell. Ein solches Modell kann Text fortsetzen, ist aber nicht automatisch ein guter Assistent. Es weiß nicht von sich aus, ob eine Eingabe als Frage, Befehl, Dialogbeitrag oder Beispiel gemeint ist.
Fine-Tuning passt ein vortrainiertes Modell an bestimmte Aufgaben, Domänen oder Verhaltensweisen an. Instruction Tuning trainiert Modelle darauf, Anweisungen zu befolgen. Reinforcement Learning from Human Feedback (RLHF) nutzt menschliche Präferenzdaten, um Antworten hilfreicher, harmloser oder besser an Erwartungen anzupassen.
Diese späteren Trainingsphasen erklären, warum ChatGPT auf "Schreibe eine E-Mail" nicht nur den Satz fortsetzt, sondern eine E-Mail erzeugt. Sie erklären aber auch einen Teil der Risiken: Modelle optimieren nicht Wahrheit im abstrakten Sinn, sondern Trainingsziele, Präferenzen und Antwortmuster.
Generierung als iterativer Prozess
Bei einer Anfrage wird der Text zunächst tokenisiert. Danach werden Tokens in Embeddings überführt und durch viele Transformer-Schichten verarbeitet. Das Modell berechnet schließlich Wahrscheinlichkeiten für mögliche nächste Tokens.
Aus dieser Verteilung wird ein Token ausgewählt. Je nach Sampling-Einstellungen kann das Modell sehr deterministisch oder variabler antworten. Danach wird das neue Token an den bisherigen Kontext angehängt, und der Prozess beginnt erneut. So entsteht eine Antwort Schritt für Schritt.
Dieser autoregressive Prozess erklärt einige typische Eigenschaften von LLMs. Sie können lange, kohärente Texte erzeugen, weil jedes neue Token auf dem bisherigen Kontext basiert. Sie können aber auch in plausible falsche Richtungen laufen, wenn frühere Tokens eine fehlerhafte Spur legen. Textgenerierung ist dadurch zugleich kontrollierbar und empfindlich gegenüber Kontext, Sampling und Prompt.
Anwendungen
LLMs werden für Textgenerierung, Zusammenfassung, Übersetzung, Dialog, Code-Unterstützung, Recherchevorbereitung und Wissensarbeit eingesetzt. Ihre Stärke liegt vor allem dort, wo Sprache strukturiert, umformuliert, verglichen oder als Arbeitsskizze genutzt wird.
Bei Textaufgaben können Modelle Entwürfe erstellen, Tonalität anpassen oder lange Inhalte verdichten. Die Ergebnisse sind oft brauchbar, müssen aber geprüft werden. Gerade bei Fachtexten zählt nicht nur sprachliche Glätte, sondern Quellenlage, Genauigkeit und argumentative Struktur.
Bei Code können Modelle Funktionen vorschlagen, Fehler erklären oder Tests skizzieren. Das ist praktisch, ersetzt aber keine technische Prüfung. Code kann syntaktisch plausibel und trotzdem unsicher, ineffizient oder fachlich falsch sein.
Bei Wissensarbeit helfen LLMs häufig als Strukturierungswerkzeug. Sie können Fragen sortieren, Varianten erzeugen, Dokumente zusammenfassen oder Argumente gegenüberstellen. Sobald Aussagen faktisch belastbar sein müssen, braucht es Quellen, Toolzugriff oder menschliche Prüfung.
Grenzen im Überblick
Halluzinationen sind das bekannteste Problem. Sprachmodelle können grammatikalisch korrekte und überzeugende Texte erzeugen, die faktisch falsch sind. Der Grund liegt im Trainingsziel: Das Modell erzeugt plausible Tokens im Kontext. Faktische Korrektheit muss zusätzlich abgesichert werden.
Kontextbegrenzungen bleiben auch bei großen Fenstern relevant. Ein Modell verarbeitet nur, was im aktuellen Kontext steht oder über externe Systeme eingebunden wird. Lange Kontexte können teuer sein und relevante Informationen ungünstig gewichten.
Bias und Verzerrungen entstehen aus Trainingsdaten, Modellentscheidungen und späterer Ausrichtung. Modelle können gesellschaftliche Stereotype reproduzieren oder bestimmte Perspektiven bevorzugen. Technische Filter und Alignment reduzieren Risiken, lösen sie aber nicht vollständig.
Aktualität hängt vom Modell und seinen Werkzeugen ab. Ein Basismodell kennt nur Muster aus seiner Trainingsphase. Aktuelle Informationen benötigen Retrieval, Webzugriff, Datenbankabfragen oder andere externe Quellen.
Grounding und Verständnis bleiben offene Fragen. Sprachmodelle lernen über Sprache, Code, Bilder und Toolinteraktionen sehr viel über die Welt. Ob das einem menschlichen Weltverständnis entspricht, ist nicht entschieden. Praktisch wichtiger ist oft, ob ein System seine Aussagen prüfen, Quellen nutzen, Fehler erkennen und Grenzen kommunizieren kann.
Fazit
Sprachmodelle sind Systeme zur Verarbeitung und Erzeugung von Sprache auf Basis gelernter Wahrscheinlichkeitsmuster. Large Language Models erweitern dieses Grundprinzip durch große Modelle, große Datenmengen, viel Rechenaufwand und zusätzliche Trainingsphasen für Anweisungsbefolgung und Dialog.
Die wichtigsten Begriffe sind damit gesetzt: Tokens sind die Verarbeitungseinheiten, Embeddings die numerischen Repräsentationen, Attention die Kontextgewichtung, Training die Anpassung der Modellparameter und Generierung der schrittweise Aufbau einer Antwort. Diese Grundbegriffe reichen aus, um die historische Entwicklung im nächsten Artikel einzuordnen und später die technische Funktionsweise genauer zu verstehen.
Der wichtigste Vorbehalt gehört schon in die Einführung: LLMs sind leistungsfähige Sprachsysteme, ihre Ausgaben sind aber nicht automatisch zuverlässig oder faktisch korrekt. Ihr Nutzen entsteht dort, wo ihre Ausgaben geprüft, kontextualisiert und in klare Arbeitsprozesse eingebettet werden.