Moderne Sprachmodelle wie GPT oder Claude wirken in der Nutzung einfach: Eine Eingabe wird formuliert, wenige Sekunden später erscheint eine passende Antwort. Technisch ist dieser Ablauf eine Folge vieler mathematischer Operationen. Text wird in Tokens zerlegt, in Vektoren übersetzt, durch zahlreiche Transformer-Schichten verarbeitet und anschließend Token für Token fortgesetzt.
Was passiert bei einer ChatGPT-Anfrage?
Wenn ein Nutzer "Was ist die Hauptstadt von Frankreich?" eingibt, durchläuft diese Frage mehrere Verarbeitungsschritte. Der Text wird zunächst in numerische Tokens zerlegt. Diese Tokens werden in Vektoren abgebildet, durch ein neuronales Netzwerk mit sehr vielen Parametern verarbeitet und am Ende in eine Wahrscheinlichkeitsverteilung über mögliche nächste Tokens übersetzt. Aus dieser Verteilung wird ein Token ausgewählt. Danach beginnt der Vorgang erneut, nun mit dem bereits erweiterten Kontext.
Das Grundprinzip ist Next-Token-Prediction. Das Modell sagt nicht einen ganzen Gedanken auf einmal voraus, sondern berechnet fortlaufend, welches Token auf Basis des bisherigen Kontextes plausibel folgt. Tokenisierung macht Text rechnerisch zugänglich, Embeddings übersetzen diskrete Symbole in kontinuierliche Vektorräume, Attention gewichtet Beziehungen zwischen Tokenrepräsentationen, und Sampling-Verfahren machen aus Wahrscheinlichkeiten konkrete Ausgaben.
Grundaufbau: Feed-Forward Neuronale Netze als Foundation
Moderne Sprachmodelle enthalten viele Komponenten, deren Grundidee aus neuronalen Netzen stammt. Ein einzelnes künstliches Neuron führt vereinfacht zwei Operationen durch: Es bildet eine gewichtete Summe seiner Eingaben und wendet anschließend eine nichtlineare Aktivierungsfunktion an.
y = f(∑(wᵢ * xᵢ) + b) wobei: wᵢ = Gewichte für Eingabe i xᵢ = Eingabewerte b = Bias-Term f = Aktivierungsfunktion (z.B. ReLU, GELU)
Die Gewichte bestimmen, wie stark einzelne Eingaben in die Berechnung eingehen. Sie werden während des Trainings angepasst. Der Bias-Term verschiebt die Aktivierung, sodass ein Neuron nicht nur durch die reine gewichtete Summe bestimmt wird. Aktivierungsfunktionen wie ReLU (Rectified Linear Unit) oder GELU (Gaussian Error Linear Unit) führen Nichtlinearität ein. Ohne solche Nichtlinearitäten würde ein tiefes Netzwerk im Kern nur eine große lineare Abbildung lernen.
Viele solcher Operationen werden in Schichten angeordnet. In Transformer-Modellen entstehen dadurch Repräsentationen, die auf mehreren Ebenen Informationen über Tokens, Positionen und Kontext enthalten. Häufig lassen sich in frühen Schichten eher lokale oder formale Muster beobachten und in späteren Schichten stärker aufgabennahe Repräsentationen. Diese Zuordnung ist aber keine feste Treppe von Syntax zu Semantik. Die interne Arbeitsteilung großer Modelle ist verteilt und nur teilweise interpretierbar.
Von Text zu Zahlen: Der Tokenisierung-Prozess
Bevor ein Sprachmodell Text verarbeiten kann, muss er in numerische Repräsentationen überführt werden. Tokenisierung zerlegt Text in diskrete Einheiten, die das Modell als IDs verarbeitet. Moderne Systeme verwenden meist Subword- oder Byte-nahe Verfahren, weil reine Wortlisten zu groß und zu unflexibel wären.
Byte-Pair Encoding (BPE) und verwandte Verfahren wie WordPiece oder SentencePiece zerlegen Wörter in häufige Teilstücke. BPE beginnt vereinfacht mit kleinen Einheiten und fusioniert iterativ häufige Paare, bis eine gewünschte Vokabulargröße erreicht ist. Ein Beispiel verdeutlicht das Prinzip:
Eingabe: "unerwarteterweise" BPE-Zerlegung: ["un", "erwar", "tet", "er", "weise"] Häufige Sub-Words: "un-" (Präfix): ungern, ungewöhnlich, unbekannt "weise" (Suffix): teilweise, schrittweise, normalerweise
Diese Subword-Repräsentation bietet mehrere Vorteile. Neue oder seltene Wörter können aus bekannten Bestandteilen zusammengesetzt werden. Mehrsprachige Modelle können Teilstücke über Sprachen hinweg nutzen. Zugleich entsteht ein Kompromiss zwischen Vokabulargröße und Sequenzlänge. Special Tokens markieren je nach Modellfamilie und Aufgabe beispielsweise Beginn und Ende einer Sequenz, Rollen in einem Chat, Padding oder Maskierungspositionen. Tokens wie [CLS], [SEP] und [MASK] sind vor allem aus BERT-nahen Architekturen bekannt.
Die resultierende Token-Sequenz wird durch numerische IDs repräsentiert. Diese IDs dienen als Indizes in eine Embedding-Matrix. Typische Vokabulargrößen liegen grob im Bereich von zehntausenden bis über hunderttausend Tokens, abhängig von Modell, Sprache und Tokenizer.
Embeddings: Von Tokens zu Vektoren
Token-Embeddings bilden diskrete Token-IDs auf kontinuierliche Vektoren in einem hochdimensionalen Raum ab. Diese Transformation ist wichtig, da neuronale Netze mit kontinuierlichen numerischen Werten operieren, nicht mit symbolischen Repräsentationen.
Embedding-Matrix E: |V| × d_model Token-ID → Embedding-Vektor 1247 → [0.23, -0.15, 0.87, ..., -0.42] (768 Dimensionen)
Die Embedding-Dimensionalität bestimmt, wie viele Freiheitsgrade eine Tokenrepräsentation besitzt. Höhere Dimensionen können mehr Struktur aufnehmen, erhöhen aber Parameterzahl und Rechenaufwand. Während des Trainings entwickeln diese Vektorräume statistische Struktur: Tokens, die in ähnlichen Kontexten auftreten, erhalten häufig ähnliche Repräsentationen. Daraus entstehen nutzbare Beziehungen, ohne dass das Modell Wörter als symbolische Begriffe im klassischen Sinn speichert.
Positional Encoding adressiert ein Problem der Transformer-Architektur: Da alle Positionen parallel verarbeitet werden, muss Positionsinformation explizit hinzugefügt werden. Sinusoidale Positional Encodings nutzen trigonometrische Funktionen verschiedener Frequenzen:
PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))
Diese Formeln erzeugen für jede Position ein charakteristisches Muster. Andere Modelle verwenden gelernte Positionsvektoren, relative Positionen, RoPE oder ALiBi-ähnliche Varianten. Allen Verfahren gemeinsam ist das Ziel, Reihenfolge und Abstand so einzubringen, dass ein ansonsten weitgehend parallel arbeitender Transformer Sequenzstruktur nutzen kann.
Der Attention-Mechanismus: Herzstück der Transformer
Self-Attention ermöglicht, Beziehungen zwischen Positionen einer Sequenz direkt zu gewichten. Dabei geht es nicht um Aufmerksamkeit im menschlichen Sinn, sondern um eine mathematische Operation über Vektoren. Der Mechanismus basiert auf drei Komponenten: Query (Q), Key (K) und Value (V). Sie entstehen aus den Eingabe-Repräsentationen durch gelernte lineare Projektionen.
Attention(Q,K,V) = softmax(QK^T / √d_k) V wobei: Q = X W_Q (Was suche ich?) K = X W_K (Womit vergleiche ich?) V = X W_V (Was übernehme ich?) d_k = Schlüssel-Dimensionalität (Skalierungsfaktor)
Der Attention-Score zwischen zwei Positionen wird durch das Skalarprodukt ihrer Query- und Key-Vektoren berechnet. Diese Scores werden durch die Quadratwurzel der Key-Dimension normalisiert, damit die Werte bei großen Dimensionen nicht zu stark anwachsen. Softmax-Normalisierung wandelt die Scores in Gewichte um, die sich pro Abfrageposition zu 1 summieren.
Ein praktisches Beispiel illustriert den Prozess: Im Satz "Der große Hund bellte laut" berechnet das Attention-System für das Wort "bellte" hohe Scores zu "Hund" (grammatisches Subjekt) und niedrigere zu "große" oder "laut". Diese gewichtete Aufmerksamkeit ermöglicht es dem Modell, syntaktische und semantische Beziehungen zu erfassen, unabhängig von der Distanz zwischen den Wörtern.
Multi-Head Attention erweitert diesen Mechanismus durch mehrere parallele Attention-Köpfe. Unterschiedliche Köpfe können unterschiedliche Beziehungsmuster abbilden, etwa lokale Nachbarschaft, syntaktische Abhängigkeiten oder wiederkehrende Referenzen. Diese Rollen entstehen nicht sauber vorgegeben, sondern im Training. Die Ausgaben aller Köpfe werden zusammengeführt und durch eine weitere lineare Projektion verarbeitet.
Token-Sampling: Von Wahrscheinlichkeiten zu Text
Die letzte Projektion eines Sprachmodells produziert rohe Werte für das gesamte Vokabular. Diese Werte heißen Logits. Durch Softmax werden sie in eine Wahrscheinlichkeitsverteilung für das nächste Token überführt:
P(token_i) = exp(logit_i) / ∑_j exp(logit_j)
Temperature-Scaling verändert die Verteilung vor der Auswahl. Niedrige Temperature (< 1.0) verstärkt wahrscheinliche Tokens und macht die Ausgabe deterministischer. Hohe Temperature (> 1.0) flacht die Verteilung ab und erhöht die Varianz der Ausgabe.
Top-k Sampling beschränkt die Auswahl auf die k wahrscheinlichsten Tokens und ignoriert den Rest der Verteilung. Top-p (Nucleus) Sampling wählt dynamisch die kleinste Menge von Tokens aus, deren kumulierte Wahrscheinlichkeit p überschreitet. Diese Methode passt die Auswahlmenge an die Konfidenz des Modells an: Bei sicheren Vorhersagen werden wenige Top-Kandidaten betrachtet, bei unsicheren Situationen erweitert sich die Auswahl.
Repetition Penalty reduziert monotone Wiederholungen, indem kürzlich verwendete Tokens weniger attraktiv gemacht werden. Length Penalty beeinflusst die Länge generierter Sequenzen. Solche Mechanismen sind keine eigene Sprachkompetenz, sondern Regeln zur Steuerung der Ausgabe.
Trainingsphasen: Vom rohen Text zum nutzbaren Modell
Moderne Sprachmodelle durchlaufen mehrere Trainings- und Anpassungsphasen. Pre-Training bildet das Fundament. Das Modell lernt auf großen Textkorpora, das nächste Token aus dem Kontext vorherzusagen. Dabei entstehen Sprachmuster, Wissensfragmente und Repräsentationen, die später für unterschiedliche Aufgaben genutzt werden können.
Die Loss-Funktion für Pre-Training ist Cross-Entropy zwischen vorhergesagten und tatsächlichen nächsten Tokens:
L = -1/N ∑_{i=1}^N log P(y_i | x_{i})
wobei:
y_i = tatsächliches Token an Position i
P(y_i | x_{i}) = vorhergesagte Wahrscheinlichkeit
N = Sequenzlänge
Fine-Tuning passt ein vortrainiertes Modell an spezifische Aufgaben, Domänen oder gewünschte Ausgabeformate an. Kleinere, kuratierte Datensätze können das Modell beispielsweise für Klassifikation, Question-Answering oder fachliche Schreibstile optimieren. Die bereits gelernten Repräsentationen werden dabei weiter angepasst.
Instruction Tuning trainiert das Modell darauf, Anweisungen und Dialogformate zu verarbeiten, statt nur beliebige Texte fortzusetzen. Supervised Fine-Tuning auf Beispielanweisungen und Antworten macht aus einem Basismodell ein Modell, das stärker als Assistent nutzbar ist.
Reinforcement Learning from Human Feedback (RLHF) und verwandte Verfahren wie Präferenzoptimierung richten Modelle weiter auf erwünschte Antworten aus. Menschen oder KI-gestützte Bewertungsprozesse vergleichen Ausgaben, daraus werden Präferenzsignale abgeleitet. Das Ziel ist nicht, menschliche Werte vollständig zu modellieren, sondern Antworten nützlicher, konsistenter und weniger riskant zu machen. Neuere Verfahren wie Direct Preference Optimization (DPO) verfolgen ähnliche Ziele mit anderen Trainingsschritten.
Forward-Pass: Schritt-für-Schritt durch das Netzwerk
Ein Beispiel verdeutlicht den Forward-Pass durch ein Transformer-Modell. Betrachten wir die Eingabe "Was ist die Hauptstadt":
Tokenisierung zerlegt den Text in Sub-Word-Units: ["Was", "ist", "die", "Haupt", "stadt"]. Diese werden in Token-IDs umgewandelt: [1247, 623, 892, 2156, 7834].
Embedding-Lookup konvertiert jede ID in einen 768-dimensionalen Vektor. Das Token "Was" (ID: 1247) wird zum Embedding-Vektor [0.23, -0.15, 0.87, ..., -0.42]. Positional Encoding wird elementweise addiert, um Positionsinformation zu integrieren.
Transformer-Blöcke verarbeiten diese Embeddings schichtweise. Jeder Block enthält Multi-Head Attention, ein Feed-Forward Network sowie Normalisierung und Residual-Verbindungen. Layer Normalization stabilisiert die Aktivierungen, während Residual Connections den Informations- und Gradientenfluss durch tiefe Netzwerke erleichtern.
Im Attention-Schritt berechnet jedes Token Attention-Weights zu allen anderen Tokens. Das Token "stadt" entwickelt hohe Aufmerksamkeit zu "Haupt" (zusammengesetztes Wort) und moderate Aufmerksamkeit zu "Was" (Fragekontext).
Feed-Forward Networks in jedem Block erweitern die Dimensionalität temporär (typisch 4x), wenden nichtlineare Transformationen an und reduzieren zurück zur ursprünglichen Größe. Diese Expansion ermöglicht komplexere Berechnungen und Merkmalskombinationen.
Output-Projektion überführt die finalen Hidden States in Logits über das gesamte Vokabular. Für Position 5 (nach "stadt") werden Wahrscheinlichkeiten für alle ~50.000 Tokens berechnet. "von" erhält möglicherweise die höchste Wahrscheinlichkeit (0.34), gefolgt von "Frankreichs" (0.28) und anderen plausiblen Fortsetzungen.
Gradient Descent: Wie Modelle lernen
Backpropagation ermöglicht das Training neuronaler Netzwerke, indem der Fehler rückwärts durch das Netzwerk abgeleitet wird. Die Chain Rule der Differentialrechnung zerlegt komplexe Gradienten in berechenbare Komponenten:
∂L/∂w_i = ∂L/∂y × ∂y/∂w_i wobei: L = Loss-Funktion w_i = Gewicht in Schicht i y = Ausgabe der Schicht
Der Adam Optimizer kombiniert Momentum mit adaptiven Lernraten für einzelne Parameter. Momentum glättet vergangene Gradienten, während adaptive Lernraten Parameter unterschiedlich stark aktualisieren können.
Learning Rate Scheduling variiert die Lernrate während des Trainings. Warmup beginnt mit niedriger Lernrate und steigt linear an, um instabile große Gradienten zu Trainingsbeginn zu vermeiden. Cosine Decay reduziert die Lernrate entsprechend einer Cosinus-Funktion, wodurch das Modell gegen Ende des Trainings feinere Anpassungen lernt.
Gradient Clipping verhindert explodierende Gradienten durch Begrenzung der Gradientennorm. Wenn die Norm einen Schwellwert überschreitet, werden alle Gradienten proportional reduziert, um Trainingsstabilität zu gewährleisten.
Encoder vs. Decoder Architekturen
Encoder-Architekturen (BERT-Familie) nutzen bidirektionale Attention, um auf vollständigen Kontext zuzugreifen. Masked Language Modeling verdeckt zufällige Tokens und fordert das Modell auf, diese aus dem umgebenden Kontext zu rekonstruieren. Diese Architektur eignet sich besonders für Aufgaben wie Textklassifikation, Suche oder Named Entity Recognition.
Decoder-Architekturen (GPT-Familie) verwenden kausale Maskierung, die verhindert, dass Tokens auf zukünftige Positionen zugreifen. Diese autoregressive Eigenschaft ermöglicht iterative Textgenerierung. Innerhalb des gegebenen Kontextfensters sieht das Modell aber nur die bereits vorhandenen Tokens, nicht die noch zu generierende Fortsetzung.
Encoder-Decoder-Architekturen (T5, BART) kombinieren beide Ansätze: Der Encoder verarbeitet die Eingabe bidirektional, während der Decoder die Ausgabe autoregressiv generiert. Cross-Attention verbindet beide Komponenten, wodurch der Decoder auf die vollständige Encoder-Repräsentation zugreifen kann.
Die Maskierung implementiert diese Unterschiede technisch: Encoder verwenden keine Maskierung (alle Positionen sehen alle anderen), Decoder nutzen untere Dreiecksmasken (Position i sieht nur Positionen 1 bis i), und Cross-Attention im Encoder-Decoder erlaubt vollständige Sichtbarkeit zwischen Komponenten.
Mixture of Experts: Effiziente Skalierung
Mixture of Experts (MoE) ermöglicht größere Modellkapazität, ohne für jedes Token alle Parameter zu aktivieren. Statt jeden Expert für jeden Input zu nutzen, wählt ein Router pro Token oder Position eine kleine Zahl relevanter Experts aus.
y = ∑_{i ∈ Top-k} G(x)_i × E_i(x)
wobei:
G(x) = Router-Ausgabe (Gating-Funktion)
E_i(x) = Expert i angewendet auf Input x
Top-k = k aktivste Experts
Expert-Spezialisierung kann sich während des Trainings entwickeln. Ein Expert kann stärker für bestimmte Muster oder Domänen genutzt werden als ein anderer. Diese bedingte Berechnung reduziert den Rechenaufwand pro Token gegenüber einem gleich großen dicht aktivierten Modell, während die Gesamtkapazität steigt.
Load Balancing verhindert, dass einzelne Experts überlastet werden, während andere ungenutzt bleiben. Auxiliary Losses ermutigen gleichmäßige Expert-Nutzung und verhindern Kollaps auf wenige bevorzugte Experts.
Kontextfenster und Memory-Optimierung
Die quadratische Komplexität der Attention stellt bei langen Sequenzen eine erhebliche Herausforderung dar. KV-Cache optimiert die autoregressive Generierung durch Speicherung vorheriger Key- und Value-Berechnungen, wodurch redundante Berechnungen vermieden werden.
Flash Attention organisiert Attention-Berechnungen so, dass Speicherzugriffe effizienter werden. Große Attention-Matrizen werden nicht vollständig materialisiert, sondern blockweise berechnet. Dadurch sinkt der Speicherbedarf, und moderne GPU-Speicherhierarchien werden besser genutzt.
Sliding Window Attention beschränkt Attention auf lokale Nachbarschaften. Sparse Attention verwendet vordefinierte oder gelernte Muster, um nur ausgewählte Positionspaare zu berechnen. Linear Attention approximiert vollständige Attention durch alternative mathematische Formulierungen. Solche Verfahren adressieren dasselbe Problem: Lange Kontexte sind teuer, weil klassische Attention quadratisch mit der Sequenzlänge skaliert.
Praktisches Beispiel: ChatGPT-Anfrage im Detail
Betrachten wir den vollständigen Prozess für die Eingabe "Was ist die Hauptstadt von Frankreich?":
Input-Verarbeitung: Der Text wird tokenisiert zu ["Was", "ist", "die", "Haupt", "stadt", "von", "Frank", "reich", "?"]. Embeddings konvertieren diese zu 768-dimensionalen Vektoren, Positional Encoding wird addiert.
Transformer-Durchlauf: Mehrere Transformer-Blöcke verarbeiten die Sequenz. Die Repräsentationen enthalten zunehmend Kontextinformationen: "Hauptstadt" wird mit Frageform, geographischer Entität und Antwortmuster in Beziehung gesetzt. Welche Schicht welchen Beitrag leistet, ist modellabhängig und nicht vollständig transparent.
Output-Generierung: Die finale Schicht produziert Wahrscheinlichkeiten für das nächste Token. "Die" erhält die höchste Wahrscheinlichkeit (0.45), da es ein typischer Artikel für eine definitive Antwort ist. Temperature von 0.7 und Top-p von 0.9 moderieren die Auswahl.
Iterative Fortsetzung: Das Modell generiert sequenziell: "Die" → "Hauptstadt" → "von" → "Frankreich" → "ist" → "Paris" → "." Jeder Schritt nutzt den gesamten vorherigen Kontext, wobei Attention relevante Beziehungen identifiziert: "ist" bezieht sich zurück auf "Was", "Paris" antwortet auf die implizite Frage.
Ausgabesteuerung: Repetition Penalty reduziert redundante Wiederholungen, während Length Penalty die Antwortlänge beeinflussen kann. Das Modell stoppt bei Stop-Tokens, Begrenzungen der Anwendung oder bei einem generierten natürlichen Abschluss.
Fazit: Repräsentation, Kontext und Wahrscheinlichkeiten
Sprachmodelle entstehen aus dem Zusammenspiel weniger Grundideen, die in großem Maßstab kombiniert werden: Tokenisierung reduziert Text auf diskrete Einheiten, Embeddings bilden diese Einheiten in Vektorräume ab, Attention gewichtet Beziehungen im Kontext, und Sampling macht aus Wahrscheinlichkeiten konkrete Fortsetzungen. Die Stärke moderner Modelle liegt nicht in einem einzelnen Baustein, sondern in der Kombination aus Daten, Architektur, Skalierung, Training und Produktanpassung.
Die iterative Textgenerierung erklärt zugleich viele Stärken und Grenzen. Modelle können lange, kohärente Antworten erzeugen, weil jeder Schritt den bisherigen Kontext nutzt. Sie bleiben aber auf den bereitgestellten Kontext, die gelernten Trainingsmuster und die jeweilige Inferenzumgebung angewiesen.
Aktuelle Sprachmodelle lernen während einer normalen Unterhaltung nicht dauerhaft weiter. Sie besitzen kein eigenes körperliches Grounding und keine stabile, intern gepflegte Weltrepräsentation im menschlichen Sinn. Genau daraus ergeben sich viele Herausforderungen, die im nächsten Artikel der Serie genauer betrachtet werden.