Die Geschichte des Natural Language Processing umfasst regelbasierte, statistische und neuronale Ansätze. Neue Methoden entstanden häufig aus den Grenzen bestehender Verfahren, ersetzten diese aber selten vollständig. Mehrere Forschungsrichtungen liefen parallel und werden bis heute je nach Aufgabe miteinander kombiniert.
Dieser Artikel zeichnet die Entwicklung chronologisch nach und ordnet prägende Methoden der jeweiligen Phasen ein. Die zeitlichen Abschnitte dienen dabei als Orientierung; ihre Übergänge waren fließend.
Regelbasierte Systeme (1950er bis 1970er Jahre)
Die Anfänge der automatischen Sprachverarbeitung in den 1950er Jahren waren von hohen Erwartungen geprägt. Das Georgetown-IBM-Experiment von 1954 war die erste öffentliche Demonstration eines maschinellen Übersetzungssystems und übertrug mehr als 60 vorbereitete russische Sätze ins Englische. Zeitgenössische Berichte stellten in Aussicht, elektronische Übersetzung könne innerhalb von drei bis fünf Jahren praktisch einsetzbar werden. Diese Erwartung erfüllte sich nicht.
Die frühen Systeme basierten auf einfachen Wort-für-Wort-Übersetzungen kombiniert mit grundlegenden syntaktischen Regeln. Sie verwendeten zweisprachige Wörterbücher und versuchten, die Grammatik der Zielsprache durch Umstellung der Wortfolge zu approximieren. Diese Ansätze funktionierten für einfache, eindeutige Sätze, scheiterten aber schnell an der Komplexität natürlicher Sprache. Mehrdeutige Wörter wurden falsch übersetzt, idiomatische Ausdrücke wörtlich genommen, und kontextabhängige Bedeutungen nicht erkannt. Das Ergebnis waren oft unverständliche oder unfreiwillig komische Übersetzungen.
Der ALPAC-Report von 1966 markierte einen Wendepunkt für die maschinelle Übersetzung in den USA. Das Automatic Language Processing Advisory Committee kritisierte Kosten, Qualität und den fehlenden praktischen Bedarf an vollautomatischer Übersetzung in den untersuchten Einsatzgebieten. Zugleich empfahl es Grundlagenforschung in Computerlinguistik und die Entwicklung von Werkzeugen zur Unterstützung menschlicher Übersetzer. In der Folge wurden US-Fördermittel für maschinelle Übersetzung stark gekürzt.
Parallel dazu entstanden wirkungsvolle Demonstratoren für begrenzte Dialogsituationen. ELIZA, 1966 von Joseph Weizenbaum am MIT beschrieben, verarbeitete Eingaben mit Mustererkennungs- und Ersetzungsregeln. Das bekannte DOCTOR-Skript ahmte einen nichtdirektiven Psychotherapeuten nach und wandelte Aussagen häufig in Rückfragen um. Auf „Ich bin traurig“ könnte es etwa „Warum sind Sie traurig?“ antworten. Die Reaktionen mancher Nutzer zeigten, wie leicht einer plausiblen sprachlichen Oberfläche weitergehendes Verständnis zugeschrieben wird.
Die theoretischen Grundlagen dieser Epoche wurden maßgeblich von Noam Chomsky geprägt. Seine Hierarchie formaler Grammatiken und die Theorie der generativen Grammatik beeinflussten die Entwicklung von Parsing-Algorithmen nachhaltig. Kontextfreie Grammatiken (CFG) wurden zum Standard für die syntaktische Analyse. Diese formalen Ansätze waren präzise und mathematisch fundiert, konnten jedoch die Vielfalt und Flexibilität natürlicher Sprache nur unvollständig erfassen. Die manuelle Erstellung umfassender Grammatikregeln erwies sich als aufwendig und für jede Sprache mussten Linguisten neue Regelsysteme entwickeln.
Die statistische Wende (1980er bis 1990er Jahre)
In den 1980er Jahren begünstigten die zunehmende Verfügbarkeit digitaler Textkorpora und wachsende Rechenleistung statistische Ansätze. Modelle konnten Wahrscheinlichkeiten aus Beispielen schätzen, statt ausschließlich auf manuell formulierten Regeln zu beruhen.
Hidden Markov Models (HMM) wurden zum dominierenden Ansatz für sequenzielle Aufgaben. Diese probabilistischen Modelle behandeln Sprachstrukturen als Sequenzen von versteckten Zuständen (z.B. grammatikalische Kategorien) und beobachtbaren Ausgaben (Wörter). Für Part-of-Speech-Tagging lernte ein HMM, welche Grammatikkategorien typischerweise aufeinanderfolgen und welche Wörter für jede Kategorie charakteristisch sind. Der Viterbi-Algorithmus konnte dann die wahrscheinlichste Tag-Sequenz für einen gegebenen Satz effizient berechnen. HMMs wurden auch für Named Entity Recognition und Spracherkennung eingesetzt und erreichten Genauigkeiten, die regelbasierte Systeme übertrafen.
N-Gramm-Sprachmodelle etablierten sich als Standard für die Vorhersage von Wortsequenzen. Ein n-Gramm-Modell berechnet die Wahrscheinlichkeit eines Wortes basierend auf den vorhergehenden n-1 Wörtern. Bigramm-Modelle betrachten nur das unmittelbar vorhergehende Wort, Trigramm-Modelle die beiden vorhergehenden. Diese Modelle wurden durch Zählen relativer Häufigkeiten in großen Textkorpora trainiert. Für das Trigramm "Der Hund bellt" würde man zählen, wie oft "bellt" nach "Der Hund" auftritt, und durch die Gesamthäufigkeit von "Der Hund" dividieren.
Die Einfachheit von N-Gramm-Modellen war gleichzeitig ihre größte Stärke und Schwäche. Sie waren effizient zu trainieren und anzuwenden, aber sie ignorierten längerfristige Abhängigkeiten und erfassten keine semantischen Beziehungen. Das Problem der Data Sparsity wurde mit zunehmender Ordnung gravierend: Viele mögliche N-Gramme kamen in Trainingsdaten nicht vor, was zuverlässige Wahrscheinlichkeitsschätzungen unmöglich machte. Smoothing-Techniken wie Laplace-Smoothing oder das anspruchsvollere Kneser-Ney-Smoothing adressierten dies, indem sie auch ungesehenen N-Grammen kleine Wahrscheinlichkeiten zuwiesen.
Statistische maschinelle Übersetzung (SMT) gewann ab Ende der 1980er Jahre an Bedeutung. Die IBM-Modelle schätzten Übersetzungs- und Zuordnungswahrscheinlichkeiten aus parallelen Texten. Spätere phrasenbasierte Systeme übersetzten Wortgruppen und kombinierten Übersetzungsmodell, Sprachmodell und Umordnungsmodell. Regelbasierte Systeme bestanden daneben weiter.
Statistische Verfahren verbesserten zahlreiche NLP-Aufgaben und ließen sich anhand gemeinsamer Testdaten vergleichen. Ihre Leistung hing allerdings stark von Verfügbarkeit und Qualität der Trainingsdaten ab. Seltene Konstruktionen, Domänenwechsel und länger reichende semantische Beziehungen blieben schwierig.
Maschinelles Lernen und Feature Engineering (2000er Jahre)
Die 2000er Jahre brachten einen weiteren methodischen Wandel durch den verstärkten Einsatz überwachter Lernverfahren aus dem maschinellen Lernen. Diese Phase war gekennzeichnet durch Feature Engineering - die manuelle Definition relevanter Merkmale, die Texte in numerische Vektoren transformierten.
Conditional Random Fields (CRF) wurden zu einem verbreiteten Modell für Sequenzlabeling. Im Gegensatz zu generativen HMMs modellieren CRFs die bedingte Wahrscheinlichkeit einer Labelsequenz unter der gegebenen Eingabesequenz. Sie können überlappende Merkmale berücksichtigen, die in einfachen HMMs nicht unmittelbar abgebildet werden. HMMs und andere Verfahren blieben dennoch für bestimmte Aufgaben im Einsatz.
Support Vector Machines (SVM) und andere klassische ML-Algorithmen wie Naive Bayes, Decision Trees und Maximum Entropy wurden für Textklassifikation eingesetzt. Die Qualität dieser Modelle hing maßgeblich von der Qualität der Features ab. Typische Merkmale umfassten Bag-of-Words-Repräsentationen, TF-IDF-Gewichtungen, N-Gramme, Part-of-Speech-Tags und domänenspezifische linguistische Muster. Feature Engineering wurde zu einer zentralen Kompetenz, bei der Domänenexperten ihr Wissen über Sprache und die spezifische Aufgabe in numerische Repräsentationen übersetzten.
Dependency Parsing erlebte bedeutende Fortschritte durch datengetriebene Ansätze. Statt ausschließlich auf linguistisch motivierte Grammatikregeln zu setzen, lernten Systeme syntaktische Strukturen aus Treebanks wie dem Penn Treebank oder dem Universal Dependencies Corpus. Transition-basierte Parser wie MaltParser verwendeten Shift-Reduce-Algorithmen und trainierten Klassifikatoren, um bei jedem Schritt die nächste Aktion zu bestimmen. Graph-basierte Parser wie der MST Parser wählten den besten Dependency-Baum durch globale Optimierung. Diese Parser lieferten strukturierte Repräsentationen von Sätzen, die als Grundlage für semantische Analysen und Informationsextraktion dienten.
Die systematische Anwendung überwachter Lernverfahren verbesserte viele Aufgaben auf annotierten Benchmarks. Für eine neue Aufgabe oder Domäne mussten Entwickler jedoch geeignete Merkmale definieren und neue Trainingsdaten erstellen. Dieser Aufwand begrenzte die Übertragbarkeit der Systeme.
Word Embeddings und der Übergang zu Deep Learning (2010 bis 2017)
Mit Word2Vec verbreiteten sich ab 2013 dichte, niedrigdimensionale Wortvektoren. Wörter, die in ähnlichen Kontexten auftreten, erhielten häufig ähnliche Repräsentationen. Dadurch ließen sich bestimmte syntaktische und semantische Verwendungsmuster geometrisch untersuchen.
Ein bekanntes Demonstrationsbeispiel ist vec("König") - vec("Mann") + vec("Frau") ≈ vec("Königin"). Solche Analogien funktionieren für ausgewählte Beziehungen, sind aber nicht über Datensätze, Trainingsverfahren und Begriffe hinweg robust. Word2Vec trainiert mit Skip-Gram die Vorhersage von Kontext aus einem Wort oder mit Continuous Bag-of-Words die Vorhersage eines Wortes aus seinem Kontext.
GloVe (Global Vectors for Word Representation) faktorisierte Informationen aus einer global aggregierten Kookkurrenzmatrix. Word2Vec lernte dagegen aus Vorhersageaufgaben über lokale Kontextfenster, deren Beispiele ebenfalls aus dem gesamten Korpus stammen. Beide Verfahren wurden als gelernte Merkmale in nachgelagerten Modellen eingesetzt und reduzierten dort einen Teil des manuellen Feature Engineerings. Ihre Repräsentationen blieben statisch: Ein Wort erhielt unabhängig vom jeweiligen Satz denselben Vektor.
Rekurrente neuronale Netze (RNN), insbesondere Long Short-Term Memory Networks (LSTM) und Gated Recurrent Units (GRU), verarbeiteten Sequenzen variabler Länge. Theoretisch konnten sie beliebig weit zurückliegenden Kontext berücksichtigen, praktisch blieb das Lernen langer Abhängigkeiten schwierig. Sequence-to-Sequence-Modelle wurden 2014 zunächst ohne Attention für maschinelle Übersetzung eingesetzt. Kurz darauf ergänzten Attentionmechanismen den Decoder um gewichtete Zugriffe auf verschiedene Teile der Eingabesequenz.
Diese Verfahren prägten die neuronale Sprachverarbeitung vor der Transformerarchitektur. Worteinbettungen lieferten gelernte Repräsentationen, RNNs modellierten Sequenzen und Attentionmechanismen machten unterschiedliche Teile einer Eingabe für jeden Ausgabeschritt verschieden stark zugänglich.
Transformer und moderne neuronale Ansätze (ab 2017)
Die Veröffentlichung von „Attention Is All You Need“ im Jahr 2017 führte die Transformerarchitektur ein. Während des Trainings können Transformer mehrere Positionen einer Sequenz parallel verarbeiten, anders als rekurrente Netze. Die autoregressive Erzeugung bleibt dagegen schrittweise. Self-Attention bildet für jede Position gewichtete Kombinationen anderer Positionen innerhalb des verfügbaren Kontexts.
Kontextabhängige Repräsentationen wurden 2018 zunächst unter anderem durch ELMo verbreitet. BERT (Bidirectional Encoder Representations from Transformers) übertrug dieses Prinzip im selben Jahr auf einen tiefen bidirektionalen Transformerencoder. Das Wort „Bank“ erhält dadurch in „Bank für internationale Zahlungen“ und „Parkbank im Garten“ unterschiedliche Repräsentationen. Das vortrainierte Modell ließ sich anschließend mit aufgabenspezifischen Daten feinabstimmen, wobei der benötigte Datenumfang von Aufgabe und Domäne abhing.
GPT (Generative Pre-trained Transformer) verwendete autoregressives Training zur Vorhersage des nächsten Tokens. Während BERT vor allem als Encoder für analytische Aufgaben eingesetzt wurde, eigneten sich GPT-Modelle unmittelbar zur Textgenerierung. Größere Varianten konnten Aufgaben anhand weniger Beispiele im Prompt bearbeiten und erzielten auch bei mehrschrittigen Benchmarks bessere Ergebnisse. Ob einzelne Leistungssprünge als emergent gelten und in welchem Sinn solche Modelle schlussfolgern, hängt von Definition und Messverfahren ab.
Mit Transformern verbreiteten sich große vortrainierte Modelle, die für mehrere Anwendungen angepasst werden können. Separate aufgabenspezifische Modelle verschwanden damit nicht, doch Vortraining verlagerte einen größeren Teil des Lernaufwands in gemeinsam verwendete Basismodelle. Modellgröße, Datenumfang und Rechenaufwand nahmen dabei deutlich zu.
Generative Sprachmodelle gehören weiterhin zum Natural Language Processing. Sie bearbeiten Analyse und Generierung mit einer gemeinsamen Architektur und bündeln Aufgaben, für die zuvor oft getrennte Systeme entwickelt wurden. Ihre technischen Details und Grenzen behandelt eine separate Artikelserie zu Large Language Models.
Fazit
Die Geschichte des Natural Language Processing ist keine Folge vollständiger Ablösungen. Regelbasierte Systeme boten Kontrolle, erforderten aber aufwendige Pflege. Statistische Methoden lernten Muster aus Daten und litten unter dünn besetzten Beobachtungen. Überwachtes Lernen verlagerte Arbeit in Annotation und Feature Engineering, neuronale Modelle in Vortraining, Datenaufbereitung und Evaluation.
Klassische Techniken bleiben in ressourcenbeschränkten Umgebungen, spezialisierten Domänen oder Anwendungen mit Anforderungen an Nachvollziehbarkeit relevant. Hybride Ansätze verbinden Regeln, strukturierte Merkmale und neuronale Modelle, wenn die jeweilige Aufgabe davon profitiert.
Die historische Entwicklung hilft dabei, Stärken und Grenzen heutiger Methoden einzuordnen. Die nächsten Artikel der Serie vertiefen klassische Techniken und ihre Anwendung.