Klassische NLP-Techniken bilden einen wichtigen Teil der methodischen Entwicklung der Sprachverarbeitung. Moderne neuronale Ansätze können viele Aufgaben End-to-End lernen, ohne POS-Tagging, Parsing oder andere klassische Verarbeitungsschritte ausdrücklich auszuführen. Klassische Methoden bleiben dennoch in ressourcenbeschränkten Umgebungen, spezialisierten Domänen oder Anwendungen mit Anforderungen an Nachvollziehbarkeit relevant. Dieser Artikel erklärt die wichtigsten Techniken und ihren Einsatz in praktischen Systemen.
Tokenisierung und Textvorverarbeitung
Die Zerlegung von Text in verarbeitbare Einheiten bildet den ersten Schritt vieler NLP-Pipelines. Die gewählte Segmentierung beeinflusst die nachfolgenden Verarbeitungsschritte.
Tokenisierung: Von Text zu Einheiten
Tokenisierung zerlegt kontinuierlichen Text in diskrete Einheiten - Tokens. Im Englischen scheinen Leerzeichen natürliche Trennzeichen zu sein, aber Sonderfälle komplizieren die Aufgabe erheblich. Kontraktionen wie "don't" oder "can't" könnten als ein Token oder als zwei behandelt werden ("do" + "n't"). Zusammengesetzte Ausdrücke wie "New York" oder "ice cream" funktionieren semantisch als Einheit, bestehen aber aus mehreren Wörtern. Abkürzungen wie "Dr.", "Inc." oder "e.g." enthalten Punkte, die nicht als Satzende interpretiert werden dürfen.
Regelbasierte Tokenisierer wie der Penn Treebank Tokenizer definieren Muster für verschiedene Sonderfälle. Sie berücksichtigen Interpunktion, Zahlen, Währungen und domänenspezifische Konventionen. Statistische Tokenisierer lernen aus annotierten Daten, an welchen Positionen gemäß dem verwendeten Annotationsschema Tokengrenzen liegen.
Sprachen wie Chinesisch oder Japanisch verwenden keine Leerzeichen zwischen Wörtern, was die Tokenisierung zu einem nichttrivialen Segmentierungsproblem macht. Hier müssen Systeme aus dem Kontext ableiten, wo Wortgrenzen liegen. Moderne Sub-Word-Tokenisierung wie Byte-Pair Encoding zerlegt Wörter zusätzlich in häufige Teilkomponenten, wodurch auch seltene oder neue Wörter aus bekannten Bausteinen zusammengesetzt werden können.
Satzgrenzen-Erkennung
Sentence Boundary Detection identifiziert, wo ein Satz endet und der nächste beginnt. Punkte sind nicht eindeutig: Sie markieren Satzenden, treten aber auch in Abkürzungen ("Dr. Müller arbeitet"), Dezimalzahlen ("3.14"), Aufzählungen ("1. Punkt") oder Ellipsen ("...") auf. Ausrufe- und Fragezeichen sind meist eindeutiger, können aber in Zitaten oder ironischen Kontexten vorkommen, ohne dass ein neuer Satz beginnt.
Systeme verwenden Heuristiken auf Grundlage der Großschreibung nachfolgender Wörter, Listen bekannter Abkürzungen und syntaktischer Muster. Machine-Learning-Ansätze trainieren Klassifikatoren auf Merkmalen wie Wortlänge vor und nach dem Punkt, Einträgen in Abkürzungslisten, Interpunktionsmustern und lexikalischen Eigenschaften. Die Genauigkeit hängt von Sprache, Textsorte und Datensatz ab. Fehler in dieser frühen Verarbeitungsstufe können sich durch die weitere Pipeline fortsetzen.
Stemming und Lemmatisierung
Stemming reduziert Wörter durch das regelbasierte Entfernen von Affixen auf einen Stamm. Der englische Porter-Stemmer wendet dafür eine Sequenz von Suffixregeln an: „running“ wird zu „run“, „computers“ zu „comput“. Der resultierende Stamm muss kein vollständiges Wort sein. Stemmingregeln sind sprachspezifisch und müssen an die jeweilige Morphologie angepasst werden.
Lemmatisierung ist der linguistisch motivierte Ansatz, der Wörter auf ihre Grundform (Lemma) zurückführt. "better" wird zu "good", "ran" zu "run", "mice" zu "mouse". Dies erfordert morphologische Analyse, Wörterbücher und Kenntnisse über unregelmäßige Formen. Lemmatisierung ist rechenaufwendiger als Stemming, liefert aber linguistisch korrekte und interpretierbare Ergebnisse.
Beide Techniken reduzieren die Vokabulargröße und helfen, Flexionsformen zu normalisieren. Eine Lemmatisierung kann beispielsweise „laufen“, „läuft“ und „lief“ dem Lemma „laufen“ zuordnen. Ableitungen wie „Läufer“ und „Lauf“ sind dagegen eigenständige Lexeme und werden nicht zwingend zusammengeführt. Bei der Sentimentanalyse können Lemmata helfen, Formen wie „gut“, „besser“ und „beste“ gemeinsam zu behandeln.
Stopword-Removal
Stopword-Removal entfernt häufige Funktionswörter wie "der", "die", "das", "ist", "und", "zu", die wenig semantischen Gehalt tragen. In traditionellen Bag-of-Words-Modellen reduzierten Stopword-Listen die Datenmenge und fokussierten auf inhaltstragende Wörter. Typische deutsche Stopword-Listen umfassen 200-600 Wörter, darunter Artikel, Konjunktionen, Präpositionen und häufige Verben wie "haben" oder "sein".
Die Entscheidung, Stoppwörter zu entfernen, hängt von der Aufgabe ab. Bei Dokumentenklassifikation nach Themen tragen manche häufigen Funktionswörter wenig zur Unterscheidung bei. Bei syntaktischer Analyse oder Sentimentanalyse können sie jedoch entscheidend sein. Einige umfangreiche Stoppwortlisten enthalten etwa die Negation „nicht“, obwohl sie die Bewertung von „gut“ zu „nicht gut“ verändert. Embeddingbasierte Ansätze behalten Funktionswörter meist bei, weil auch sie syntaktische und semantische Informationen tragen.
Part-of-Speech-Tagging
Part-of-Speech-Tagging (POS-Tagging) weist jedem Wort seine grammatikalische Kategorie zu und bildet die Grundlage für viele weiterführende Analysen. Die Aufgabe ist nicht trivial, da viele Wörter mehrere mögliche Tags haben können und nur der Kontext die korrekte Wahl bestimmt.
Die Herausforderung der Ambiguität
Im Satz „Die Fliegen fliegen“ ist das erste „Fliegen“ ein Nomen, das zweite ein Verb. „Morgen“ kann ein Nomen sein („Der Morgen war kalt“) oder als Adverb verwendet werden („Morgen regnet es“). Das englische „running“ kann Verb („he is running“) oder Adjektiv („running water“) sein. Das Penn Treebank Tagset umfasst 36 POS-Tags sowie zusätzliche Tags für Satzzeichen und Symbole; deutsche Tagsets unterscheiden je nach Schema eine andere Zahl von Kategorien. Aus diesem Inventar muss für jedes Wort die kontextuell passende Kategorie bestimmt werden.
Regelbasierte Tagger
Der Brill-Tagger verwendet transformationsbasiertes Lernen. Er startet mit einer einfachen initialen Tag-Zuweisung (z.B. das häufigste Tag jedes Wortes) und wendet dann eine Sequenz von Kontextregeln an, die Tags korrigieren. Regeln haben die Form "Ändere Tag von X zu Y, wenn das vorherige Wort Tag Z hat" oder "Ändere Tag von A zu B, wenn das nächste Wort mit Großbuchstaben beginnt". Diese Regeln werden automatisch aus einem annotierten Korpus gelernt, indem Transformationen gesucht werden, die die Tagging-Genauigkeit maximieren.
Hidden Markov Models
Hidden Markov Models waren lange ein verbreiteter Ansatz für POS-Tagging. Ein HMM modelliert die Sequenz von POS-Tags als versteckte Zustände und die beobachteten Wörter als Emissionen dieser Zustände. Das Modell lernt Übergangswahrscheinlichkeiten zwischen Tags und Emissionswahrscheinlichkeiten für Wörter unter einem Tag. Der Viterbi-Algorithmus findet anschließend effizient eine wahrscheinlichste Tagsequenz für einen Satz.
Einfache HMM-Tagger erster Ordnung berücksichtigen bei den Zustandsübergängen nur das unmittelbar vorhergehende Tag. In ihrer klassischen Form können sie Merkmale wie Präfixe, Suffixe oder Groß- und Kleinschreibung nicht ohne Erweiterungen direkt einbeziehen.
Conditional Random Fields
Conditional Random Fields (CRF) verfolgen einen diskriminativen Ansatz. Sie modellieren die bedingte Wahrscheinlichkeit der Tagsequenz unter der gegebenen Wortsequenz und können überlappende Merkmale wie N-Gramme, Präfixe, Suffixe, Wortform, Großschreibung sowie vorherige und folgende Wörter einbeziehen. Im Gegensatz zu generativen HMMs, die eine gemeinsame Verteilung über Wörter und Tags modellieren, richten CRFs das Modell unmittelbar auf die gesuchte Tagsequenz aus.
CRF-basierte Tagger wurden deshalb zu einem verbreiteten Ansatz für Sequenzklassifikation. Spätere Systeme kombinierten bidirektionale LSTM-Netze oder Transformerrepräsentationen mit einer CRF-Schicht. Messwerte sind nur zusammen mit Sprache, Tagset, Datensatz und Evaluationsprotokoll aussagekräftig.
Named Entity Recognition
Named Entity Recognition (NER) identifiziert und klassifiziert Erwähnungen bestimmter Entitätstypen in Texten. Dazu zählen Eigennamen, je nach Annotationsschema aber auch Zeitangaben, Geldbeträge oder fachliche Ausdrücke. Die Aufgabe kombiniert Segmentierung und Klassifikation und ist eine Komponente der Informationsextraktion.
Entitätstypen und Herausforderungen
Standard-NER-Systeme identifizieren typischerweise: Personen (Angela Merkel, Barack Obama), Organisationen (Google, Vereinte Nationen), Orte (Berlin, Mount Everest), Zeitangaben (15. März, nächste Woche) und Geldbeträge (100 Euro, $5 Million). Domänenspezifische Systeme erkennen zusätzliche Typen wie Medikamente, Krankheiten, Chemikalien oder Produkte.
Die Herausforderungen sind vielfältig: Mehrdeutige Namen ("Washington" kann Person oder Ort sein), geschachtelte Entitäten ("Bank of America" enthält "America"), unbekannte Namen (neu gegründete Firmen, Personen ohne Wikipedia-Eintrag) und inkonsistente Schreibweisen ("M\u00fcller" vs. "Mueller", "NYC" vs. "New York City").
Regelbasierte Ansätze
Regelbasierte NER-Systeme verwenden Gazetteers (Listen bekannter Entitäten) und Musterregeln. Ein Gazetteer für Personennamen enthält häufige Vor- und Nachnamen, einer für Organisationen bekannte Firmennamen aus Unternehmensregistern. Regeln erkennen typische Kontexte: "Mr. [NAME]", "[ORG] Inc.", "[LOCATION], Germany", "[AMOUNT] Euro".
Diese Ansätze erfordern keine annotierten Trainingsdaten und können bekannte Entitäten zuverlässig markieren, wenn deren Bezeichnung eindeutig ist. Mehrdeutige Einträge erzeugen jedoch auch bei vollständigen Listen Fehler, während unbekannte Namen nicht erfasst werden. Gazetteers müssen zudem gepflegt werden und eignen sich vor allem für begrenzte Domänen mit kontrolliertem Vokabular.
Machine-Learning-basierte NER
ML-basierte NER-Systeme behandeln die Aufgabe als Sequenzlabeling-Problem im BIO-Schema: B-PER (Begin Person), I-PER (Inside Person), B-ORG (Begin Organization), I-ORG (Inside Organization), O (Outside - keine Entität). Der Satz "Tim Cook arbeitet bei Apple Inc." wird getaggt als: "Tim/B-PER Cook/I-PER arbeitet/O bei/O Apple/B-ORG Inc./I-ORG".
Als Merkmale dienen Wortform und Kontext, Groß- und Kleinschreibung, Präfixe und Suffixe, POS-Tags, vorherige und folgende Wörter sowie Treffer in Gazetteers. Conditional Random Fields modellieren zusätzlich Abhängigkeiten zwischen aufeinanderfolgenden Labels. Im BIO-Schema ist ein I-PER nach einem unpassenden Label keine gültige Sequenz. Technisch ausgeschlossen wird sie allerdings nur, wenn das Decoding entsprechende Übergangsbeschränkungen erzwingt.
Hybride Ansätze
Hybride Systeme verbinden regelbasierte und gelernte Komponenten. Ein Modell erkennt Entitäten, während Nachverarbeitungsregeln bestimmte Inkonsistenzen korrigieren oder domänenspezifisches Wissen einbringen. Eine Regel kann etwa eine als Person erkannte Erwähnung zu einer Organisation korrigieren, wenn sie auf „Inc.“ oder „Corp.“ endet.
Semi-Supervised Learning kann Gazetteers als zusätzliche Trainingssignale verwenden. Beim Bootstrapping markiert ein initiales Modell zunächst nicht annotierte Texte. Vorhersagen mit hoher Konfidenz werden als zusätzliche Trainingsdaten genutzt. Dabei können sich frühe Fehlklassifikationen verstärken, wenn die Konfidenz nicht zuverlässig kalibriert ist.
Dependency Parsing und syntaktische Analyse
Dependency Parsing analysiert die grammatikalische Struktur von Sätzen, indem es Abhängigkeitsbeziehungen zwischen Wörtern identifiziert. Im Gegensatz zu Constituency Parsing, das Sätze in verschachtelte Phrasen zerlegt, stellt Dependency Parsing Wörter als Knoten in einem gerichteten Graphen dar, wobei Kanten die grammatikalischen Beziehungen repräsentieren.
Dependency-Repräsentation
Im Satz "Der große Hund jagt die Katze" ist "jagt" das Verb und die Wurzel des Dependency-Baums. "Hund" ist das Subjekt mit Relation nsubj (nominal subject), "Katze" das Objekt mit Relation obj (object). "Der" modifiziert "Hund" mit Relation det (determiner), "große" modifiziert "Hund" mit Relation amod (adjectival modifier), und "die" modifiziert "Katze" mit Relation det.
Diese Repräsentation erfasst grammatische Beziehungen unabhängig von der unmittelbaren Nachbarschaft der Wörter. Das ist für Sprachen mit vergleichsweise freier Wortstellung wie Deutsch oder Russisch hilfreich, in denen grammatische Rollen weniger stark an feste Positionen gebunden sind. Unterschiedliche Wortstellungen können dennoch Bedeutung, Fokus oder Informationsstruktur verändern.
Transition-basierte Parser
Transitionsbasierte Parser wie MaltParser verwenden je nach Transitionssystem einen Stack und einen Buffer. In einem vereinfachten Shift-Reduce-System verarbeitet der Parser Wörter von links nach rechts und wendet Aktionen wie Shift, Left-Arc und Right-Arc an. Ihre genaue Bedeutung und die erlaubten Übergänge unterscheiden sich zwischen Arc-Standard-, Arc-Eager- und weiteren Systemen.
Ein Klassifikator, trainiert auf annotierten Treebanks, entscheidet bei jedem Schritt, welche Aktion anzuwenden ist. Features umfassen die obersten Stack-Elemente, Wörter im Buffer, ihre POS-Tags, Wortformen und bereits erzeugte Kanten. Transition-basierte Parser sind effizient mit linearer Zeitkomplexität und gut für große Textmengen geeignet. Sie treffen jedoch lokale Entscheidungen, die nicht global optimal sein müssen.
Graph-basierte Parser
Graphbasierte Parser betrachten mögliche Kanten im Satz und wählen anhand gelernter Bewertungen einen möglichst hoch bewerteten Abhängigkeitsbaum. Für nichtprojektive, kantenfaktorisierte Modelle kann dafür der Chu-Liu-Edmonds-Algorithmus verwendet werden; projektive Modelle nutzen beispielsweise Eisners Algorithmus.
Graphbasierte Parser optimieren ihre gewählte Bewertungsfunktion global, während greedy transitionsbasierte Parser lokale Entscheidungen treffen und Fehler fortpflanzen können. Die Laufzeit hängt vom Faktorisierungsgrad und Decodingalgorithmus ab. Eisners Algorithmus für projektives Parsing benötigt beispielsweise O(n³) Zeit; andere Varianten besitzen andere Komplexitäten. Beide Ansätze können auf annotierten Treebanks wie den Universal Dependencies trainiert werden.
Anwendungen syntaktischer Analyse
Dependency-Strukturen können als Merkmale für weiterführende NLP-Aufgaben dienen. Bei der Relation Extraction liefern syntaktische Pfade zwischen Entitäten Hinweise auf semantische Beziehungen. Der Pfad „Person → nsubj → geboren → in → Ort“ kann beispielsweise auf eine Geburtsortrelation hindeuten.
Semantic Role Labeling bestimmt semantische Rollen von Satzteilen und kann dabei syntaktische Informationen verwenden. Im Satz „Marie gibt Peter ein Buch“ ist „Marie“ der Agens, „Peter“ der Rezipient und „Buch“ das Thema.
Auch Frage-Antwort-Systeme können syntaktische Analysen zur Identifikation relevanter Informationen verwenden. Moderne neuronale Systeme setzen dafür allerdings nicht zwingend einen separaten Parser ein.
Statistische Sprachmodelle und N-Gramme
N-Gramm-Sprachmodelle schätzen die Wahrscheinlichkeit von Wortsequenzen und sagen ein folgendes Wort anhand eines begrenzten vorherigen Kontexts voraus. Häufige Sequenzen erhalten dabei meist höhere Wahrscheinlichkeiten. Daraus folgt keine Garantie für grammatische Korrektheit oder semantische Sinnhaftigkeit.
N-Gramm-Modelle
Ein Bigramm-Modell approximiert die Wahrscheinlichkeit eines Wortes durch die bedingte Wahrscheinlichkeit gegeben nur des unmittelbar vorhergehenden Wortes. Ein Trigramm-Modell berücksichtigt die beiden vorhergehenden Wörter. Diese Wahrscheinlichkeiten werden durch Zählen relativer Häufigkeiten in einem Trainingskorpus geschätzt. Für das Trigramm "der Hund bellt" zählt man, wie oft "bellt" nach "der Hund" auftritt, und dividiert durch die Gesamthäufigkeit von "der Hund".
N-Gramm-Modelle mit höherem n erfassen längere lokale Abhängigkeiten, leiden aber unter Data Sparsity, also dünn besetzten Beobachtungsdaten. Bei einem Vokabular von 100.000 Wörtern gibt es theoretisch 10^15 mögliche Trigramme, von denen die meisten in Trainingsdaten nicht vorkommen. Ohne Glättung hätten nicht beobachtete N-Gramme die Wahrscheinlichkeit 0.
Smoothing-Techniken
Smoothing-Techniken adressieren das Problem ungesehener N-Gramme durch Umverteilung von Wahrscheinlichkeitsmasse. Laplace-Smoothing addiert eine kleine Konstante (typisch 1) zu allen Zählungen, sodass kein N-Gramm die Wahrscheinlichkeit Null erhält. Add-k-Smoothing verallgemeinert dies mit variablem k < 1.
Kneser-Ney-Smoothing berücksichtigt zusätzlich die Vielfalt der Kontexte, in denen ein Wort auftritt. Es unterscheidet zwischen Wörtern, die in vielen verschiedenen Kontexten vorkommen, und solchen, die auf wenige Kontexte beschränkt sind. Kneser-Ney ist ein etablierter Glättungsansatz für klassische N-Gramm-Modelle und erreicht dort häufig niedrigere Perplexitäten als einfachere Verfahren.
Backoff-Modelle greifen auf niedrigere N-Gramm-Ordnungen zurück, wenn ein höheres N-Gramm nicht im Training beobachtet wurde. Wenn ein 5-Gramm unbekannt ist, verwendet das Modell das entsprechende 4-Gramm, dann 3-Gramm, bis zu Unigrammen (einzelne Worthäufigkeiten).
Perplexität als Evaluationsmetrik
Perplexität misst anhand der vorhergesagten Wahrscheinlichkeiten, wie gut ein Sprachmodell einen Testtext vorhersagt. Ein niedrigerer Wert bedeutet innerhalb derselben Evaluationskonfiguration eine bessere Vorhersage. Anschaulich kann Perplexität als effektive Zahl gleich wahrscheinlicher Auswahlmöglichkeiten interpretiert werden.
Perplexitätswerte sind nur bei gleichem Testkorpus, Vokabular und gleicher Tokenisierung direkt vergleichbar. Ein Zahlenvergleich zwischen wortbasierten N-Gramm-Modellen und neuronalen Modellen mit Subword-Tokenisierung kann deshalb irreführen.
Feature Engineering und Textrepräsentation
Klassische Machine-Learning-Ansätze für NLP erforderten häufig die manuelle Definition von Merkmalen, die Texte in numerische Vektoren überführten. Die Auswahl dieser Merkmale beeinflusste die Modellleistung.
Bag-of-Words
Bag-of-Words (BoW) ist die einfachste Textrepräsentation und ignoriert die Wortstellung vollständig. Ein Dokument wird als Vektor dargestellt, wobei jede Dimension einem Wort aus dem Vokabular entspricht und der Wert die Häufigkeit des Wortes im Dokument angibt. Der Satz "der Hund jagt die Katze" wird zu einem Vektor [1, 1, 1, 1, 1] für das Vokabular ["der", "die", "Hund", "jagt", "Katze"].
BoW-Vektoren sind hochdimensional (Vokabulargrößen von 10.000-100.000 Wörtern) und spärlich besetzt, da jedes Dokument nur einen Bruchteil aller möglichen Wörter enthält. Trotz der Einfachheit funktioniert BoW gut für Dokumentenklassifikation und Themenmodellierung, da die Wortpräsenz oft ausreichend Information über den Inhalt liefert.
TF-IDF
TF-IDF (Term Frequency-Inverse Document Frequency) gewichtet Wörter anhand ihrer Häufigkeit im Dokument und ihrer Seltenheit in der gesamten Dokumentensammlung. Term Frequency (TF) bezeichnet die Worthäufigkeit im Dokument, Inverse Document Frequency (IDF) ein Maß für die Seltenheit im Korpus. Das TF-IDF-Gewicht ist das Produkt beider Werte.
Häufige, aber unspezifische Wörter wie "der" oder "ist" erhalten niedrige TF-IDF-Werte, da ihr IDF gering ist (sie kommen in fast allen Dokumenten vor). Charakteristische Wörter eines Dokuments, die selten im gesamten Korpus sind, erhalten hohe Werte. TF-IDF-Vektoren verbessern die Leistung bei Informationsretrieval und Dokumentenklassifikation deutlich im Vergleich zu einfachen BoW-Repräsentationen.
N-Gramm-Features
N-Gramm-Merkmale erweitern Bag-of-Words um Informationen über Wortfolgen. Bigramme erfassen aufeinanderfolgende Wortpaare, Trigramme Worttripel. Der Satz „nicht sehr gut“ wird durch „nicht sehr“ und „sehr gut“ repräsentiert. Ein Klassifikator kann aus annotierten Beispielen lernen, dass diese Kombination eine eingeschränkt negative Bewertung ausdrückt.
Character-N-Gramme verwenden Zeichenfolgen statt Wörter und sind robust gegenüber Tippfehlern und morphologischen Variationen. Das Wort "Kommunikation" wird durch Trigramme wie "Kom", "omm", "mmu", ..., "ion" repräsentiert. Bei Tippfehlern ("Komunication") bleiben viele Trigramme erhalten, was Ähnlichkeit detektierbar macht.
Linguistische Features
Linguistische Merkmale nutzen explizites sprachwissenschaftliches Wissen. Verteilungen von POS-Tags können Unterschiede zwischen Textsorten erfassen. Dependencypfade zwischen Wörtern dienen als Merkmale für Relation Extraction, NER-Merkmale markieren Vorhandensein und Typ von Entitäten. Sentimentlexika liefern Werte für positive und negative Wörter, Intensivierung und Verneinung.
Diese Features erfordern Preprocessing-Pipelines mit spezialisierten Werkzeugen (POS-Tagger, NER-Systeme, Parser), liefern aber interpretierbare und oft effektive Repräsentationen. Der Nachteil ist der manuelle Aufwand: Für jede neue Aufgabe oder Domäne müssen Experten relevante Features definieren und evaluieren.
Fazit
Klassische NLP-Techniken bilden einen wichtigen Teil der methodischen Entwicklung der Sprachverarbeitung. Tokenisierung, POS-Tagging, Parsing und Merkmalsextraktion sind weiterhin Bestandteile vieler Pipelines. In ressourcenbeschränkten Umgebungen, spezialisierten Domänen oder bei Anforderungen an Nachvollziehbarkeit können sie praktischer als große End-to-End-Modelle sein.
Das Verständnis dieser Techniken hilft bei der Einordnung moderner Ansätze. Neuronale Modelle können einige sprachliche Eigenschaften in ihren Repräsentationen erfassen, die klassische Systeme ausdrücklich annotieren. Hybride Ansätze verbinden neuronale Modelle mit Regeln oder linguistischen Merkmalen, wenn die jeweilige Anwendung davon profitiert.
Der nächste Artikel dieser Serie zeigt, wie diese Techniken in konkreten Anwendungen kombiniert werden und welche Herausforderungen in der Praxis auftreten.