Die in den vorherigen Artikeln beschriebenen Techniken entfalten ihre Wirkung erst in der Kombination zu praktischen Systemen. Dieser Artikel zeigt, wie Tokenisierung, POS-Tagging, Named Entity Recognition, Parsing und Feature Engineering in realen Anwendungen zusammenwirken. Dabei werden nicht nur die Methoden beschrieben, sondern auch die praktischen Herausforderungen diskutiert, die bei der Entwicklung produktiver NLP-Systeme auftreten.
Textklassifikation
Textklassifikation ordnet Dokumente oder Textfragmente vordefinierten Kategorien zu. Diese scheinbar einfache Aufgabe umfasst vielfältige Anwendungen mit unterschiedlichen Anforderungen.
Spam-Filterung: Die klassische Anwendung
Spam-Filterung war eine der frühesten erfolgreichen NLP-Anwendungen und demonstriert die Effektivität statistischer Methoden. E-Mail-Spam-Filter klassifizieren eingehende Nachrichten als erwünscht oder unerwünscht basierend auf charakteristischen Sprachmustern.
Eine klassische Pipeline tokenisiert den Text und überführt ihn mit Bag-of-Words oder TF-IDF in numerische Vektoren. Je nach Modell können häufige Funktionswörter entfernt werden; zwingend ist dieser Schritt nicht. Wörter und Phrasen wie „winner“, „prize“ oder „click here“ können Hinweise auf Spam liefern, sind allein aber kein verlässliches Kriterium.
Naive-Bayes-Klassifikatoren waren lange ein verbreiteter Ansatz für Spamfilter. Sie lernen, welche Wörter für Spam und Ham charakteristisch sind, und berechnen daraus Klassenwahrscheinlichkeiten für neue E-Mails. Support Vector Machines mit linearen Kernels eignen sich ebenfalls für hochdimensionale, dünn besetzte Merkmalsvektoren. Die Leistung hängt von Datensatz, Klassenverteilung und Art der Spamnachrichten ab.
Spamfilter kombinieren Textklassifikation mit Metadaten wie Absenderreputation, Headerinformationen, Anhangseigenschaften und Netzwerksignalen. Versender passen ihre Strategien an, etwa durch Schreibweisen wie „fr3e m0ney“, sodass Modelle und Regeln laufend überprüft werden müssen. Besonders relevant bleiben falsch positive Ergebnisse, bei denen legitime E-Mails im Spamordner landen.
Sentimentanalyse
Sentimentanalyse klassifiziert Texte nach ihrer wertenden Polarität, beispielsweise als positiv, negativ oder neutral. Anwendungen reichen von der Auswertung von Produktbewertungen über die Beobachtung sozialer Medien bis zur Analyse von Kundenumfragen.
Lexikonbasierte Ansätze verwenden Wörterbücher, die Ausdrücken Polaritätswerte zuweisen. SentiWordNet oder AFINN enthalten beispielsweise englische Wörter mit positiven und negativen Bewertungen. Ein einfacher Dokumentscore kann aus der Summe oder dem Durchschnitt dieser Werte entstehen. Regeln für Verneinungen und Intensivierer passen die Gewichtung an, wobei sich deren Wirkung nicht in jedem Kontext mechanisch bestimmen lässt.
Diese regelbasierten Systeme benötigen keine annotierten Trainingsdaten und ihre Einzelwertungen sind nachvollziehbar. Lexika sind jedoch sprach- und domänenspezifisch. „Der Film war gut, für eine Komödie“ enthält eine Einschränkung, die eine reine Summierung positiver Wörter kaum erfasst. Auch Sarkasmus und Ironie bleiben schwierig.
Machine-Learning-Ansätze lernen aus Beispielen, welche sprachlichen Muster für positive oder negative Texte charakteristisch sind. Merkmale umfassen TF-IDF-Gewichte, N-Gramme, POS-Tag-Verteilungen und Emoticons. Die Leistung hängt stark von Datensatz und Domäne ab: Bewertungen mit klaren Polaritäten sind meist leichter zu klassifizieren als mehrdeutige politische Kommentare.
Themen-Klassifikation
Themen-Klassifikation ordnet Dokumente Kategorien wie Politik, Sport, Wirtschaft, Wissenschaft oder Unterhaltung zu. Nachrichtenportale nutzen dies für automatisches Tagging und Routing. E-Mail-Systeme kategorisieren eingehende Nachrichten für intelligente Postfächer.
Die Herausforderung liegt in der Mehrdeutigkeit: Ein Artikel über "Doping-Skandale im Radsport" gehört zu Sport, berührt aber auch Justiz und Gesundheit. Hierarchische Klassifikation ordnet Dokumente zunächst Hauptkategorien zu, dann Unterkategorien ("Sport" → "Radsport" → "Tour de France"). Multi-Label-Klassifikation erlaubt mehrere gleichzeitige Kategorien.
TF-IDF-Features funktionieren gut, da charakteristische Wörter Themen definieren: "Tor", "Spieler", "Trainer" deuten auf Sport, "Aktie", "Quartal", "Bilanz" auf Wirtschaft. N-Gramme erfassen themenspezifische Phrasen: "Europäische Zentralbank", "Künstliche Intelligenz". Bei großen Kategoriesystemen (Hunderte möglicher Kategorien) werden hierarchische Modelle oder Ensemble-Methoden eingesetzt.
Informationsextraktion
Informationsextraktion zielt darauf ab, strukturierte Daten aus unstrukturierten Texten zu gewinnen. Diese Systeme kombinieren mehrere NLP-Techniken in Pipeline-Architekturen.
Named Entity Recognition in der Praxis
NER-Systeme identifizieren und klassifizieren Erwähnungen bestimmter Entitätstypen als Grundlage für strukturierte Datenextraktion. Dazu gehören je nach Schema Personen, Organisationen, Orte, Zeitangaben oder fachliche Begriffe. Die Leistung hängt stark von Domäne, Annotationsschema und Textqualität ab.
Ein auf allgemeinen Nachrichtentexten trainiertes NER-System kennt die Kategorien und Schreibweisen medizinischer Texte häufig nicht ausreichend. Dort sollen etwa Medikamentennamen, Krankheiten und anatomische Begriffe erkannt werden, in Finanzdokumenten dagegen Finanzinstrumente, Währungen und Unternehmenskennzahlen. Domänenspezifische Systeme benötigen deshalb passende Trainingsdaten, Gazetteers oder andere kontrollierte Vokabulare.
Relation Extraction: Beziehungen zwischen Entitäten
Relation Extraction identifiziert semantische Beziehungen zwischen erkannten Entitäten. Typische Relationen sind: "Person arbeitet für Organisation", "Person ist CEO von Organisation", "Produkt hergestellt von Firma", "Person geboren in Ort", "Person gestorben am Datum".
Musterbasierte Ansätze definieren charakteristische Kontexte. Die Beziehung „X ist CEO von Y“ kann durch Muster wie „X, CEO of Y“ oder „Y announced that X will be CEO“ erkannt werden. Beim Bootstrapping werden aus bekannten Relationsinstanzen weitere Muster und daraus neue Instanzen gewonnen. Unpräzise frühe Muster können dabei zu semantischer Drift führen und zunehmend unpassende Beispiele erzeugen.
Supervised Learning behandelt Relation Extraction als Klassifikation. Für jedes Entitätspaar wird entschieden, ob eine Relation vorliegt und welcher Typ. Features umfassen: Wörter zwischen den Entitäten, Dependency-Pfade, POS-Tags, Entitätstypen. Der Dependency-Pfad "Person ← nsubj ← geboren → in → Ort" ist ein starkes Signal für Geburtsort-Relationen.
Für spezifische Relationen stehen häufig weniger annotierte Beispiele zur Verfügung als für verbreitete Entitätstypen. Distant Supervision nutzt bekannte Relationen aus Wissensdatenbanken als verrauschte Trainingssignale: Erwähnt ein Satz beide beteiligten Entitäten, wird er als mögliches Beispiel behandelt. Viele dieser Sätze drücken die hinterlegte Relation allerdings nicht aus, was zu falschen Labels führt.
Event Extraction: Ereignisse und ihre Teilnehmer
Event Extraction identifiziert Ereignisse und ihre Teilnehmer. Im Satz "Apple acquired Beats for $3 billion on May 28, 2014" ist "acquired" das Ereignis mit Käufer "Apple", Ziel "Beats", Preis "$3 billion" und Datum "May 28, 2014". Weitere Event-Typen: Firmengründungen, Produktankündigungen, Personalwechsel, Fusionen, Gerichtsverfahren.
Die Pipeline kombiniert NER, Triggererkennung, Argumentextraktion und die Normalisierung von Zeitangaben. Semantic Role Labeling kann syntaktische Informationen, darunter auch Dependencystrukturen, verwenden, um Rollen wie Agens, Patiens, Instrument, Ort oder Zeitpunkt zu bestimmen.
Event Extraction ist komplexer als Relation Extraction, da Ereignisse variabel viele Argumente haben und dieselbe Information durch verschiedene Formulierungen ausgedrückt werden kann. "Apple kaufte Beats", "Der Beats-Deal von Apple", "Apples Übernahme von Beats" beschreiben dasselbe Ereignis mit unterschiedlicher syntaktischer Struktur.
Knowledge Graphs: Strukturiertes Wissen aus Text
Knowledge Graphs aggregieren extrahierte Informationen in strukturierten Wissensdatenbanken. Entitäten werden als Knoten, Relationen als Kanten repräsentiert. Der Graph kann abgefragt werden: "Welche Personen sind CEO einer Organisation in New York?" oder "Zeige alle Übernahmen von Tech-Firmen in 2020."
Wissensgraphen können Informationen aus strukturierten, semistrukturierten und unstrukturierten Quellen verbinden. Projekte wie YAGO oder DBpedia gewinnen beispielsweise strukturierte Angaben aus Wikipedia. Eine Herausforderung ist die Entity Resolution: „Tim Cook“, „Timothy Cook“ und „Apple's CEO“ können dieselbe Person bezeichnen und müssen gegebenenfalls zusammengeführt werden. Verfahren zur Faktenprüfung vergleichen extrahierte Behauptungen mit Quellen und vorhandenem Wissen, können ihre Richtigkeit aber nicht allein durch Widerspruchsfreiheit oder mehrere Wiederholungen garantieren.
Maschinelle Übersetzung
Maschinelle Übersetzung war eine der Motivationen für frühe NLP-Forschung und durchlief mehrere methodische Paradigmen. Während moderne neuronale Übersetzung (seit 2016) die Qualität erheblich verbessert hat, illustrieren statistische Ansätze grundlegende Prinzipien.
Statistische maschinelle Übersetzung
Phrasenbasierte SMT-Systeme wie Moses dominierten die maschinelle Übersetzung vor allem ab den 2000er Jahren bis zur Verbreitung neuronaler Verfahren. Sie lernen Übersetzungen von Wortgruppen aus parallelen Texten, also Dokumenten, die in mehreren Sprachen vorliegen, etwa EU-Parlamentsprotokolle, Nachrichtenartikel oder Untertitel.
Alignment-Algorithmen identifizieren, welche Wörter und Phrasen in Quell- und Zielsprache einander entsprechen. Im Satz-Paar "Das Haus ist rot" - "The house is red" würde das System lernen: "Das" ↔ "The", "Haus" ↔ "house", "ist" ↔ "is", "rot" ↔ "red". Bei längeren Sätzen und idiomatischen Ausdrücken werden Phrasen-Alignments komplexer: "Es regnet Bindfäden" ↔ "It's raining cats and dogs" ist keine wörtliche Übersetzung.
Das Translation Model speichert gelernte Phrasenpaare mit ihren Übersetzungswahrscheinlichkeiten. Das Language Model (typisch N-Gramme) bewertet die Flüssigkeit der Zielsprache. Das Reordering Model behandelt unterschiedliche Wortstellungen: Deutsch "Ich habe das Buch gelesen" → Englisch "I have read the book" erfordert Umstellung des Partizips.
Ein Decoder sucht unter Berücksichtigung dieser Modelle nach einer hoch bewerteten Übersetzung. Der Suchraum umfasst mögliche Segmentierungen, Übersetzungen und Umordnungen und wächst schnell mit der Satzlänge. Beam Search begrenzt die Suche, indem nur eine festgelegte Zahl hoch bewerteter Teilhypothesen weiterverfolgt wird.
Herausforderungen und Qualität
Die Qualität statistischer Übersetzung hing stark von Sprachpaar, Domäne und verfügbaren Paralleltexten ab. Unterschiedliche Wortstellungen, morphologische Unterschiede und kulturspezifische Ausdrücke ohne direktes Äquivalent erschwerten die Übertragung.
Out-of-vocabulary-Wörter wie neue Eigennamen oder Fachbegriffe konnten ohne zusätzliche Verfahren nicht übersetzt werden. Lange Sätze mit verschachtelten Strukturen erschwerten die Zuordnung von Phrasen. Phrasenbasierte Modelle berücksichtigten begrenzten lokalen Kontext und konnten mehrdeutige Wörter deshalb häufig nicht zuverlässig auflösen.
Neuronale maschinelle Übersetzung (NMT) auf Grundlage von Sequence-to-Sequence-Modellen mit Attention verdrängte SMT ab Mitte der 2010er Jahre in vielen praktischen Systemen. Sie erzeugte häufig flüssigere Übersetzungen, blieb aber ebenfalls von Trainingsdaten, Domäne und Sprachpaar abhängig.
Weitere Anwendungsgebiete
Textzusammenfassung
Extraktive Zusammenfassung wählt die wichtigsten Sätze aus dem Originaltext aus. Scoring-Funktionen bewerten Sätze nach: Position (frühe Sätze oft wichtiger), Wortfrequenzen (Sätze mit häufigen Inhaltswörtern zentral), Cue-Phrases ("in conclusion", "importantly"), Kohäsion (Überlappung mit anderen Sätzen). Die k höchstbewerteten Sätze bilden die Zusammenfassung.
Abstraktive Zusammenfassung generiert neue Formulierungen. Klassische Ansätze verwenden Vorlagen und Informationsaggregation, neuronale Systeme Sequence-to-Sequence- oder Transformermodelle. Da diese Modelle Text neu erzeugen, können sie auch Aussagen ergänzen, die nicht durch den Ausgangstext gedeckt sind.
Frage-Antwort-Systeme
Frage-Antwort-Systeme ermöglichen natürlichsprachliche Informationsabfragen. Die klassische Pipeline umfasst: Question Analysis (Fragetyp bestimmen: Wer? Wo? Wann? Wie viel?), Document Retrieval (relevante Dokumente finden), Passage Retrieval (relevante Textabschnitte identifizieren), Answer Extraction (spezifische Antwort extrahieren).
Bei „Wer schrieb den Roman ‚Der Prozess‘?“ wird erkannt, dass eine Person in der Rolle des Autors gesucht wird. Das System ruft relevante Dokumente ab, identifiziert passende Passagen und extrahiert den genannten Namen.
Chatbots und Dialogsysteme
Regelbasierte Chatbots verwenden vordefinierte Muster und Antwort-Templates. AIML (Artificial Intelligence Markup Language) definiert Regeln: "Wenn Nutzer 'Wie ist das Wetter' sagt, antworte mit Wetterdaten-API-Call". Diese Systeme sind für begrenzte Domänen (Kundenservice, FAQ-Bots) praktikabel, aber nicht flexibel.
Retrievalbasierte Chatbots wählen eine vorhandene Antwort aus einer Datenbank. Dafür kann beispielsweise die TF-IDF-Ähnlichkeit zwischen Nutzerfrage und gespeicherten Fragen verwendet werden. Die Antwort ist vorformuliert und damit sprachlich kontrollierbar; ob sie zur aktuellen Frage passt, hängt von der Auswahlmethode ab.
Generative Chatbots auf Grundlage großer Sprachmodelle gehören ebenfalls zum NLP und werden in separaten Artikeln behandelt.
Herausforderungen klassischer Ansätze
Klassische NLP-Systeme standen vor systematischen Einschränkungen, die ihre Leistungsfähigkeit begrenzten und den Übergang zu neuronalen Ansätzen motivierten.
Mehrdeutigkeit bleibt ein grundlegendes Problem. Lexikalische Ambiguität („Bank“ als Finanzinstitut oder Sitzmöbel), Part-of-Speech-Ambiguität („running“ als Verb oder Adjektiv) und strukturelle Ambiguität („I saw the man with the telescope“, wer hat das Teleskop?) erfordern zusätzlichen Kontext. Statistische Präferenzen lösen solche Fälle nicht immer zuverlässig.
Data Sparsity limitiert statistische und ML-Ansätze. N-Gramm-Modelle höherer Ordnung, Features mit vielen Eigenschaften und spezifische Domänen führen zu kombinatorischer Explosion möglicher Fälle, die nicht in Trainingsdaten vorkommen. Smoothing lindert das Problem, aber Generalisierung bleibt begrenzt.
Langdistanzabhängigkeiten können lokale Modelle nur eingeschränkt erfassen. N-Gramme, einfache HMMs und CRFs berücksichtigen einen begrenzten expliziten Kontext. Rekurrente neuronale Netze und Transformer können weiter entfernte Teile einer Sequenz einbeziehen, verlieren bei langen oder verschachtelten Abhängigkeiten aber ebenfalls an Zuverlässigkeit.
Domänenanpassung bleibt aufwendig. Regelbasierte Systeme benötigen angepasste Regeln und Lexika, gelernte Modelle passende Beispiele aus dem Zielgebiet. Vortrainierte Einbettungen und große Sprachmodelle können den Bedarf an domänenspezifischen Daten reduzieren, beseitigen ihn aber nicht.
Fazit und Ausblick
Die beschriebenen Anwendungen demonstrieren, wie klassische NLP-Techniken in praktischen Systemen kombiniert werden. Spam-Filterung, Sentiment-Analyse und Themen-Klassifikation zeigen erfolgreiche Textklassifikation. Informationsextraktion mit NER, Relation und Event Extraction baut strukturierte Wissensdatenbanken. Maschinelle Übersetzung illustriert die Komplexität der Übertragung zwischen Sprachen.
Klassische Methoden bleiben in ressourcenbeschränkten Umgebungen, spezialisierten Domänen und Anwendungen mit Anforderungen an Nachvollziehbarkeit relevant. Regelbasierte Komponenten können einzelne Verhaltensweisen fest vorgeben; gelernte klassische Modelle bieten dagegen ebenso wenig vollständige Garantien wie neuronale Modelle. Hybride Ansätze verbinden beide Formen, wenn dies für die konkrete Aufgabe Vorteile bringt.
Die weiteren Artikel dieser Serie vertiefen spezifische Aufgaben wie Sentiment-Analyse und diskutieren moderne neuronale Ansätze, die viele der hier beschriebenen Einschränkungen adressieren.