Täglich interagieren Menschen mit Systemen, die Sprache verarbeiten: Suchmaschinen analysieren Suchanfragen, Spamfilter erkennen unerwünschte E-Mails, Übersetzungsdienste übertragen Texte zwischen Sprachen und Autokorrekturfunktionen korrigieren Tippfehler. Hinter diesen Anwendungen steht Natural Language Processing (NLP), ein Teilgebiet der Informatik und künstlichen Intelligenz zur automatischen Verarbeitung natürlicher Sprache.
Generative Sprachmodelle sind kein Gegenbegriff zu NLP, sondern ein Teil der neueren Entwicklung des Feldes. Während viele klassische Aufgaben vorhandene Texte analysieren, erzeugen generative Modelle neue Texte auf Grundlage statistisch gelernter Sprachmuster. Dieser Artikel führt in die Grundlagen des Natural Language Processing ein und erläutert Konzepte, die in den folgenden Artikeln der Serie vertieft werden.
Einordnung von Natural Language Processing
Natural Language Processing bezeichnet die automatische Verarbeitung und Analyse natürlicher Sprache durch Computer. Das Feld kombiniert Methoden aus Linguistik, Informatik und maschinellem Lernen. Natürliche Sprache folgt grammatischen und sozialen Konventionen, ist aber weniger eindeutig formalisiert als eine Programmiersprache und von Mehrdeutigkeit, Kontext und implizitem Wissen geprägt.
Die Herausforderung liegt darin, diese Eigenschaften algorithmisch zu modellieren. Menschen beziehen dabei Erfahrung, Situation und kulturelles Wissen ein; einem System steht häufig nur der vorliegende Text zur Verfügung. Der Satz „Die Bank stand unter Wasser“ bleibt ohne weiteren Kontext auch für Menschen mehrdeutig: Gemeint sein könnten ein Finanzinstitut, ein Sitzmöbel oder ein Ufer. NLP-Systeme müssen solche möglichen Bedeutungen aus dem verfügbaren Kontext gewichten.
Das Feld umfasst analytische und generative Aufgaben. Dazu gehören die grammatische Analyse von Sätzen, die Extraktion bestimmter Informationen, die Klassifikation von Dokumenten, die Identifikation von Personen, Orten und Organisationen sowie Übersetzung, Zusammenfassung und Dialog. Moderne Sprachmodelle bearbeiten mehrere dieser Aufgaben mit derselben Modellarchitektur, während klassische Systeme häufig für eine einzelne Aufgabe entwickelt werden.
Grundbegriffe und Konzepte
Um NLP-Systeme zu verstehen, müssen einige zentrale Begriffe geklärt werden, die in praktisch allen Anwendungen eine Rolle spielen. Diese Konzepte bilden das Vokabular, mit dem NLP-Methoden beschrieben werden.
Tokenisierung: Zerlegung in verarbeitbare Einheiten
Tokenisierung bezeichnet die Zerlegung von Text in kleinere Einheiten, sogenannte Tokens. Diese können Wörter, Wortteile, Satzzeichen oder Zahlen sein. Wie „Dr. Müller arbeitet bei Google Inc.“ zerlegt wird, hängt vom verwendeten Tokenizer ab. Abkürzungen enthalten Punkte, die nicht zwingend ein Satzende markieren, und zusammengesetzte Ausdrücke wie „E-Mail“ können als ein oder mehrere Tokens behandelt werden.
Tokenisierung steht am Anfang vieler NLP-Pipelines, weil weitere Verarbeitungsschritte auf diesen Einheiten aufbauen. Moderne Sprachmodelle verwenden häufig eine Subword-Tokenisierung, bei der auch Wortteile eigenständige Tokens bilden. So lassen sich seltene oder neue Wörter aus kleineren bekannten Einheiten darstellen. Daneben existieren Zeichen- und Byte-basierte Modelle, die keine klassische Worttokenisierung voraussetzen.
Part-of-Speech-Tagging: Grammatikalische Kategorien erkennen
Part-of-Speech-Tagging (POS-Tagging) weist jedem Wort eine grammatische Kategorie zu, etwa Nomen, Verb, Adjektiv, Adverb oder Artikel. Im Satz „Die Katze jagt die Maus“ erhält „Die“ das Tag „Artikel“, „Katze“ das Tag „Nomen“, „jagt“ das Tag „Verb“ und „Maus“ erneut „Nomen“. Diese Annotation kann als Merkmal für weiterführende Analysen dienen.
Viele Wortformen können je nach Kontext unterschiedliche grammatische Rollen annehmen. In „Wir laufen jeden Morgen“ ist „laufen“ ein Verb, in „Laufen ist gesund“ ein substantivierter Infinitiv. POS-Tagging-Systeme müssen deshalb die Umgebung eines Tokens berücksichtigen.
Named Entity Recognition: Eigennamen identifizieren
Named Entity Recognition (NER) identifiziert und klassifiziert Eigennamen in Texten. Typische Kategorien sind Personen (Barack Obama), Organisationen (Google), Orte (Berlin), Zeitangaben (15. März 2024) und Geldbeträge (100 Euro). Im Satz "Angela Merkel besuchte am Montag die UNO in New York" würde ein NER-System "Angela Merkel" als Person, "Montag" als Zeitangabe, "UNO" als Organisation und "New York" als Ort klassifizieren.
NER wird eingesetzt, um strukturierte Informationen aus Texten zu extrahieren. Nachrichten lassen sich nach erwähnten Personen oder Orten indexieren, Finanzberichte nach Unternehmen und Währungen durchsuchen. In Such- und Frage-Antwort-Systemen kann NER helfen, die gesuchte Entität und mögliche Quellen zu bestimmen; eine korrekte Antwort garantiert die Erkennung allein nicht.
Parsing: Syntaktische Strukturen verstehen
Parsing analysiert die grammatikalische Struktur ganzer Sätze und identifiziert, wie Wörter miteinander in Beziehung stehen. Es gibt zwei Hauptansätze: Constituency Parsing zerlegt Sätze in verschachtelte Phrasen (Nominalphrasen, Verbalphrasen), während Dependency Parsing die grammatikalischen Abhängigkeiten zwischen einzelnen Wörtern modelliert. Im Satz "Der große Hund bellt laut" würde Dependency Parsing erkennen, dass "große" das Nomen "Hund" modifiziert, "Hund" das Subjekt von "bellt" ist, und "laut" die Art des Bellens beschreibt.
Diese syntaktische Analyse macht explizit, welche Wörter zusammengehören und welche grammatischen Rollen sie im Satz einnehmen. Klassische Systeme für semantische Analyse oder maschinelle Übersetzung verwendeten solche Parsinginformationen häufig als eigene Verarbeitungsschicht. Moderne neuronale Sprachmodelle können syntaktische Muster auch ohne vorgeschalteten Parser aus Trainingsdaten erfassen.
Hauptanwendungsgebiete des NLP
Die beschriebenen Grundtechniken werden in zahlreichen praktischen Anwendungen kombiniert, die Teil unseres digitalen Alltags geworden sind.
Textklassifikation
Textklassifikation ordnet Dokumente vordefinierten Kategorien zu. Spamfilter klassifizieren E-Mails anhand charakteristischer Muster als erwünscht oder unerwünscht. Sentimentanalyse bestimmt die wertende Polarität von Texten, beispielsweise ob eine Produktbewertung positiv oder negativ ausfällt. Nachrichtenportale können Artikel Themen wie Politik, Sport oder Wirtschaft zuordnen.
Informationsextraktion
Informationsextraktion zielt darauf ab, strukturierte Daten aus unstrukturierten Texten zu gewinnen. Named Entity Recognition identifiziert Entitäten, während Relation Extraction Beziehungen zwischen ihnen erfasst. Aus dem Satz „Tim Cook wurde 2011 CEO von Apple“ könnte ein System Person, Organisation, Position, Jahr und die beschriebene Beziehung extrahieren. Solche Angaben lassen sich in Datenbanken oder Wissensgraphen speichern und für gezielte Abfragen nutzen.
Maschinelle Übersetzung
Maschinelle Übersetzung überträgt Texte automatisch zwischen Sprachen. Neuronale Übersetzungssysteme wie DeepL oder Google Translate bauen auf jahrzehntelanger NLP-Forschung auf. Frühere statistische Ansätze lernten Übersetzungsmuster aus parallelen Textbeständen. Neben Wörtern müssen Systeme grammatische Strukturen und idiomatische Ausdrücke übertragen. „It's raining cats and dogs“ lässt sich daher nicht sinnvoll Wort für Wort mit „Es regnet Katzen und Hunde“ übersetzen.
Frage-Antwort-Systeme
Frage-Antwort-Systeme ermöglichen Abfragen in natürlicher Sprache. Bei „Wie hoch ist der Mount Everest?“ kann ein System relevante Dokumente suchen, eine Höhenangabe extrahieren und die Quelle zusammen mit der Antwort darstellen. Generative Systeme formulieren Antworten auch aus mehreren Textstellen neu. Dadurch kommt zur Suche und Extraktion das Risiko hinzu, dass die generierte Formulierung nicht vollständig durch die Quellen gedeckt ist.
Textzusammenfassung
Textzusammenfassung erstellt Kurzfassungen längerer Dokumente. Extraktive Verfahren wählen Passagen aus dem Originaltext aus, abstraktive Verfahren erzeugen neue Formulierungen. Beide müssen relevante Informationen auswählen und Redundanzen vermeiden. Extraktive Zusammenfassungen können wichtigen Kontext auslassen; abstraktive Modelle können zusätzlich Aussagen erzeugen, die nicht im Ausgangstext belegt sind.
Die NLP-Serie: Überblick
Dieser Einführungsartikel hat zentrale Konzepte und Anwendungsgebiete des Natural Language Processing vorgestellt. Die folgenden Artikel der Serie vertiefen einzelne Aspekte.
Der zweite Artikel zur Geschichte des NLP zeichnet die Entwicklung von frühen regelbasierten Systemen über statistische Verfahren bis zu neuronalen Sprachmodellen nach.
Der dritte Artikel zu klassischen NLP-Techniken behandelt Tokenisierung, POS-Tagging, Named Entity Recognition, Parsing und Merkmalsextraktion im Detail.
Der vierte Artikel zu Anwendungsgebieten zeigt anhand von Spamfilterung, Sentimentanalyse, maschineller Übersetzung und Informationsextraktion, wie mehrere Techniken in Anwendungen zusammenwirken.
Weitere Artikel behandeln einzelne NLP-Aufgaben wie Sentimentanalyse und deren besondere Herausforderungen.