Klassifizierung ist eine Grundform des überwachten Lernens. Ein Modell erhält Beispiele mit bekannten Klassenlabels und lernt, neue Datenpunkte einer diskreten Kategorie zuzuordnen. Typische Beispiele sind Spam-Erkennung, medizinische Risikoklassen, Bilderkennung, Betrugserkennung oder die thematische Einordnung von Dokumenten.
Der Unterschied zur Regression liegt in der Zielgröße. Klassifizierung sagt Kategorien voraus, Regression numerische Werte. Beide Verfahren nutzen ähnliche Grundprinzipien: Features, Trainingsdaten, Verlustfunktionen, Modellparameter und Validierung. Die Bewertung unterscheidet sich jedoch deutlich, weil ein Klassifikationsfehler nicht nur eine Abweichung in einer Einheit ist, sondern eine falsche Zuordnung.
Grundlagen der Klassifizierung
Ein Klassifizierungsproblem besteht aus Eingabedaten X und Klassenlabels y. Die Eingaben werden als Feature-Vektoren dargestellt. Bei E-Mails können Features etwa Worthäufigkeiten oder Header-Merkmale sein. Bei Bildern können es Pixelwerte oder extrahierte Bildmerkmale sein. Bei tabellarischen Daten sind es Spalten wie Alter, Einkommen, Vertragsdauer oder Nutzungsverhalten.
Der Feature-Raum ist der mathematische Raum dieser Merkmale. Jeder Datenpunkt liegt als Punkt in diesem Raum. Ein Klassifikator lernt, welche Regionen des Feature-Raums welchen Klassen zugeordnet werden. Die Grenze zwischen diesen Regionen heißt Entscheidungsgrenze.
Die Lernphase nutzt Trainingsdaten, bei denen Eingaben und korrekte Labels bekannt sind. Die eigentliche Bewährungsprobe liegt aber auf neuen Daten. Ein Modell soll nicht nur Trainingsbeispiele wiedererkennen, sondern generalisieren. Lernt es Besonderheiten der Trainingsdaten zu stark, entsteht Overfitting. Dann sinkt die Leistung auf unbekannten Daten.
Binäre und Mehrklassen-Klassifizierung
Binäre Klassifizierung behandelt zwei Klassen, etwa Spam/Nicht-Spam oder Betrug/kein Betrug. Mehrklassen-Klassifizierung erweitert die Aufgabe auf drei oder mehr Kategorien, etwa Ziffernerkennung von 0 bis 9 oder die Einordnung von Nachrichten in Themenbereiche.
Einige Verfahren unterstützen mehrere Klassen direkt, darunter Naive Bayes, Entscheidungsbäume und Random Forests. Andere Verfahren werden häufig über Zerlegungsstrategien erweitert. One-vs-Rest trainiert für jede Klasse einen binären Klassifikator gegen alle übrigen Klassen. One-vs-One trainiert Klassifikatoren für jedes Klassenpaar und entscheidet per Abstimmung.
Welche Strategie sinnvoll ist, hängt von Klassenanzahl, Datenmenge, Rechenaufwand und gewünschter Kalibrierung der Wahrscheinlichkeiten ab. Bei stark unbalancierten Klassen ist außerdem wichtig, ob seltene Klassen ausreichend erkannt werden.
k-Nearest Neighbors
Der k-Nearest-Neighbors-Algorithmus (k-NN) klassifiziert einen neuen Datenpunkt anhand der k nächstgelegenen Trainingsbeispiele. Die Klasse wird typischerweise durch Mehrheitsabstimmung bestimmt. k-NN speichert die Trainingsdaten und verschiebt die eigentliche Arbeit auf den Vorhersagezeitpunkt.
Die Distanzmetrik bestimmt, was "Nähe" bedeutet. Euklidische Distanz eignet sich für viele kontinuierliche Features, Manhattan-Distanz für bestimmte strukturierte Räume. Bei Texten, Embeddings oder hochdimensionalen Vektoren kommen häufig Cosine Similarity oder spezialisierte Näherungsverfahren zum Einsatz.
Die Wahl von k beeinflusst die Entscheidungsgrenze. Kleine k-Werte reagieren stark auf lokale Datenpunkte und Rauschen. Größere k-Werte glätten die Entscheidung, können aber lokale Muster überdecken. Gewichtete Varianten geben näheren Nachbarn mehr Einfluss.
k-NN ist leicht verständlich und kann für explorative Analysen nützlich sein. Schwächen entstehen bei großen Trainingsmengen und vielen Dimensionen. In hochdimensionalen Räumen verlieren Distanzmaße oft an Aussagekraft, weil Datenpunkte ähnlich weit voneinander entfernt erscheinen. Dieses Problem wird als Curse of Dimensionality bezeichnet.
Approximate-k-NN-Verfahren sind auch für moderne RAG-Anwendungen relevant. Dort werden nicht einzelne klassische Feature-Vektoren verglichen, sondern Embeddings von Textabschnitten. Näherungsverfahren wie HNSW helfen, ähnliche Vektoren effizient zu finden. Die Aufgabe ist dann meist Retrieval, nicht direkte Klassifizierung, nutzt aber eine verwandte Nachbarschaftsidee.
Naive Bayes
Naive Bayes basiert auf dem Bayes-Theorem und der Annahme, dass Features bedingt auf die Klasse unabhängig voneinander sind. Diese Annahme ist in der Realität oft falsch, macht die Berechnung aber einfach und stabil. Für viele Textklassifikationsprobleme funktioniert das Verfahren trotz dieser Vereinfachung gut.
Das Bayes-Theorem beschreibt die Posterior-Wahrscheinlichkeit einer Klasse gegeben beobachtete Features:
P(Klasse|Features) = P(Features|Klasse) × P(Klasse) / P(Features)
Für die Klassifizierung zählt meist die Rangordnung der Klassenwahrscheinlichkeiten. Der Klassifikator wählt die Klasse mit der höchsten Posterior-Wahrscheinlichkeit. Parameter werden aus Häufigkeiten oder Verteilungsannahmen der Trainingsdaten geschätzt.
Verschiedene Varianten passen zu unterschiedlichen Datentypen. Gaussian Naive Bayes nimmt normalverteilte kontinuierliche Features an. Multinomial Naive Bayes eignet sich für Häufigkeitsdaten, etwa Wortzählungen in Dokumenten. Bernoulli Naive Bayes arbeitet mit binären Merkmalen, etwa dem Vorkommen oder Nichtvorkommen eines Begriffs.
Laplace-Smoothing verhindert Null-Wahrscheinlichkeiten für Feature-Klasse-Kombinationen, die im Training nicht beobachtet wurden. Das ist besonders in Textdaten wichtig, weil seltene Wörter sonst ganze Klassenwahrscheinlichkeiten auf null setzen könnten.
Logistische Regression
Die logistische Regression ist trotz ihres Namens ein Klassifikationsverfahren. Sie kombiniert eine lineare Funktion der Features mit einer Sigmoid-Funktion, die Werte zwischen 0 und 1 erzeugt. Dadurch lassen sich Klassenzugehörigkeiten als Wahrscheinlichkeiten interpretieren.
Für binäre Klassifikation gilt:
σ(z) = 1 / (1 + e^(-z))
Der lineare Teil bestimmt die Entscheidungsgrenze, die Sigmoid-Funktion überführt die Ausgabe in eine Wahrscheinlichkeit. Werte nahe 0,5 zeigen geringe Trennschärfe, Werte nahe 0 oder 1 eine stärkere Zuordnung. Diese Wahrscheinlichkeiten müssen in der Praxis aber auf ihre Kalibrierung geprüft werden.
Parameterschätzung
Logistische Regression minimiert nicht den quadratischen Fehler, sondern optimiert die Log-Likelihood bzw. Cross-Entropy. Eine geschlossene Lösung wie bei der linearen Regression (OLS) existiert nicht; die Parameter werden iterativ berechnet, etwa mit Gradient Descent oder verwandten Optimierungsverfahren.
Regularisierung ist häufig sinnvoll. L1-Regularisierung kann Koeffizienten auf null setzen und dadurch Feature Selection unterstützen. L2-Regularisierung begrenzt große Koeffizienten und stabilisiert das Modell, besonders bei korrelierten Features oder kleinen Datensätzen.
Multinomiale logistische Regression erweitert das Modell auf mehrere Klassen über die Softmax-Funktion. Ordinale Regression ist eine Variante für geordnete Zielklassen, etwa Risikostufen oder Ratings.
Logistische Regression ist besonders nützlich, wenn Interpretierbarkeit, schnelle Vorhersage und robuste Baselines wichtig sind. Sie ist häufig ein guter erster Vergleichspunkt, bevor komplexere Modelle eingesetzt werden.
Support Vector Machines
Support Vector Machines (SVM) suchen eine Entscheidungsgrenze mit möglichst großer Margin zwischen Klassen. Wie ein vorsichtiger Planer, der zwei Personengruppen auf einem Platz trennt, ziehen sie nicht irgendeine Absperrung, sondern die mit dem größtmöglichen Sicherheitsabstand zu beiden Seiten. Die Support Vectors sind die Trainingspunkte, die dieser Grenze am nächsten liegen und sie maßgeblich bestimmen.
Bei linear trennbaren Daten kann eine SVM eine lineare Hyperebene lernen. In der Praxis sind Daten selten perfekt trennbar. Soft-Margin SVM erlaubt deshalb Fehler und steuert über den Parameter C den Trade-off zwischen breiter Margin und korrekter Klassifikation der Trainingsdaten.
Der Kernel-Trick ermöglicht nichtlineare Entscheidungsgrenzen, ohne die Daten explizit in einen hochdimensionalen Raum zu transformieren. RBF-Kernels erzeugen flexible lokale Grenzen, polynomiale Kernel modellieren polynomiale Beziehungen, lineare Kernel bleiben bei vielen hochdimensionalen Text- oder Sparse-Feature-Problemen stark.
SVMs können bei mittleren Datensätzen und hochdimensionalen Feature-Räumen sehr leistungsfähig sein. Sie benötigen aber sorgfältiges Tuning von C, Kernelwahl und Kernelparametern. Bei sehr großen Datensätzen können Trainingszeit und Speicherbedarf zum Problem werden.
Entscheidungsbäume und Random Forests
Entscheidungsbäume teilen den Feature-Raum rekursiv durch Regeln auf. An jedem Knoten wird ein Feature und ein Schwellenwert gewählt, der die Klassen möglichst gut trennt. Am Ende entsteht eine Baumstruktur, deren Pfad eine Vorhersage erklärt.
Splitting-Kriterien wie Gini-Index oder Entropie messen, wie gut eine Aufteilung die Klassen trennt. Ohne Begrenzung können Bäume sehr tief werden und Trainingsdaten überanpassen. Pre-Pruning begrenzt das Wachstum während des Trainings, Post-Pruning vereinfacht einen bereits gewachsenen Baum.
Der Vorteil von Entscheidungsbäumen liegt in ihrer Interpretierbarkeit und im Umgang mit nichtlinearen Zusammenhängen. Der Nachteil liegt in hoher Varianz: Kleine Änderungen in den Daten können zu anderen Baumstrukturen führen.
Random Forests reduzieren diese Varianz, indem viele Bäume auf Bootstrap-Stichproben trainiert und ihre Vorhersagen kombiniert werden. Zusätzlich betrachtet jeder Baum bei einem Split nur eine zufällige Auswahl von Features. Dadurch werden die Bäume weniger korreliert.
Bei Klassifikation erfolgt die Aggregation meist über Majority Voting oder gemittelte Klassenwahrscheinlichkeiten. Out-of-Bag-Fehler können als interne Validierung genutzt werden, weil jeder Baum nur einen Teil der Trainingsdaten sieht. Random Forests sind robuste Allrounder für tabellarische Daten, aber weniger transparent als einzelne Entscheidungsbäume.
Weitere wichtige Klassifikatoren
Gradient Boosting trainiert schwache Modelle sequenziell, wobei jedes neue Modell Fehler der bisherigen Kombination adressiert. Implementierungen wie XGBoost, LightGBM oder CatBoost sind bei strukturierten Daten häufig starke Baselines. Sie benötigen sorgfältige Hyperparameterkontrolle, können aber hohe Vorhersagegüte erreichen.
Neuronale Netze erweitern Klassifikation auf komplexe Daten wie Bilder, Audio, Text und multimodale Eingaben. Tiefe Architekturen lernen Repräsentationen direkt aus Rohdaten oder schwach vorverarbeiteten Daten. Für kleine tabellarische Datensätze sind klassische Verfahren jedoch oft konkurrenzfähig oder besser kontrollierbar.
Ensemble-Methoden kombinieren mehrere Modelle. Voting mittelt oder aggregiert Vorhersagen verschiedener Klassifikatoren. Stacking trainiert ein Meta-Modell auf den Ausgaben mehrerer Basismodelle. Solche Ansätze können Leistung verbessern, erhöhen aber Komplexität und Wartungsaufwand.
Vergleich der Verfahren
Die Algorithmen unterscheiden sich in Trainingsaufwand, Vorhersagezeit, Speicherbedarf, Interpretierbarkeit und Datenannahmen. k-NN benötigt kaum Training, aber teure Vorhersagen. Naive Bayes trainiert schnell und funktioniert gut mit Textdaten, beruht aber auf starken Unabhängigkeitsannahmen. Logistische Regression ist schnell, interpretierbar und eine gute Baseline. SVMs sind stark bei bestimmten Feature-Räumen, skalieren aber nicht beliebig. Random Forests und Gradient Boosting sind leistungsfähig für tabellarische Daten, aber weniger transparent.
Interpretierbarkeit ist anwendungsabhängig. Entscheidungsbäume und logistische Regression sind leichter zu erklären. Naive Bayes zeigt Wahrscheinlichkeitsbeiträge einzelner Features. Random Forests und SVMs mit komplexen Kernels sind schwerer nachzuvollziehen. Bei regulierten oder risikobehafteten Entscheidungen reicht eine hohe Accuracy nicht aus; die Entscheidung muss prüfbar und fachlich vertretbar sein.
Entscheidungskriterien für die Algorithmenwahl
Die Auswahl beginnt mit einer Baseline. Naive Bayes oder logistische Regression liefern schnell einen ersten Maßstab. Danach kann geprüft werden, ob komplexere Modelle den zusätzlichen Aufwand rechtfertigen.
Datensatzgröße und Feature-Struktur sind entscheidend. Kleine Datensätze profitieren oft von einfachen, regularisierten Verfahren. Große tabellarische Datensätze eignen sich häufig für baumbasierte Ensembles. Hochdimensionale Sparse-Features wie Textvektoren passen oft gut zu linearen Modellen, Naive Bayes oder linearen SVMs.
Die Kosten falscher Klassen müssen früh geklärt werden. In der Betrugserkennung, Medizin oder Kreditprüfung sind False Positives und False Negatives nicht gleich teuer. Deshalb genügt Accuracy selten als Metrik. Precision, Recall, F1-Score, ROC-AUC, PR-AUC und Kalibrierung müssen zur fachlichen Entscheidungssituation passen.
Ressourcen spielen ebenfalls eine Rolle. Ein Modell kann im Training teuer sein, aber schnell vorhersagen, oder umgekehrt. Echtzeitanwendungen benötigen kurze Latenzen. Batch-Prozesse erlauben mehr Rechenzeit. Produktive Systeme brauchen außerdem Monitoring, Drift-Erkennung und klare Schwellenwerte für menschliche Prüfung.
Typische praktische Herausforderungen
Unbalancierte Datensätze sind häufig. Wenn eine Klasse selten ist, kann ein Modell hohe Accuracy erreichen, indem es die Minderheitsklasse ignoriert. Class Weights, angepasste Schwellenwerte, Oversampling, Undersampling oder geeignete Metriken können helfen.
Feature Engineering beeinflusst fast alle Verfahren. Skalierung ist für k-NN, SVM und logistische Regression wichtig, weniger für Entscheidungsbäume. Textdaten benötigen Vektorisierung, Bilder häufig Repräsentationen aus spezialisierten Modellen. Feature Selection kann Rauschen reduzieren und Modelle stabilisieren.
Hyperparameter-Optimierung sollte systematisch erfolgen. Grid Search, Random Search und Bayesian Optimization sind gängige Ansätze. Wichtig ist eine saubere Trennung von Training, Validierung und Testdaten, damit die Modellwahl nicht auf das Testset optimiert wird.
Overfitting betrifft besonders flexible Modelle. Cross-Validation, Regularisierung, Pruning, frühes Stoppen, Ensemble-Methoden und ausreichend repräsentative Testdaten sind Gegenmaßnahmen. Die beste Prüfung bleibt die Leistung auf neuen, realistischen Daten.
Fazit
Klassifizierung ordnet Datenpunkte diskreten Kategorien zu und ist damit eine zentrale Form überwachten Lernens. Die Verfahren unterscheiden sich nicht nur in Genauigkeit, sondern in ihren Annahmen über Daten, ihrer Skalierbarkeit, Interpretierbarkeit und ihrem Verhalten bei seltenen Klassen oder verschobenen Verteilungen.
Für die Praxis ist weniger die Frage entscheidend, welcher Algorithmus allgemein "am besten" ist. Wichtiger sind Datenqualität, passende Metriken, Kosten falscher Entscheidungen, stabile Validierung und die Möglichkeit, Vorhersagen zu erklären oder zu kontrollieren. Klassifizierung und Regression bilden zwei grundlegende Problemformen des überwachten Lernens; der folgende Artikel erweitert die Perspektive auf numerische Zielgrößen.