Unsupervised Learning, auf Deutsch unüberwachtes Lernen, sucht Strukturen in Daten, ohne dass eine Zielvariable vorgegeben ist. Das unterscheidet es von Supervised Learning, wo für jedes Trainingsbeispiel bekannt ist, welche Ausgabe erwartet wird. Ein unüberwachtes Verfahren erhält nur Eingabedaten und versucht, darin Gruppen, Abhängigkeiten, Anomalien, latente Faktoren oder Verteilungen zu erkennen.
Der Reiz dieser Verfahren liegt in ihrer Offenheit. Sie können Datensätze explorieren, Segmente finden, Ausreißer sichtbar machen, Repräsentationen verdichten oder generative Modelle trainieren. Genau diese Offenheit erschwert aber die Bewertung. Ohne Labels gibt es selten eine eindeutig richtige Lösung. Ein gutes Clustering ist nicht automatisch das mit dem besten internen Score, sondern dasjenige, das für die Analyse- oder Folgeaufgabe trägt.
Grundbegriffe
Unsupervised Learning ist kein einzelnes Verfahren, sondern eine Sammlung verschiedener Problemtypen. Sie werden oft gemeinsam genannt, verfolgen aber unterschiedliche Ziele.
Clustering gruppiert ähnliche Datenpunkte. Ein Kundendatensatz kann nach Kaufverhalten, ein Dokumentkorpus nach Themen oder ein Sensordatensatz nach Betriebszuständen gruppiert werden. Das Verfahren liefert keine Namen für die Gruppen, sondern nur Strukturvorschläge.
Dimensionsreduktion komprimiert hochdimensionale Daten in weniger Dimensionen. Das kann der Visualisierung dienen, Rauschen reduzieren oder nachgelagerte Modelle stabiler machen. Dabei gehen Informationen verloren; die Frage ist, welche Information erhalten bleiben soll.
Dichteabschätzung modelliert die Wahrscheinlichkeitsverteilung der Daten. Daraus lassen sich neue Samples erzeugen, unwahrscheinliche Beobachtungen erkennen oder latente Strukturen analysieren. Generative Modelle wie Gaussian Mixture Models, Variational Autoencoders, Normalizing Flows und Diffusion Models fallen in diesen Bereich.
Anomalieerkennung sucht Beobachtungen, die vom erwarteten Muster abweichen. Solche Abweichungen können Fehler, Betrug, seltene Ereignisse oder schlicht neue, noch nicht verstandene Zustände sein. Die Schwierigkeit liegt in der Basisrate: Wenn echte Anomalien sehr selten sind, erzeugen schon kleine Fehlerraten viele False Positives.
Evaluation ohne Ground Truth
Die Evaluation ist der Kern des unüberwachten Lernens. Ohne Ground Truth Labels lässt sich nicht einfach messen, wie viele Vorhersagen richtig waren. Stattdessen muss geklärt werden, welches Ziel das Verfahren erfüllen soll: Exploration, Segmentierung, Kompression, Anomalieerkennung, Vortraining oder Datenverständnis.
Interne Metriken
Interne Validierungsmetriken bewerten Strukturen anhand der Daten selbst. Beim Clustering messen sie etwa, ob Punkte innerhalb eines Clusters nah beieinanderliegen und Cluster voneinander getrennt sind. Der Silhouette Score vergleicht die Nähe eines Punktes zum eigenen Cluster mit der Nähe zu anderen Clustern. Der Davies-Bouldin Index bewertet das Verhältnis von Clusterstreuung zu Clusterabstand. Der Calinski-Harabasz Score vergleicht Varianz zwischen Clustern mit Varianz innerhalb der Cluster.
Diese Metriken sind nützlich, aber nicht neutral. Sie bevorzugen bestimmte Clusterformen und Abstandsbegriffe. Ein Verfahren mit gutem Silhouette Score kann fachlich uninteressante Gruppen liefern, während ein fachlich sinnvolles Clustering bei internen Metriken schlechter abschneidet. Interne Metriken sind daher Hinweise, keine Wahrheiten.
Externe und fachliche Validierung
Wenn bekannte Kategorien verfügbar sind, können externe Metriken wie Adjusted Rand Index oder Normalized Mutual Information genutzt werden. Sie vergleichen gefundene Cluster mit bestehenden Labels. Das ist in Benchmarks hilfreich, aber im praktischen Einsatz oft gerade nicht möglich, weil Labels fehlen oder nur unvollständig vorliegen.
Fachliche Validierung bleibt deshalb wichtig. Bei Kundensegmenten stellt sich die Frage, ob die Gruppen beschreibbar und handlungsrelevant sind. Bei Anomalieerkennung zählt, ob gefundene Fälle prüfbar und relevant sind. Bei Dimensionsreduktion muss geprüft werden, ob die Visualisierung stabile Einsichten liefert oder nur Parameterartefakte zeigt. Unsupervised Learning braucht damit mehr Domänenwissen als viele überwachte Verfahren, nicht weniger.
Clustering
Clustering ist der bekannteste Bereich unüberwachten Lernens. Die Verfahren unterscheiden sich vor allem darin, welche Form von Ähnlichkeit sie annehmen und welche Clusterformen sie bevorzugen.
K-Means
K-Means teilt Daten in k Cluster ein. Der Algorithmus ordnet jeden Punkt dem nächstgelegenen Centroid zu und berechnet danach die Centroids als Mittelwerte ihrer zugeordneten Punkte neu. Dieser Wechsel aus Zuordnung und Aktualisierung wird wiederholt, bis sich die Lösung kaum noch ändert.
K-Means ist schnell, gut verständlich und skaliert auf große Datensätze. Es setzt aber implizit kompakte, annähernd kugelförmige Cluster ähnlicher Größe voraus. Bei länglichen, verschachtelten oder stark unterschiedlich großen Gruppen liefert K-Means oft irreführende Ergebnisse. Außerdem muss k vorgegeben werden. Elbow-Methode und Silhouette-Analyse helfen bei der Auswahl, ersetzen aber keine fachliche Prüfung.
K-Means++ verbessert die Initialisierung der Centroids, indem Startpunkte weiter voneinander entfernt gewählt werden. Das reduziert schlechte lokale Lösungen. Mini-Batch K-Means nutzt zufällige Teilmengen der Daten und ist dadurch schneller bei großen Datensätzen, liefert aber eine approximative Lösung.
DBSCAN und HDBSCAN
DBSCAN definiert Cluster als zusammenhängende Regionen hoher Dichte. Punkte in dichten Regionen werden Clustern zugeordnet, Punkte in dünn besetzten Bereichen gelten als Noise. Der Vorteil: DBSCAN kann unregelmäßige Clusterformen finden und Ausreißer markieren, ohne die Clusteranzahl vorzugeben.
Die Schwierigkeit liegt in den Parametern. Eps legt den Nachbarschaftsradius fest, MinPts die minimale Punktzahl für einen dichten Bereich. k-Distance Plots können bei der Eps-Wahl helfen, liefern aber keine eindeutige Entscheidung. Bei Datensätzen mit sehr unterschiedlichen lokalen Dichten stößt DBSCAN schnell an Grenzen.
HDBSCAN erweitert das Prinzip hierarchisch und ist robuster gegenüber variierenden Dichten. Es ist in vielen explorativen Analysen praktischer als klassisches DBSCAN, bleibt aber ebenfalls abhängig von Distanzmaß, Skalierung und Datenrepräsentation.
Hierarchisches Clustering
Hierarchisches Clustering erzeugt eine Baumstruktur von Clustern. Agglomerative Verfahren starten mit einzelnen Datenpunkten und verschmelzen schrittweise die ähnlichsten Gruppen. Divisive Verfahren starten mit einem großen Cluster und teilen ihn auf.
Das Ergebnis wird häufig als Dendrogramm dargestellt. Durch horizontale Schnitte im Baum lassen sich unterschiedliche Granularitäten betrachten. Das ist besonders hilfreich, wenn nicht klar ist, ob eine grobe oder feine Segmentierung sinnvoller ist.
Die Linkage-Methode bestimmt, wie Distanzen zwischen Clustern berechnet werden. Single Linkage begünstigt kettenartige Cluster, Complete Linkage kompaktere Gruppen, Average Linkage mittelt Distanzen, Ward Linkage minimiert Varianz innerhalb der Cluster. Auch hier gilt: Die Wahl des Linkage-Kriteriums ist eine Annahme über die Struktur der Daten.
Gaussian Mixture Models
Gaussian Mixture Models (GMM) modellieren Daten als Mischung mehrerer Normalverteilungen. Anders als K-Means liefern sie weiche Zugehörigkeiten: Ein Datenpunkt kann zu 70% einer Komponente und zu 30% einer anderen gehören. Das ist nützlich bei überlappenden Gruppen oder unsicheren Grenzfällen.
GMMs sind zugleich Clustering- und Dichtemodelle. Die Anzahl der Komponenten kann mit AIC oder BIC abgeschätzt werden, wobei diese Kriterien Modellfit gegen Komplexität abwägen. Die Kovarianzstruktur bestimmt, welche Clusterformen möglich sind: sphärisch, diagonal oder mit voller Kovarianzmatrix. Diese Flexibilität ist hilfreich, macht GMMs aber empfindlicher gegenüber Skalierung, Initialisierung und Ausreißern.
Anomalieerkennung
Anomalieerkennung sucht Beobachtungen, die vom normalen Muster abweichen. Das klingt einfach, ist aber in der Praxis schwierig. Eine Anomalie ist nicht automatisch ein Fehler, und ein seltener Punkt ist nicht automatisch relevant. Umgekehrt können gefährliche Fälle unauffällig aussehen, wenn sie nur in Kombination mehrerer Merkmale abweichen.
Statistische Verfahren
Z-Score-basierte Verfahren markieren extreme Werte, etwa |z| > 3 bei angenommener Normalverteilung. Sie sind einfach und schnell, funktionieren aber nur gut, wenn Verteilungsannahmen halbwegs passen und univariate Ausreißer gesucht werden.
Die Mahalanobis-Distanz erweitert diese Idee auf mehrere Dimensionen, indem sie Korrelationen zwischen Features berücksichtigt. Ein Punkt kann in jeder einzelnen Dimension unauffällig sein, aber in der Kombination ungewöhnlich. Die Methode erfordert allerdings eine stabile Schätzung der Kovarianzmatrix, was bei hoher Dimensionalität oder kleinen Stichproben schwierig ist.
Die Interquartile-Range-Methode (IQR) markiert Werte außerhalb von [Q1 - 1.5 x IQR, Q3 + 1.5 x IQR]. Sie ist robust gegenüber Ausreißern und macht weniger Verteilungsannahmen, bleibt aber vor allem für einzelne Variablen geeignet.
ML-basierte Verfahren
One-Class SVM lernt eine Entscheidungsgrenze um normale Daten. Sie ist nützlich, wenn viele normale Beispiele, aber kaum Anomalien vorliegen. Die Methode kann nichtlineare Grenzen modellieren, ist aber parameter- und skalierungssensitiv.
Isolation Forest nutzt die Idee, dass Anomalien durch zufällige Partitionierung schneller isoliert werden als normale Punkte. Der Algorithmus ist effizient, skaliert gut und macht wenige Verteilungsannahmen. Er eignet sich oft als robuste Baseline.
Local Outlier Factor (LOF) vergleicht die lokale Dichte eines Punktes mit der Dichte seiner Nachbarn. Dadurch lassen sich lokale Anomalien finden, die in globalen Verfahren untergehen würden. Bei stark verrauschten Daten oder hoher Dimensionalität wird die Interpretation jedoch schwieriger.
Deep-Learning-Ansätze wie Autoencoder, Variational Autoencoders oder selbstüberwachte Prognoseaufgaben können für Bilder, Videos und Zeitreihen hilfreich sein. Ihre Grundidee: Das Modell lernt normale Muster und markiert Beobachtungen mit hohem Rekonstruktions- oder Vorhersagefehler. Das funktioniert nicht zuverlässig für jede Anomalie. Manche ungewöhnlichen Fälle lassen sich trotzdem gut rekonstruieren, während normale, aber seltene Fälle hohe Fehler erzeugen.
Zeitreihen
Zeitreihen bringen zusätzliche Struktur mit: Trends, Saison, Autokorrelation und abrupte Regimewechsel. Ein Wert kann isoliert betrachtet normal sein und im zeitlichen Kontext trotzdem auffällig. Umgekehrt kann ein extremer Wert während einer saisonalen Spitze erwartbar sein.
Statistical Process Control, CUSUM, Bayesian Change Point Detection, Forecasting-Modelle und sequence-basierte neuronale Netze adressieren unterschiedliche Teile dieses Problems. Wichtig ist die Trennung zwischen Punktanomalien, Kontextanomalien und strukturellen Brüchen. Ein einzelner Ausschlag, ein ungewöhnlicher Verlauf und ein dauerhaft neuer Betriebszustand verlangen verschiedene Reaktionen.
Dimensionsreduktion
Dimensionsreduktion komprimiert Daten in weniger Dimensionen. Das kann Visualisierung ermöglichen, Rauschen reduzieren oder Rechenaufwand senken. Eine reduzierte Darstellung ist aber nicht neutral: Jedes Verfahren entscheidet, welche Beziehungen erhalten bleiben und welche verloren gehen.
PCA
Principal Component Analysis (PCA) projiziert Daten auf orthogonale Hauptkomponenten, die möglichst viel Varianz erfassen. PCA ist schnell, stabil und gut interpretierbar, wenn lineare Strukturen dominieren. Die erklärte Varianz zeigt, wie viel Streuung jede Komponente aufnimmt.
PCA setzt lineare Zusammenhänge voraus und ist empfindlich gegenüber Skalierung. Vor der Anwendung sollten Features häufig standardisiert werden. Außerdem ist hohe Varianz nicht automatisch fachlich relevante Information. Eine Hauptkomponente kann vor allem Messartefakte, Größenunterschiede oder dominante, aber uninteressante Variationen erfassen.
t-SNE
t-SNE ist ein Verfahren zur Visualisierung hochdimensionaler Daten. Es versucht, lokale Nachbarschaften aus dem Originalraum in zwei oder drei Dimensionen zu erhalten. Dadurch können Clusterstrukturen sichtbar werden, die mit linearen Verfahren nicht erkennbar wären.
t-SNE eignet sich vor allem für explorative Visualisierung. Abstände zwischen weit entfernten Clustern, Clustergrößen und globale Geometrie sollten nicht überinterpretiert werden. Der Perplexity-Parameter, Initialisierung und Zufallseinflüsse können die Darstellung deutlich verändern. Mehrere Läufe und Sensitivitätsprüfungen sind daher sinnvoll.
UMAP
UMAP ist eine häufig genutzte Alternative zu t-SNE. Es ist oft schneller, skaliert besser und kann globale Struktur teilweise besser erhalten. Die Parameter n_neighbors und min_dist steuern, wie stark lokale Nachbarschaften gegenüber globalerer Struktur gewichtet werden.
UMAP ist aber kein objektiver Blick auf die Daten. Auch hier können Parameter, Metrik und Vorverarbeitung die Darstellung prägen. Für Visualisierung, Exploration und Vorverarbeitung ist UMAP wertvoll; quantitative Aussagen über echte Abstände oder Clustertrennung sollten vorsichtig formuliert werden.
Generative Modelle
Generative Modelle lernen Datenverteilungen und können neue Beispiele erzeugen. Sie dienen Datenaugmentation, Simulation, Repräsentationslernen, Dichteabschätzung oder kreativen Anwendungen. Die wichtigsten Modellfamilien verfolgen unterschiedliche Kompromisse zwischen Stichprobenqualität, Trainingsstabilität, Likelihood-Berechnung und Steuerbarkeit.
Variational Autoencoders
Variational Autoencoders (VAE) lernen einen latenten Raum, aus dem Daten rekonstruiert und neu generiert werden können. Ein Encoder bildet Eingaben auf Parameter einer latenten Verteilung ab, ein Decoder rekonstruiert daraus die Daten. Der Reparameterisierungstrick ermöglicht Backpropagation durch die stochastische latente Variable.
Die Verlustfunktion kombiniert Rekonstruktionsfehler mit einer KL-Divergenz-Regularisierung, die den latenten Raum strukturiert. VAEs sind probabilistisch gut begründet und nützlich für Repräsentationslernen, liefern aber oft weichere oder weniger detailreiche Samples als andere generative Verfahren.
GANs
Generative Adversarial Networks (GANs) trainieren zwei Netzwerke gegeneinander: einen Generator, der Samples erzeugt, und einen Discriminator, der echte von generierten Daten unterscheiden soll. Der Generator verbessert sich, indem er den Discriminator täuscht; der Discriminator verbessert sich, indem er genauer unterscheidet.
GANs können hochwertige Samples erzeugen, sind aber schwer zu trainieren. Mode Collapse, instabile Dynamik und empfindliche Hyperparameter gehören zu den klassischen Problemen. Architekturen wie DCGAN, StyleGAN oder BigGAN haben viele dieser Fragen entschärft, aber nicht aus der Welt geschafft.
Normalizing Flows und Diffusion Models
Normalizing Flows nutzen invertierbare Transformationen zwischen einfachen Referenzverteilungen und komplexeren Datenverteilungen. Ihr Vorteil liegt darin, dass Wahrscheinlichkeitsdichten exakt berechnet werden können. Der Preis ist eine stärkere Einschränkung der Architektur, weil Transformationen invertierbar bleiben müssen.
Diffusion Models lernen, schrittweise Rauschen aus Daten zu entfernen. Beim Training wird ein Datenpunkt immer stärker verrauscht, und das Modell lernt die Umkehrung dieses Prozesses. Diese Modellfamilie ist besonders wichtig für moderne Bild-, Audio- und zunehmend auch Video-Generierung geworden. Der Nachteil liegt häufig in hohem Rechenaufwand bei Training und Sampling, auch wenn neuere Verfahren dies deutlich reduzieren.
Self-Supervised Learning
Self-Supervised Learning steht zwischen überwachten und unüberwachten Verfahren. Es nutzt keine manuell vergebenen Labels, erzeugt aber Lernsignale aus der Struktur der Daten selbst. Ein Modell kann etwa fehlende Bildbereiche rekonstruieren, maskierte Tokens vorhersagen oder verschiedene Ansichten desselben Objekts einander zuordnen.
Diese Verfahren sind nicht einfach "klassisches Unsupervised Learning". Sie formulieren Hilfsaufgaben, sogenannte Pretext Tasks, aus denen nutzbare Repräsentationen entstehen. Der Wert zeigt sich meist nicht im Pretext Task selbst, sondern in nachgelagerten Aufgaben: Klassifikation, Suche, Segmentierung, Sprachverständnis oder Generierung.
Pretext Tasks und kontrastives Lernen
In der Computer Vision wurden Aufgaben wie Rotation Prediction, Inpainting, Colorization oder Masked Image Modeling genutzt, um Repräsentationen ohne manuelle Labels zu lernen. Im NLP erfüllen Masked Language Modeling bei BERT-artigen Modellen und autoregressive Next-Token Prediction bei GPT-artigen Modellen eine ähnliche Rolle.
Kontrastives Lernen lernt Repräsentationen, indem es positive Paare näher zusammenbringt und negative Paare trennt. SimCLR und MoCo nutzen augmentierte Versionen desselben Bildes als positives Paar. CLIP richtet Text und Bild in einem gemeinsamen Embedding-Raum aus. Solche Verfahren können starken Zero-Shot-Transfer ermöglichen, wenn die Trainingsdaten breit genug sind und die Zielaufgaben zur gelernten Repräsentation passen.
Foundation Models
Self-Supervised Learning ist ein zentraler Baustein moderner Foundation Models. Große Sprachmodelle lernen durch Vorhersage oder Rekonstruktion von Textteilen. Vision-Modelle nutzen Masked Image Modeling, Distillation oder kontrastive Ziele. Multimodale Modelle verbinden Text, Bild, Audio oder Video über gemeinsame Repräsentationsräume.
Das bedeutet nicht, dass Labels irrelevant geworden sind. Für viele Systeme bleiben kuratierte Daten, menschliches Feedback, Instruction Tuning, Reinforcement Learning from Human Feedback oder domänenspezifische Feinabstimmung wichtig. Self-Supervised Pretraining liefert eine breite Grundlage; die Eignung für konkrete Aufgaben muss weiterhin evaluiert werden.
Fazit: Struktur finden, aber nicht überdeuten
Unsupervised und self-supervised Verfahren sind Werkzeuge zur Strukturfindung, Kompression, Exploration und Repräsentationsbildung. Sie können Daten verständlicher machen, Vortraining ermöglichen und Anomalien sichtbar machen. Ihr Wert entsteht aber nicht automatisch durch die Methode selbst, sondern durch Stabilität, Interpretierbarkeit und Nutzen in Folgeaufgaben.
Clustering liefert Gruppierungsvorschläge und keine objektiven Kategorien, Dimensionsreduktion hilfreiche Ansichten und keine neutrale Karte der Daten. Anomalieerkennung markiert Auffälligkeiten, die nicht automatisch relevante Fälle sind, und generative Modelle lernen Datenverteilungen, ohne damit zwangsläufig die zugrunde liegenden Ursachen zu erfassen.
Der nächste Artikel behandelt Reinforcement Learning als Lernparadigma für sequentielle Entscheidungen, bei dem Agenten durch Interaktion mit einer Umgebung lernen.