Regression ist ein Grundverfahren des überwachten Lernens. Während Klassifikation diskrete Kategorien vorhersagt, schätzt Regression numerische Zielgrößen: Preise, Temperaturen, Absatzmengen, Energieverbrauch, Wartezeiten oder Risiken. Das Ziel ist nicht zwingend, eine Ursache zu beweisen. Ein Regressionsmodell beschreibt zunächst einen statistischen Zusammenhang, der für Vorhersage, Analyse oder Entscheidungsunterstützung genutzt werden kann.
Die Nähe zur Klassifikation ist groß. Beide Verfahren arbeiten mit Eingabemerkmalen, Zielwerten, Verlustfunktionen und Optimierung. Der Unterschied liegt in der Ausgabe: Regressionsmodelle liefern reellwertige Vorhersagen. Dadurch ändern sich Fehlermaße, Validierung, Modellannahmen und die Frage, wie gut ein Modell außerhalb des Trainingsbereichs genutzt werden kann.
Grundlagen der Regression
Ein Regressionsproblem besteht aus Trainingsdaten mit Eingaben X und numerischen Zielwerten y. Das Modell sucht eine Funktion f, die aus neuen Eingaben plausible Vorhersagen ableitet. Formal lässt sich das als ŷ = f(X) beschreiben. Die Qualität hängt davon ab, ob die gelernten Muster auf neue, nicht gesehene Daten übertragbar sind.
Ein einfaches Beispiel ist die Schätzung von Mietpreisen auf Basis von Wohnfläche, Lage, Ausstattung und Baujahr. Das Modell lernt nicht "den wahren Wert" einer Wohnung, sondern eine statistische Beziehung zwischen beobachteten Merkmalen und beobachteten Preisen. Schon dieses Beispiel zeigt eine wichtige Grenze: Regression kann Vorhersagen liefern, aber Kausalität muss gesondert begründet werden.
Auswahl eines Regressionsverfahrens
Die Wahl des Verfahrens hängt von Datenstruktur, Ziel, Interpretierbarkeit und erwarteter Beziehung zwischen Eingaben und Zielgröße ab. Lineare Regression ist sinnvoll, wenn ein ungefähr linearer Zusammenhang plausibel ist oder Interpretierbarkeit im Vordergrund steht. Nichtlineare Verfahren wie Entscheidungsbäume, Random Forests, Gradient Boosting oder neuronale Netze sind flexibler, benötigen aber meist mehr Daten, sorgfältigere Validierung und mehr Aufwand bei der Interpretation.
Datenqualität ist zentral. Fehlende Werte, Messfehler, Ausreißer, verschobene Verteilungen und nicht repräsentative Stichproben können die Modellleistung stärker beeinflussen als die Wahl eines komplexeren Algorithmus. Auch die Anzahl der Features muss zur Datenmenge passen. Viele Merkmale bei wenigen Beobachtungen erhöhen das Risiko von Overfitting.
Interpretierbarkeit und Genauigkeit stehen häufig in Spannung. Ein lineares Modell ist leichter zu erklären, kann aber nicht jede Struktur abbilden. Ein Ensemble-Modell kann bessere Vorhersagen liefern, macht aber schwerer nachvollziehbar, warum eine konkrete Schätzung zustande kam. In regulierten oder fachlich sensiblen Bereichen kann ein etwas weniger genaues, aber nachvollziehbares Modell die bessere Wahl sein.
Verlustfunktionen und Fehlerarten
Verlustfunktionen bestimmen, welche Fehler ein Modell während des Trainings reduziert. Der Mean Squared Error (MSE) bestraft große Fehler überproportional, weil Abweichungen quadriert werden. Das ist sinnvoll, wenn große Fehler besonders teuer sind, macht das Modell aber empfindlicher gegenüber Ausreißern.
Der Mean Absolute Error (MAE) mittelt absolute Abweichungen. Er ist robuster gegenüber Ausreißern und leichter in der Einheit der Zielvariable interpretierbar. Die Huber Loss kombiniert beide Ideen: kleine Fehler werden quadratisch, große Fehler linear gewichtet. Damit entsteht ein Kompromiss zwischen Stabilität und Robustheit.
Die Wahl der Verlustfunktion ist keine rein technische Frage. Sie sollte zur fachlichen Kostenstruktur passen. Bei einer Lieferzeitprognose kann ein großer Fehler anders bewertet werden als bei einer Temperaturprognose oder einer medizinischen Messwertschätzung.
Bias-Variance Trade-off
Der Bias-Variance Trade-off beschreibt einen Grundkonflikt der Modellierung. Anschaulich wird er am Bild eines Bogenschützen: Bias entspricht einer systematischen Fehlausrichtung, bei der alle Pfeile konsistent neben dem Ziel landen, Varianz einer Streuung, bei der die Pfeile weit um den Zielpunkt verteilt liegen. Ein sehr einfaches Modell kann systematische Muster übersehen. Es hat dann hohen Bias. Ein sehr flexibles Modell kann sich zu stark an Trainingsdaten anpassen. Es hat dann hohe Varianz und generalisiert schlechter.
Overfitting zeigt sich, wenn ein Modell auf Trainingsdaten sehr gut, auf neuen Daten aber deutlich schlechter abschneidet. Underfitting liegt vor, wenn das Modell schon auf Trainingsdaten zentrale Muster nicht erfasst. Cross-Validation, separate Testdaten und saubere Feature-Auswahl helfen, diesen Konflikt praktisch zu kontrollieren.
Lineare Regression
Lineare Regression modelliert die Zielgröße als gewichtete Summe von Eingabemerkmalen:
ŷ = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ
β₀ ist der Intercept, βᵢ sind die Regressionskoeffizienten. Ein Koeffizient beschreibt, wie stark sich die Vorhersage verändert, wenn das zugehörige Feature um eine Einheit steigt und die anderen Features konstant bleiben. Diese Interpretation ist nützlich, aber nur dann belastbar, wenn Modellannahmen, Feature-Kodierung und Datenkontext passen.
Die Kleinste-Quadrate-Methode (OLS) minimiert die Summe der quadrierten Residuen. Unter bestimmten Bedingungen lassen sich die Parameter geschlossen berechnen:
β = (XᵀX)⁻¹Xᵀy
Bei großen Datensätzen oder numerisch ungünstigen Matrizen werden iterative Optimierungsverfahren wie Gradient Descent genutzt. Für reine Vorhersage muss lineare Regression nicht alle klassischen Inferenzannahmen perfekt erfüllen. Für Konfidenzintervalle, p-Werte und statistische Aussagen über Koeffizienten sind diese Annahmen jedoch wichtig.
Modellannahmen und Diagnostik
Die klassischen Annahmen linearer Regression betreffen Linearität, unabhängige Fehler, konstante Fehlervarianz und eine geeignete Verteilung der Residuen. In der Praxis dienen sie vor allem als Diagnoserahmen. Residuenplots können zeigen, ob systematische Muster übrig bleiben. Q-Q-Plots helfen bei der Einschätzung der Normalverteilung von Fehlern. Tests auf Heteroskedastizität oder Autokorrelation ergänzen die visuelle Prüfung.
Wichtig ist die Unterscheidung zwischen Vorhersage und Erklärung. Ein Modell kann gute Prognosen liefern, obwohl einzelne Annahmen verletzt sind. Umgekehrt kann ein statistisch sauber geschätztes Modell für neue Daten schlecht generalisieren, wenn die Trainingsdaten nicht repräsentativ sind oder sich die Datenverteilung verschiebt.
Polynomiale Regression
Polynomiale Regression erweitert lineare Regression um Potenzen und Interaktionen von Features:
ŷ = β₀ + β₁x + β₂x² + ... + βₙxⁿ
Obwohl die Beziehung zur ursprünglichen Variable nichtlinear wird, bleibt das Modell linear in den Parametern. Dadurch können lineare Regressionsverfahren weiter genutzt werden. Polynomiale Terme können gekrümmte Beziehungen erfassen, erhöhen aber schnell die Modellkomplexität.
Die Wahl des Polynomgrads ist kritisch. Zu niedrige Grade übersehen relevante Krümmungen, zu hohe Grade erzeugen instabile Kurven und Overfitting. Gerade außerhalb des beobachteten Datenbereichs können polynomiale Modelle stark fehlleiten. Feature-Skalierung ist wichtig, weil höhere Potenzen große numerische Werte erzeugen können.
Polynomiale Regression ist daher kein allgemeines Rezept für komplexe Dynamiken. Sie eignet sich für begrenzte, gut verstandene Zusammenhänge und sollte mit Cross-Validation, Residuenanalyse und fachlicher Plausibilität geprüft werden.
Regularisierte Regression
Regularisierung ergänzt die Verlustfunktion um eine Strafe für große oder zu viele Koeffizienten. Dadurch werden Modelle stabiler und weniger anfällig für Overfitting, besonders bei vielen Features oder korrelierten Prädiktoren.
Ridge Regression verwendet L2-Regularisierung. Sie verkleinert Koeffizienten, setzt sie aber normalerweise nicht exakt auf null:
L = ||y - Xβ||² + λ||β||²
Ridge ist hilfreich bei Multikollinearität, weil korrelierte Features nicht zu instabilen, extremen Koeffizienten führen müssen. Die geschlossene Lösung β = (XᵀX + λI)⁻¹Xᵀy zeigt, wie die Regularisierung die Matrix stabilisiert.
Lasso Regression verwendet L1-Regularisierung:
L = ||y - Xβ||² + λ||β||₁
Lasso kann Koeffizienten exakt auf null setzen und wirkt dadurch als Feature Selection. Das ist praktisch, kann bei stark korrelierten Feature-Gruppen aber instabil sein, weil häufig nur eines der ähnlichen Merkmale ausgewählt wird.
Elastic Net kombiniert L1- und L2-Regularisierung. Dadurch verbindet es Feature Selection mit größerer Stabilität bei korrelierten Features. Die Regularisierungsparameter werden typischerweise über Cross-Validation bestimmt.
Weitere Regressionsverfahren
Support Vector Regression (SVR) definiert einen Toleranzbereich um die Vorhersagefunktion. Fehler innerhalb dieses ε-Bereichs werden nicht bestraft, Punkte außerhalb beeinflussen das Modell stärker. Über Kernel-Funktionen lassen sich nichtlineare Beziehungen abbilden. SVR kann bei mittleren Datensätzen und klaren Feature-Räumen nützlich sein, skaliert aber nicht immer gut auf sehr große Datenmengen.
Entscheidungsbaum-Regression teilt den Datenraum schrittweise in Bereiche auf und sagt pro Blatt einen Durchschnittswert oder eine ähnliche Zusammenfassung voraus. Bäume können nichtlineare Beziehungen und Interaktionen erfassen, sind aber anfällig für Overfitting, wenn sie zu tief wachsen.
Random Forest Regression mittelt viele Entscheidungsbäume, die auf unterschiedlichen Stichproben und Feature-Auswahlen trainiert wurden. Das reduziert Varianz und macht Vorhersagen stabiler. Random Forests funktionieren gut mit gemischten Feature-Typen, liefern aber keine glatten Extrapolationen und sind weniger transparent als lineare Modelle.
Gradient-Boosting-Verfahren wie XGBoost, LightGBM oder CatBoost sind in vielen tabellarischen Regressionsproblemen starke Baselines. Sie bauen Bäume sequenziell auf, korrigieren vorherige Fehler und können hohe Vorhersagegüte erreichen. Ihr Einsatz erfordert aber sorgfältige Validierung, Hyperparameterkontrolle und Aufmerksamkeit für Leakage.
Zeitreihenanalyse und Forecasting
Zeitreihen unterscheiden sich von gewöhnlichen Regressionsproblemen, weil Beobachtungen zeitlich geordnet und häufig voneinander abhängig sind. Zufällige Aufteilungen in Trainings- und Testdaten sind hier problematisch, weil Informationen aus der Zukunft in das Training gelangen können. Validierung muss die zeitliche Reihenfolge respektieren.
Autoregressive Modelle verwenden vergangene Werte einer Zeitreihe zur Vorhersage zukünftiger Werte:
y_t = φ₁y_{t-1} + φ₂y_{t-2} + ... + φₚy_{t-p} + ε_t
ARIMA-Modelle erweitern diesen Ansatz um Differenzierung und Moving-Average-Komponenten. Stationarität, Trend, Saisonalität und Autokorrelation müssen geprüft werden. Für viele praktische Forecasting-Aufgaben kommen außerdem externe Variablen hinzu, etwa Wetter, Kalenderdaten, Kampagnen oder Produktionspläne.
Walk-Forward-Validation ist ein zentrales Verfahren für Zeitreihen. Das Modell wird auf historischen Daten trainiert und auf nachfolgenden Zeitabschnitten getestet. Dadurch entsteht eine realistischere Einschätzung der Prognoseleistung. Bei Mehrschrittprognosen ist zusätzlich zu beachten, dass Fehler kumulieren können, weil spätere Schritte auf früheren Prognosen aufbauen.
Evaluationsmetriken
MSE und RMSE gewichten große Fehler stark. RMSE hat dieselbe Einheit wie die Zielgröße und ist deshalb leichter zu interpretieren. MAE ist robuster gegenüber Ausreißern. MAPE setzt Fehler ins Verhältnis zum tatsächlichen Wert, ist aber problematisch, wenn Zielwerte nahe null liegen.
Das Bestimmtheitsmaß R² misst, welcher Anteil der Varianz durch das Modell erklärt wird:
R² = 1 - SS_res / SS_tot
R² ist nützlich, aber nicht ausreichend. Hohe Werte beweisen keine Kausalität und garantieren keine gute Leistung auf neuen Daten. Bei vielen Features kann Adjusted R² sinnvoller sein, weil es die Zahl der Parameter berücksichtigt. Für produktive Modelle sind zusätzliche Prüfungen nötig: Fehlerverteilung, Ausreißer, Segmentleistung, Stabilität über Zeit und Verhalten außerhalb des Trainingsbereichs.
Praktische Herausforderungen
Feature Engineering bleibt auch bei Regression wichtig. Transformationen wie Logarithmierung, Standardisierung oder Box-Cox-Transformationen können Beziehungen stabilisieren und Modellannahmen besser erfüllen. Interaktionsterme können relevante Kombinationseffekte abbilden, erhöhen aber die Dimensionalität.
Ausreißer müssen fachlich bewertet werden. Sie können Messfehler, seltene Ereignisse oder wichtige Extremfälle sein. Robuste Regression, Huber Loss, Quantile Regression oder Winsorizing können helfen, sollten aber nicht mechanisch eingesetzt werden.
Heteroskedastizität liegt vor, wenn die Fehlervarianz nicht konstant ist. Das kann Inferenz und Unsicherheitsabschätzung verzerren. Weighted Least Squares oder robuste Standardfehler sind mögliche Gegenmaßnahmen. Für reine Vorhersage ist wichtiger, ob die Unsicherheit angemessen kommuniziert wird.
Interpolation ist meist verlässlicher als Extrapolation. Ein Modell, das in einem beobachteten Wertebereich gut funktioniert, kann außerhalb dieses Bereichs unplausible Vorhersagen liefern. Modellgrenzen sollten deshalb explizit dokumentiert werden.
Regression und Klassifizierung im Vergleich
Regression und Klassifizierung teilen viele Lernprinzipien, unterscheiden sich aber in Zielvariable, Verlustfunktion und Metriken. Klassifikation ordnet Fälle Kategorien zu, Regression schätzt numerische Werte. Logistische Regression zeigt die Nähe beider Felder: Sie nutzt eine lineare Modellstruktur, überführt die Ausgabe aber in Wahrscheinlichkeiten für Klassen.
Viele Algorithmen existieren in beiden Varianten. Entscheidungsbäume, Random Forests, Support Vector Machines und neuronale Netze können für Klassifikation oder Regression angepasst werden. Die Problemformulierung entscheidet, welche Variante sinnvoll ist. Manche Aufgaben lassen sich in beide Richtungen formulieren, etwa Risikoscores als numerische Schätzung oder als Klassifikation in Risikoklassen.
Fazit
Regression ist ein zentrales Werkzeug zur Vorhersage numerischer Zielgrößen. Lineare Modelle bleiben wichtig, weil sie verständlich, schnell und oft ausreichend leistungsfähig sind. Regularisierung, baumbasierte Verfahren, Kernel-Methoden und neuronale Netze erweitern das Spektrum, wenn Zusammenhänge nichtlinearer oder Datenstrukturen komplexer werden.
Die Modellwahl hängt nicht nur von Genauigkeit ab. Entscheidend sind Zielgröße, Datenqualität, Interpretierbarkeit, Extrapolationsrisiko, Validierung und fachliche Kosten von Fehlern. Gute Regressionsmodelle entstehen deshalb nicht durch möglichst komplexe Algorithmen, sondern durch passende Problemformulierung, saubere Daten, geeignete Metriken und ehrliche Grenzen der Vorhersage.