Deep Learning und der Backpropagation-Algorithmus

Backpropagation ist das Standardverfahren, mit dem neuronale Netze ihre Gradienten effizient berechnen. Der Algorithmus sagt nicht selbst, wie groß ein Parameterupdate sein soll. Er liefert zunächst die Ableitungen der Verlustfunktion nach den Gewichten und Bias-Werten des Netzes. Optimierer wie Stochastic Gradient Descent oder Adam nutzen diese Gradienten anschließend, um die Parameter anzupassen.

Diese Trennung ist wichtig. Backpropagation ist kein allgemeines Synonym für "Deep Learning lernt", sondern ein Verfahren zur Anwendung der Kettenregel in mehrschichtigen, differenzierbaren Modellen. Gerade dadurch wurde das Training tiefer Netze praktisch handhabbar: Der Einfluss vieler Parameter auf einen gemeinsamen Fehler lässt sich in einem Vorwärts- und einem Rückwärtsdurchlauf berechnen, statt jedes Gewicht einzeln zu testen.

Das Lernproblem in mehrschichtigen Netzen

Einfache Perceptrons konnten bereits in den 1950er und 1960er Jahren lineare Entscheidungsgrenzen lernen. Schwieriger wurde es bei Aufgaben, die mehrere Verarbeitungsschichten erforderten. Mehrschichtige Netze waren als Idee naheliegend, aber ihr Training war lange kein gelöstes praktisches Problem.

Das Problem liegt in der Zuordnung des Fehlers. Bei einem einfachen Modell kann der Ausgabefehler relativ direkt auf die Gewichte bezogen werden. In einem tiefen Netz wirken viele Schichten nacheinander aufeinander ein. Ein Fehler am Ausgang entsteht aus einer Kette von Transformationen: Eingaben werden gewichtet, Aktivierungsfunktionen verändern die Signale, spätere Schichten kombinieren Zwischenergebnisse neu. Ein einzelnes Gewicht in einer frühen Schicht beeinflusst die Ausgabe nur indirekt.

Eine naive Lösung wäre, jedes Gewicht leicht zu verändern und zu messen, wie stark sich der Fehler ändert. Schon bei einigen tausend Parametern wäre das zu langsam, bei heutigen Netzen mit Millionen oder Milliarden Parametern erst recht. Backpropagation nutzt stattdessen die Struktur des Netzes: Wenn alle Zwischenergebnisse des Vorwärtsdurchlaufs bekannt sind, lassen sich die Gradienten rückwärts mit der Kettenregel berechnen.

Vorwärtsdurchlauf und Verlustfunktion

Der Vorwärtsdurchlauf berechnet aus einer Eingabe eine Ausgabe. Jede Schicht erhält Aktivierungen aus der vorherigen Schicht, multipliziert sie mit Gewichten, addiert Bias-Werte und wendet eine Aktivierungsfunktion an. So entsteht eine Folge von Zwischenwerten, die später für die Gradientenberechnung benötigt wird.

Mathematisch lässt sich eine Schicht vereinfacht so beschreiben: Aus den Aktivierungen a der vorherigen Schicht entstehen durch Gewichte W und Bias b zunächst gewichtete Summen z. Nach Anwendung einer nichtlinearen Aktivierungsfunktion entsteht die nächste Aktivierung. Diese Notation wirkt trocken, erfüllt aber einen praktischen Zweck: Sie macht sichtbar, welche Größen voneinander abhängen.

Am Ende des Vorwärtsdurchlaufs steht eine Vorhersage. Eine Verlustfunktion misst, wie stark diese Vorhersage vom gewünschten Ergebnis abweicht. Bei Regressionsaufgaben ist der Mean Squared Error üblich, bei Klassifikationsaufgaben häufig Cross-Entropy. Für Backpropagation ist entscheidend, dass die beteiligten Operationen differenzierbar sind oder zumindest brauchbare Ableitungen für das Training liefern.

Rückwärtsdurchlauf mit Kettenregel

Der Rückwärtsdurchlauf berechnet, wie stark jedes Gewicht zur Veränderung der Verlustfunktion beiträgt. Ausgangspunkt ist der Fehler an der Ausgabeschicht. Von dort wandert die Gradienteninformation Schicht für Schicht zurück durch das Netz.

Die Kettenregel verbindet dabei lokale Ableitungen. Eine spätere Schicht hängt von der vorherigen ab, diese wiederum von noch früheren Schichten. Backpropagation zerlegt diese lange Abhängigkeit in viele lokale Rechenschritte. Jede Schicht benötigt im Wesentlichen den Gradienten aus der nachgelagerten Schicht, ihre gespeicherten Aktivierungen aus dem Vorwärtsdurchlauf und die Ableitung ihrer eigenen Aktivierungsfunktion.

Das Ergebnis ist keine moralische Bewertung einzelner Neuronen, sondern ein Gradient. Er gibt an, in welche Richtung eine kleine Änderung eines Parameters die Verlustfunktion lokal erhöhen oder senken würde. Diese lokale Information reicht nicht, um globale Optimalität zu garantieren. Sie reicht aber, um iterative Optimierung in sehr großen Parameterräumen praktikabel zu machen.

Parameterupdates und Optimierer

Backpropagation berechnet Gradienten, der Optimierer entscheidet über das Update. Beim einfachen Gradientenabstieg werden Parameter in die Richtung verändert, die den Verlust lokal senken soll. Die Lernrate bestimmt die Schrittgröße. Ist sie zu groß, kann das Training instabil werden. Ist sie zu klein, dauert das Training unnötig lange oder bleibt in flachen Bereichen stecken.

Stochastic Gradient Descent (SGD) verwendet nicht den gesamten Datensatz für jedes Update, sondern einzelne Beispiele oder Mini-Batches. Mini-Batches sind heute der praktische Standard, weil sie ein brauchbares Verhältnis aus Rechenaufwand, Stabilität und Parallelisierbarkeit bieten. Die Gradienten sind dabei verrauschter als bei vollständigen Batch-Updates, aber deutlich günstiger zu berechnen.

Momentum erweitert SGD um eine Art Verlaufsgedächtnis früherer Updates. Dadurch kann Optimierung in konsistente Richtungen beschleunigt und kurzfristiges Hin- und Herspringen gedämpft werden. Adam kombiniert Momentum-ähnliche Terme mit adaptiven Lernraten pro Parameter und wurde dadurch zu einem verbreiteten Optimierer für viele Deep-Learning-Anwendungen.³⁷⁹⁴ Auch Adam ersetzt Backpropagation nicht, sondern nutzt die durch Backpropagation berechneten Gradienten.

Ein kleines Rechenbild

Ein einfaches Beispiel reicht, um die Richtung des Verfahrens zu zeigen. Ein Netzwerk soll aus der Eingabe x = 2 den Zielwert y = 5 erzeugen. Es besitzt nur ein Gewicht w und einen Bias b, sodass zunächst z = w * x + b berechnet wird.

Startet das Modell mit w = 1 und b = 0, ergibt sich z = 2. Der Zielwert liegt bei 5, der Fehler ist also deutlich. Backpropagation berechnet nun nicht durch Ausprobieren aller möglichen Werte, sondern über Ableitungen, wie stark w und b die Ausgabe beeinflussen. Da x = 2 ist, wirkt eine Änderung von w doppelt so stark auf z wie eine gleich große Änderung von b.

Der Optimierer kann daraus ableiten, dass w und b in die Richtung angepasst werden sollten, die den Abstand zum Zielwert verringert. In einem echten Netz passiert dasselbe mit vielen Schichten und Parametern gleichzeitig. Die Rechnung bleibt lokal, aber die Kettenregel verbindet die lokalen Beiträge über das gesamte Netz hinweg.

Gradientenprobleme in tiefen Netzen

Tiefe Netze stellen Backpropagation vor praktische Probleme. Das bekannteste ist das Vanishing Gradient Problem: Werden in vielen Schichten kleine Ableitungen miteinander multipliziert, können Gradienten auf dem Weg zu frühen Schichten stark schrumpfen. Diese frühen Schichten lernen dann sehr langsam oder kaum noch.

Das umgekehrte Problem sind Exploding Gradients. In diesem Fall wachsen Gradienten während des Rückwärtsdurchlaufs stark an und führen zu instabilen Updates. Beide Probleme hängen von Aktivierungsfunktionen, Gewichtsinitialisierung, Architektur, Normalisierung und Lernrate ab. Sie sind kein Randproblem der Theorie, sondern haben die Architekturentwicklung im Deep Learning stark geprägt.

ReLU-Aktivierungen mindern das Vanishing-Problem gegenüber klassischen Sigmoid-Funktionen, weil ihre Ableitung für positive Eingaben konstant bleibt. Batch Normalization stabilisiert Aktivierungsverteilungen innerhalb des Netzes und kann Training beschleunigen.³⁷⁹⁵ Residual Connections schaffen zusätzliche Pfade für Signale und Gradienten, was sehr tiefe Netze deutlich trainierbarer gemacht hat.³⁷⁹⁶ Gradient Clipping begrenzt zu große Gradienten und wird besonders bei sequenziellen Modellen eingesetzt. Keine dieser Techniken beseitigt alle Trainingsprobleme, aber zusammen machen sie tiefe Architekturen robuster.

Backpropagation in modernen Frameworks

In der Praxis implementieren Entwickler Backpropagation selten von Hand. Frameworks wie PyTorch oder TensorFlow nutzen automatische Differenzierung. Sie verfolgen während des Vorwärtsdurchlaufs die Operationen in einem Berechnungsgraphen und berechnen daraus im Rückwärtsdurchlauf die benötigten Gradienten.

Diese Automatisierung hat zwei Folgen. Erstens können Forscher und Entwickler komplexe Architekturen beschreiben, ohne jede Ableitung manuell herzuleiten. Zweitens wird Speicherverwaltung wichtig: Für den Rückwärtsdurchlauf müssen Zwischenergebnisse gespeichert oder später neu berechnet werden. Bei großen Transformer-Modellen entstehen dadurch hohe Speicheranforderungen. Verfahren wie Gradient Checkpointing speichern nur ausgewählte Zwischenschritte und berechnen andere bei Bedarf erneut.

Transformer ändern das Grundprinzip nicht. Auch Attention-Gewichte, Feedforward-Schichten und Normalisierungslayer werden über differenzierbare Operationen trainiert. Der Aufwand liegt in der Größe der Modelle, den langen Kontexten und der effizienten Verteilung auf Hardware, nicht in einem grundsätzlich anderen Lernverfahren.

Biologische Plausibilität und Alternativen

Backpropagation ist mathematisch und praktisch erfolgreich, aber biologisch nur begrenzt plausibel. Gehirne leiten Fehlergradienten nicht in derselben Weise rückwärts durch synaptische Verbindungen. Diese Differenz ist wichtig, weil sie zeigt, dass neuronale Netze und biologische Nervensysteme zwar Begriffe teilen, aber nicht identisch funktionieren.

Aus dieser Lücke entstehen alternative Forschungsrichtungen. Der Forward-Forward Algorithmus ersetzt den klassischen Vorwärts- und Rückwärtsdurchlauf durch zwei Vorwärtsdurchläufe mit positiven und negativen Daten.³⁷⁹⁷ Andere Ansätze arbeiten mit lokalen Lernregeln, energiebasierten Modellen, Feedback Alignment oder neuromorpher Hardware. Bislang ersetzen solche Verfahren Backpropagation im praktischen Deep Learning nicht flächendeckend. Sie sind aber relevant, weil sie andere Lernmechanismen untersuchen und teilweise bessere Erklärungen für biologische Systeme liefern könnten.

Historische Einordnung

Die heute bekannte Popularisierung von Backpropagation in neuronalen Netzen geht stark auf die Arbeit von Rumelhart, Hinton und Williams aus dem Jahr 1986 zurück.³⁷⁹⁸ Frühere Beiträge, darunter Arbeiten von Paul Werbos und Yann LeCun, bereiteten zentrale Ideen vor. Die historische Entwicklung war also kein einzelner Moment, sondern eine Verdichtung mehrerer Linien: Optimierung, Kettenregel, mehrschichtige Netze und verfügbare Rechenleistung.

Der praktische Erfolg des Deep Learning hing später nicht nur an Backpropagation. AlexNet zeigte 2012 im ImageNet-Kontext, wie tiefe neuronale Netze, GPUs, große Datensätze, ReLU-Aktivierungen und Regularisierung zusammenwirken können.³⁷⁹⁹ Backpropagation war dabei die Lernmaschine im Hintergrund, aber nicht die einzige Ursache des Erfolgs.

Diese Einordnung schützt vor zwei Missverständnissen. Backpropagation ist weder eine fast magische Erklärung für alle Fähigkeiten moderner KI noch ein nebensächliches Detail. Es ist ein effizientes Rechenverfahren für Gradienten, das zusammen mit Daten, Architektur, Hardware und Optimierern Deep Learning praktisch gemacht hat.

Fazit

Backpropagation macht das Training mehrschichtiger neuronaler Netze praktikabel, weil es Gradienten effizient rückwärts durch den Berechnungsgraphen berechnet. Die Kettenregel verbindet lokale Ableitungen zu einem Gesamtgradienten für viele Parameter. Optimierer wie SGD oder Adam verwenden diese Information anschließend für Updates.

Die Grenzen des Verfahrens liegen weniger in seiner mathematischen Grundidee als in der praktischen Umgebung: tiefe Architekturen, instabile Gradienten, Speicherbedarf, Datenqualität und Optimierungslandschaften. Moderne Deep-Learning-Systeme funktionieren deshalb nicht wegen Backpropagation allein, sondern weil Architektur, Normalisierung, Initialisierung, Hardware und Optimierer auf dieses Verfahren abgestimmt wurden.

Backpropagation bleibt damit ein Kernbaustein des Deep Learning. Seine Bedeutung liegt weniger in einer großen Erzählung über Maschinen, die aus Fehlern lernen, als in einer nüchternen Rechenleistung: Viele Millionen Parameter können gleichzeitig eine Richtung erhalten, in der der Fehler lokal kleiner werden sollte.

Quellen

1. Rumelhart, Hinton und Williams: Learning representations by back-propagating errors ↩
2. Kingma und Ba: Adam: A Method for Stochastic Optimization ↩
3. Ioffe und Szegedy: Batch Normalization ↩
4. He et al.: Deep Residual Learning for Image Recognition ↩
5. Hinton: The Forward-Forward Algorithm ↩
6. Krizhevsky, Sutskever und Hinton: ImageNet Classification with Deep Convolutional Neural Networks ↩
7. Why Anthropic's 70% Inference Margins Matter for Your API Costs. MindStudio, 2026. https://www.mindstudio.ai/blog/anthropic-inference-margins-70-percent-api-costs ↩
8. Startups and tech giants wage AI price war as inference costs spiral. Crypto Briefing, 2026. https://cryptobriefing.com/ai-price-war-startups-tech-giants/ ↩
9. Tokens are getting cheaper, but AI costs keep climbing. Fortune, 2026. https://fortune.com/2026/06/17/why-is-ai-spending-increasing-as-tokens-get-cheaper-jevons-paradox/ ↩
10. AI inference costs set to plunge. CIO Dive zu Gartner, 2026. https://www.ciodive.com/news/ai-inference-costs-drop-2030-gartner/815725/ ↩
11. Ouyang et al.: Training language models to follow instructions with human feedback ↩
12. OpenAI: GPT-4 Technical Report ↩
13. OpenAI: Learning to reason with LLMs ↩
14. Liu et al.: Lost in the Middle ↩