Einführung in Deep Learning

Deep Learning ist ein Teilgebiet des maschinellen Lernens, das neuronale Netze mit vielen Schichten nutzt. Diese Netze lernen schrittweise interne Repräsentationen, statt nur eine direkte Zuordnung von Eingabe zu Ausgabe. Ein Bild verarbeiten sie über Kanten, Formen und komplexere Muster statt als bloße Pixelmatrix. Einen Text erfassen sie als Folge von Tokens, Kontextbeziehungen und Bedeutungsnähe.

Der Begriff ist von biologischen Nervensystemen inspiriert, aber die Analogie sollte nicht überdehnt werden. Künstliche neuronale Netze sind mathematische Modelle. Sie bestehen aus Zahlen, Matrizen, Aktivierungsfunktionen und Optimierungsverfahren. Sie ahmen kein Gehirn realistisch nach, sondern nutzen einige abstrakte Motive: viele einfache Einheiten, gewichtete Verbindungen und Anpassung durch Training.

Deep Learning wurde wichtig, weil es Merkmale nicht vollständig von Hand vorgeben muss. Klassische Machine-Learning-Verfahren waren oft stark auf Feature Engineering angewiesen: Experten mussten entscheiden, welche Messwerte, Textmerkmale oder Bildsignale relevant sind. Tiefe Netze können solche Merkmale teilweise selbst aus Rohdaten lernen, sofern genügend Daten, passende Architektur und ausreichender Rechenaufwand vorhanden sind.

Deep Learning im maschinellen Lernen

Deep Learning ist keine eigene Gegenwelt zum maschinellen Lernen, sondern ein Teil davon. Es kann in überwachten, selbstüberwachten, unüberwachten oder bestärkenden Lernverfahren eingesetzt werden. Entscheidend ist nicht der Lernmodus, sondern die Modellklasse: tiefe neuronale Netze mit mehreren Verarbeitungsschichten.

Beim überwachten Lernen erhält ein Modell Eingaben und bekannte Zielwerte. Ein Netz lernt etwa, Bilder Klassen zuzuordnen oder Kreditrisiken zu schätzen. Beim selbstüberwachten Lernen entstehen die Trainingssignale aus den Daten selbst. Sprachmodelle lernen beispielsweise, Tokens im Kontext vorherzusagen, ohne dass jeder Satz manuell gelabelt wird.

Unüberwachtes Lernen sucht Strukturen ohne Zielvariable, etwa Cluster, latente Faktoren oder komprimierte Repräsentationen. Reinforcement Learning wiederum trainiert Verhalten über Belohnungssignale, etwa in Spielen, Robotik oder Modellanpassung mit menschlichem Feedback. Deep Learning kann in all diesen Bereichen als Funktionsapproximation dienen.

Repräsentationslernen

Der zentrale Unterschied zu vielen klassischen Verfahren liegt im Repräsentationslernen. Ein tiefes Netz transformiert Eingaben über mehrere Schichten hinweg. Frühe Schichten lernen oft einfache Muster, spätere Schichten kombinieren diese zu abstrakteren Repräsentationen.

Bei Bildern können frühe Schichten Kanten oder Farbübergänge erfassen, mittlere Schichten Texturen oder Formen, spätere Schichten Objekte oder Szenen. Bei Sprache entstehen Repräsentationen für Tokens, syntaktische Beziehungen, semantische Nähe und Kontext. Diese Beschreibung ist vereinfacht, zeigt aber die Grundidee: Das Modell baut eine interne Darstellung auf, die für die jeweilige Aufgabe nützlich ist.

Diese Fähigkeit ist der praktische Kern von Deep Learning. Sie reduziert nicht den Bedarf an Datenqualität, Evaluation und Domänenwissen. Aber sie verschiebt Arbeit vom manuellen Feature Engineering hin zu Architekturwahl, Trainingsdaten, Verlustfunktion, Optimierung und Prüfung.

Grundbausteine neuronaler Netze

Ein neuronales Netz besteht aus Schichten. Jede Schicht nimmt numerische Eingaben auf, multipliziert sie mit Gewichten, addiert Bias-Werte und wendet eine Aktivierungsfunktion an. Die Gewichte werden im Training angepasst.

Aktivierungsfunktionen bringen Nichtlinearität ins Modell. Ohne sie wäre eine Kette vieler linearer Schichten wieder nur eine lineare Transformation. Nichtlinearität erlaubt es Netzen, komplexere Entscheidungsgrenzen und Funktionsverläufe zu approximieren.

Die Tiefe eines Netzes meint die Anzahl der Verarbeitungsschichten zwischen Eingabe und Ausgabe. Mehr Tiefe kann nützlich sein, weil Zwischenschichten hierarchische Repräsentationen bilden. Mehr Tiefe macht Training aber auch schwieriger. Gradienten können verschwinden oder explodieren, Modelle können überanpassen, und Rechenaufwand steigt.

Wichtige Architekturtypen

Feedforward-Netzwerke oder Multi-Layer Perceptrons sind die einfachste Form tiefer neuronaler Netze. Informationen fließen von der Eingabe über versteckte Schichten zur Ausgabe. Solche Modelle eignen sich für viele tabellarische oder abstrakte Daten, bei denen keine besondere räumliche oder zeitliche Struktur berücksichtigt werden muss.

Convolutional Neural Networks (CNNs) wurden für Bilddaten wichtig. Sie nutzen lokale Filter, die über Bilder geschoben werden. Dadurch können sie räumliche Muster wie Kanten, Texturen oder Objektteile effizient erfassen. Gewichtsteilung reduziert die Zahl der Parameter und macht die Architektur gut geeignet für Daten mit lokaler Struktur.

Recurrent Neural Networks (RNNs) und Long Short-Term Memory Networks (LSTMs) verarbeiten Sequenzen Schritt für Schritt. Sie waren lange wichtig für Sprache, Zeitreihen und maschinelle Übersetzung. Ihre Stärke liegt in der Modellierung von Reihenfolge, ihre Schwäche in begrenzter Parallelisierung und Schwierigkeiten bei sehr langen Abhängigkeiten.

Autoencoder lernen, Eingaben zu komprimieren und wiederherzustellen. Dadurch entstehen latente Repräsentationen, also verdichtete interne Darstellungen. Sie werden für Dimensionsreduktion, Anomalieerkennung, Generierung und Vortraining genutzt.

Transformer nutzen Self-Attention, um Beziehungen zwischen Positionen eines Kontextes direkt zu gewichten. Sie wurden 2017 für maschinelle Übersetzung vorgestellt und sind heute zentral für Sprachmodelle, viele multimodale Systeme und zunehmend auch Anwendungen in Bild- und Audiodaten.²¹⁷¹ Sie ersetzen CNNs und RNNs nicht überall, haben aber die Entwicklung großer Foundation Models stark geprägt.

Training und Verlustfunktionen

Training bedeutet, die Gewichte eines Netzes so anzupassen, dass eine Verlustfunktion kleiner wird. Die Verlustfunktion misst den Fehler des Modells für eine Aufgabe. Bei Klassifikation kann das etwa Cross-Entropy sein, bei Regression der mittlere quadratische Fehler.

Backpropagation berechnet die Gradienten dieser Verlustfunktion nach den Modellparametern. Ein Optimierer wie Stochastic Gradient Descent, Adam oder AdamW nutzt diese Gradienten, um die Gewichte zu aktualisieren. Backpropagation berechnet also die Richtung der Änderung, der Optimierer bestimmt die konkrete Update-Regel.

Das Training beginnt häufig mit zufälligen oder vortrainierten Gewichten. Das Modell sieht Mini-Batches von Trainingsdaten, berechnet Vorhersagen, misst den Fehler und passt Parameter an. Dieser Prozess wiederholt sich viele Male. Große Modelle benötigen dafür spezialisierte Hardware, verteiltes Training und sorgfältige Kontrolle von Lernraten, Batchgrößen und Regularisierung.

Generalisierung und Overfitting

Ein Modell ist nur dann nützlich, wenn es nicht nur die Trainingsdaten gut beschreibt, sondern auch auf neuen Daten brauchbar funktioniert. Diese Fähigkeit heißt Generalisierung. Deshalb werden Daten typischerweise in Trainings-, Validierungs- und Testdaten getrennt.

Overfitting entsteht, wenn ein Modell die Trainingsdaten zu genau nachbildet und dabei Muster lernt, die nicht allgemein gelten. Der Trainingsfehler sinkt, aber der Fehler auf neuen Daten bleibt hoch oder steigt. Besonders komplexe Modelle mit vielen Parametern können dieses Problem haben, wenn Datenmenge, Datenqualität oder Regularisierung nicht ausreichen.

Gegenmaßnahmen sind unter anderem mehr und bessere Daten, Regularisierung, Dropout, Datenaugmentation, frühes Stoppen, kleinere Modelle oder bessere Validierung. Bei Foundation Models kommt hinzu, dass Evaluation nicht nur auf einer einzelnen Testmenge erfolgen sollte. Modelle werden für viele Aufgaben genutzt, also müssen Robustheit, Bias, Sicherheit und Verhalten in Grenzfällen separat geprüft werden.

Foundation Models

Foundation Models sind große vortrainierte Modelle, die als Basis für viele Anwendungen dienen.²¹⁷² Statt für jede Aufgabe ein Modell von Grund auf zu trainieren, wird ein großes Modell auf breiten Datenmengen vortrainiert und anschließend angepasst, promptgesteuert oder mit Tools kombiniert.

Self-Supervised Learning ist dabei zentral. Sprachmodelle lernen etwa, Tokens im Kontext vorherzusagen. Bildmodelle lernen über Kontrast, Rekonstruktion oder andere Vorhersageaufgaben. Diese Trainingssignale entstehen aus den Daten selbst und machen sehr große Datenmengen nutzbar.

Skalierung hat die Leistung vieler Modelle verbessert. Größere Modelle, mehr Daten und mehr Rechenleistung führten in vielen Benchmarks zu besseren Ergebnissen.²¹⁷³ Gleichzeitig ist die Deutung einzelner "emergenter" Fähigkeiten umstritten. Manche Effekte entstehen möglicherweise durch Metriken und Schwellenwerte, andere zeigen echte praktische Sprünge in Nutzbarkeit. Sicher ist: Skalierung allein löst weder Faktentreue noch Kosten, Datenqualität oder Kontrolle.

Moderne Deep-Learning-Systeme

Aktuelle Deep-Learning-Systeme bestehen selten nur aus einem nackten Modell. Sie kombinieren Modelle mit Retrieval, Tools, Filtern, Monitoring, Benutzeroberflächen und Evaluationsverfahren. Ein Chatbot kann ein Sprachmodell nutzen, zusätzlich Dokumente abrufen, Code ausführen oder Datenbanken abfragen.

Multimodale Modelle verarbeiten mehrere Datentypen, etwa Text, Bild, Audio oder Video. Das erweitert Anwendungsmöglichkeiten, macht Evaluation aber schwieriger. Ein Modell kann ein Diagramm beschreiben, einen Screenshot interpretieren oder Audiodaten transkribieren. Ob die Antwort stimmt, muss trotzdem geprüft werden.

Effizienz ist ebenfalls ein wichtiges Thema. Quantisierung, Distillation, kleinere Spezialmodelle und Hardwareoptimierung sollen Modelle günstiger und schneller machen. Gerade praktische Anwendungen hängen nicht nur an Modellleistung, sondern an Latenz, Kosten, Datenschutz, Wartbarkeit und Fehlertoleranz.

Grenzen und offene Probleme

Deep Learning ist stark datenabhängig. Modelle lernen aus vorhandenen Daten und übernehmen deren Lücken, Verzerrungen und Messfehler. Schlechte Datenqualität lässt sich nicht allein durch größere Modelle kompensieren.

Erklärbarkeit bleibt schwierig. Einzelne Gewichte oder Aktivierungen lassen sich nicht ohne Weiteres in menschlich verständliche Regeln übersetzen. Interpretability-Forschung kann Hinweise liefern, aber viele Systeme bleiben in ihrem Verhalten nur teilweise transparent.

Robustheit ist ein weiteres Problem. Modelle können auf kleine Verteilungsverschiebungen, ungewöhnliche Eingaben oder gezielte Angriffe empfindlich reagieren. Ein Modell, das in Benchmarks gut abschneidet, kann in realen Einsatzumgebungen trotzdem unzuverlässig sein.

Hinzu kommen Kosten und Kontrolle. Große Modelle benötigen viel Rechenleistung, Energie und Infrastruktur. Je stärker sie in Arbeitsprozesse eingebunden werden, desto wichtiger werden Evaluation, Datenschutz, Sicherheit und menschliche Verantwortung.

Fazit

Deep Learning ist vor allem die Technik des Repräsentationslernens mit tiefen neuronalen Netzen. Seine Stärke liegt darin, aus großen Datenmengen interne Darstellungen zu lernen, die für Klassifikation, Generierung, Vorhersage oder Steuerung nützlich sind.

Die wichtigsten Bausteine sind Schichten, Gewichte, Aktivierungsfunktionen, Verlustfunktionen, Backpropagation und Optimierer. Darauf bauen Architekturtypen wie MLPs, CNNs, RNNs, Autoencoder und Transformer auf. Foundation Models erweitern diesen Rahmen durch großes Pretraining und breite Wiederverwendbarkeit.

Der Nutzen von Deep Learning entsteht nicht aus Tiefe allein. Er entsteht aus dem Zusammenspiel von Daten, Architektur, Training, Evaluation und Einsatzkontext. Genau dort liegen auch die Grenzen: Datenqualität, Robustheit, Erklärbarkeit, Kosten und Kontrolle bleiben zentrale Fragen.

Quellen

1. Vaswani et al.: Attention Is All You Need ↩
2. Bommasani et al.: On the Opportunities and Risks of Foundation Models ↩
3. Kaplan et al.: Scaling Laws for Neural Language Models ↩
4. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks ↩
5. Kaplan et al.: Scaling Laws for Neural Language Models ↩
6. "Falling LLM Token Prices and What They Mean for AI Companies" - deeplearning.ai ↩
7. Startups and tech giants wage AI price war as inference costs spiral. Crypto Briefing, 2026. https://cryptobriefing.com/ai-price-war-startups-tech-giants/ ↩
8. Tokens are getting cheaper, but AI costs keep climbing. Fortune, 2026. https://fortune.com/2026/06/17/why-is-ai-spending-increasing-as-tokens-get-cheaper-jevons-paradox/ ↩
9. AI inference costs set to plunge. CIO Dive zu Gartner, 2026. https://www.ciodive.com/news/ai-inference-costs-drop-2030-gartner/815725/ ↩
10. Microsoft Azure Model Router Documentation - azure.microsoft.com ↩
11. Ouyang et al.: Training language models to follow instructions with human feedback ↩
12. OpenAI: GPT-4 Technical Report ↩
13. OpenAI: Learning to reason with LLMs ↩
14. Liu et al.: Lost in the Middle ↩