Die Bilder, die Systeme wie Stable Diffusion, DALL-E oder Midjourney aus Textbeschreibungen erzeugen, basieren auf einem einfachen Grundprinzip: Ein neuronales Netz lernt, Rauschen zu entfernen, und nutzt diese Fähigkeit, um aus reinem Rauschen neue Strukturen zu erzeugen. Dieser Ansatz, bekannt als Diffusion Model, hat sich seit 2020 als eines der wichtigsten Verfahren für die Bildgenerierung etabliert und findet zunehmend Anwendung in Bereichen jenseits der visuellen Medien. Dieser Artikel erklärt, wie Diffusion Models funktionieren, warum Latent Diffusion den Ansatz praktisch nutzbar machte und welche Rolle die Transformer-Architektur bei der Steuerung durch Text spielt.
Die Grundidee: Rauschen und Entrauschen
Generative Modelle stehen vor einer zentralen Herausforderung: Sie müssen neue, realistische Daten erzeugen, etwa ein Bild, eine Audiosequenz oder eine molekulare Struktur. Der direkte Sprung vom Nichts zu einem fertigen Ergebnis ist für neuronale Netze schwer zu lernen, weil der Raum möglicher Ausgaben riesig und die Verteilung realistischer Daten darin sehr klein ist. Diffusion Models lösen dieses Problem durch eine Umkehrung der Lernaufgabe: Statt zu lernen, Strukturen aus dem Nichts zu erzeugen, lernen sie, vorhandene Strukturen wiederherzustellen.
Der Prozess besteht aus zwei Richtungen. Der Forward-Prozess nimmt ein reales Datenelement, etwa ein Foto, und fügt schrittweise Rauschen hinzu, bis nur noch eine zufällige Verteilung ohne erkennbare Struktur übrig bleibt. Dieser Vorgang ist mathematisch festgelegt und erfordert kein Lernen. Der Reverse-Prozess kehrt diesen Vorgang um: Ausgehend von reinem Rauschen wird schrittweise Struktur hinzugefügt, bis ein realistisches Ergebnis entsteht. Diesen Umkehrprozess zu lernen, ist die eigentliche Aufgabe des neuronalen Netzes.
Eine anschauliche Analogie: Der Forward-Prozess gleicht einem Foto, das durch immer stärkere Unschärfe hindurchgeht, bis nur noch gleichförmiges Grau übrig bleibt. Der Reverse-Prozess gleicht der Fähigkeit, aus diesem Grau schrittweise ein scharfes Bild zu rekonstruieren, nicht dasselbe Bild, sondern ein neues, das den gleichen statistischen Eigenschaften folgt. Wichtig ist, dass jeder einzelne Schritt nur eine kleine Veränderung vornehmen muss, und kleine Veränderungen sind für neuronale Netze gut lernbar.
Der Forward-Prozess: Schrittweises Verrauschen
Der Forward-Prozess folgt einem mathematisch definierten Schema: In jedem Schritt wird dem Datenelement eine kleine Menge Gauß'sches Rauschen hinzugefügt. Die Menge des Rauschens pro Schritt wird durch einen Noise-Schedule kontrolliert, eine vordefinierte Abfolge, die festlegt, wie viel Signal in jedem Schritt erhalten bleibt und wie viel Rauschen hinzukommt. Nach genügend Schritten, typischerweise 1000, ist die gesamte Struktur verschwunden und das Ergebnis ist nicht mehr von einer reinen Gauß-Verteilung zu unterscheiden.
x_t = √(α_t) × x_{t-1} + √(1 - α_t) × ε
wobei:
x_t = verrauschtes Signal zum Zeitschritt t
α_t = Noise-Schedule (bestimmt, wie viel Signal erhalten bleibt)
ε = Gauß'sches Rauschen (zufällig gezogen)Der Noise-Schedule bestimmt die Dynamik des Verrauschungsprozesses. Ein linearer Schedule fügt in jedem Schritt gleich viel Rauschen hinzu, während ein Cosine-Schedule anfangs langsamer und gegen Ende schneller verrauscht. Der Cosine-Schedule hat sich in der Praxis als vorteilhaft erwiesen, weil er die informationsreichen frühen Schritte, in denen grobe Strukturen noch erkennbar sind, stärker gewichtet und dem Modell damit mehr Lernmaterial für die schwierigeren Phasen der Rekonstruktion bietet.
Eine wichtige mathematische Eigenschaft vereinfacht das Training erheblich: Durch die spezielle Struktur des Gauß'schen Rauschens lässt sich das verrauschte Signal für einen beliebigen Zeitschritt t direkt aus dem Originalbild berechnen, ohne alle Zwischenschritte durchlaufen zu müssen. Diese geschlossene Form der kumulativen Rauschaddition beschleunigt das Training um Größenordnungen, da pro Trainingsschritt nur ein einziger Zeitschritt verarbeitet werden muss statt der gesamten Sequenz. Damit kann das Training effizient einen zufälligen Zeitschritt auswählen und das Modell direkt auf die Entrauschung dieses spezifischen Rauschgrads trainieren.
Der Reverse-Prozess: Lernen, Rauschen zu entfernen
Der zentrale gelernte Bestandteil eines Diffusion Models ist das neuronale Netz, das den Reverse-Prozess lernt. Für jeden Rauschgrad, also für jeden Zeitschritt t, soll das Netz vorhersagen, welches Rauschen dem Signal hinzugefügt wurde. Das Training folgt einem einfachen Schema: Ein Trainingsbild wird bis zu einem zufällig gewählten Zeitschritt verrauscht, das Modell erhält das verrauschte Bild und den Zeitschritt als Eingabe, und seine Aufgabe ist es, das hinzugefügte Rauschen vorherzusagen. Der Verlust misst die Differenz zwischen dem tatsächlich hinzugefügten und dem vorhergesagten Rauschen.
Dieses Training über alle Rauschgrade hinweg lehrt das Modell eine umfassende Fähigkeit: Es lernt, wie Struktur auf verschiedenen Abstraktionsebenen aussieht. Bei hohem Rauschen, nahe am Ende des Forward-Prozesses, muss das Modell grobe Strukturen erkennen, etwa Gesicht oder Landschaft. Bei geringem Rauschen, nahe am Originalbild, verfeinert es Details wie Hauttextur oder Schatten. Diese Hierarchie von grob zu fein entsteht automatisch durch das Training über verschiedene Rauschgrade.
Die Generierung neuer Daten nutzt diese gelernte Fähigkeit in umgekehrter Richtung: Ausgehend von reinem Rauschen wird in jedem Schritt das vorhergesagte Rauschen subtrahiert, was schrittweise Struktur aus dem Zufälligen hervortreten lässt. Die vielen kleinen Schritte sind der eigentliche Vorteil des Verfahrens. Jeder einzelne Entrauschungsschritt muss nur eine kleine Korrektur vornehmen, und diese Aufgabe ist für das Netzwerk gut lernbar. Der direkte Sprung von reinem Rauschen zu einem fertigen Bild wäre hingegen eine Abbildung zwischen zwei sehr verschiedenen Verteilungen und damit deutlich schwerer zu lernen.
Aus der theoretischen Perspektive der Score-basierten generativen Modelle lernt das Netz den Gradienten der Datenverteilung, also die Richtung, in der sich ein verrauschtes Signal bewegen muss, um der Verteilung realer Daten näher zu kommen. Jeder Entrauschungsschritt folgt diesem Gradienten ein kleines Stück, bis das Ergebnis in einer Region hoher Wahrscheinlichkeit der realen Datenverteilung angekommen ist.
Das U-Net: Architektur des Entrauschungs-Netzwerks
Die Wahl der Netzwerk-Architektur für das Entrauschungsmodell ist wichtig, da sie sowohl feine Details als auch globale Strukturen erfassen muss. Das U-Net hat sich dafür als gut geeignet erwiesen, eine Encoder-Decoder-Architektur mit einer charakteristischen U-förmigen Struktur, die ursprünglich für medizinische Bildsegmentierung entwickelt wurde. Seine Fähigkeit, Informationen auf verschiedenen räumlichen Auflösungsebenen zu verarbeiten und zu kombinieren, passt gut zur schrittweisen Verfeinerung verrauschter Eingaben.
Der Encoder des U-Nets komprimiert das verrauschte Eingabebild durch eine Folge von Faltungsschichten und Downsampling-Operationen auf immer kleinere räumliche Auflösungen, wobei die Anzahl der Merkmalskanäle zunimmt. Diese Kompression zwingt das Netz, die wesentlichen Strukturen des Bildes zu erfassen. Der Decoder kehrt diesen Prozess um und rekonstruiert die ursprüngliche Auflösung durch Upsampling und weitere Faltungen. Ein wichtiges Merkmal des U-Nets sind die Skip-Connections zwischen Encoder und Decoder: Auf jeder Auflösungsstufe werden die Encoder-Merkmale direkt an die entsprechende Decoder-Stufe weitergeleitet. Diese Verbindungen bewahren feine räumliche Details, die bei der Komprimierung verloren gehen würden.
Zusätzlich erhält das U-Net den aktuellen Zeitschritt als Eingabe, typischerweise kodiert als Zeitschritt-Embedding nach dem Vorbild der sinusoidalen Positional Encodings aus der Transformer-Architektur. Dieses Embedding informiert das Netzwerk darüber, wie stark das aktuelle Bild verrauscht ist, was die Vorhersage des hinzugefügten Rauschens erheblich erleichtert. Die Art der notwendigen Korrektur unterscheidet sich deutlich zwischen stark verrauschten und fast sauberen Bildern.
Eine neuere Entwicklung ist der Diffusion Transformer (DiT), der das U-Net durch eine reine Transformer-Architektur ersetzt. Statt Faltungsschichten verwendet DiT Transformer-Blöcke, die auf Bildpatches arbeiten, derselbe Ansatz, der beim Vision Transformer für die Bildklassifikation entwickelt wurde. Modelle wie Stable Diffusion 3 und FLUX nutzen diese Architektur, die bei ausreichender Skalierung bessere Ergebnisse erzielen kann und von der gleichen Hardware-Optimierung profitiert, die für Sprachmodelle entwickelt wurde.
Latent Diffusion: Effiziente Bildgenerierung im komprimierten Raum
Die direkte Anwendung des Diffusion-Prozesses auf Pixelebene ist sehr rechenaufwändig. Ein Bild mit 512×512 Pixeln und drei Farbkanälen hat 786.432 Dimensionen, und das Entrauschungsnetz muss über viele Schritte in diesem hochdimensionalen Raum arbeiten. Latent Diffusion löst dieses Problem durch eine Aufteilung des Prozesses in zwei Stufen.
In der ersten Stufe wird ein Variational Autoencoder (VAE) trainiert, der Bilder in einen niedrigdimensionalen Latent Space komprimiert und aus diesem wieder rekonstruieren kann. Der Encoder des VAE reduziert ein 512×512-Bild typischerweise auf eine 64×64-Repräsentation mit 4 Kanälen, eine Kompression um etwa Faktor 50. Trotz dieser erheblichen Reduktion bleibt der Latent Space semantisch reichhaltig: Ähnliche Bilder liegen nahe beieinander, und die wesentlichen visuellen Merkmale sind erhalten.
In der zweiten Stufe wird der gesamte Diffusion-Prozess, Forward und Reverse, nicht auf den Pixeln, sondern im Latent Space durchgeführt. Das U-Net oder der Diffusion Transformer arbeitet damit auf einem Raum, der etwa 50-mal kleiner ist als der Pixelraum, was den Rechenaufwand um Größenordnungen reduziert. Nach Abschluss des Reverse-Prozesses im Latent Space dekodiert der VAE-Decoder das entrauschte Latent zurück in ein vollständiges Bild.
Stable Diffusion ist das bekannteste Beispiel dieser Architektur und trug dazu bei, Bildgenerierung einem breiten Publikum zugänglich zu machen, unter anderem weil die Kombination aus Latent-Space-Kompression und effizienter Diffusion die Generierung auf Consumer-Hardware ermöglicht. Die Aufteilung in VAE und Diffusion-Modell hat zudem den Vorteil, dass beide Komponenten unabhängig trainiert und verbessert werden können: Ein besserer VAE verbessert die Bildqualität, ein besseres Diffusion-Modell verbessert die generative Fähigkeit.
Steuerung durch Text: Cross-Attention und CLIP
Die Fähigkeit, Bilder aus Textbeschreibungen wie "eine Katze auf dem Mond bei Sonnenuntergang" zu generieren, erfordert eine Verbindung zwischen Sprach- und Bildverständnis. Diese Verbindung wird durch zwei Komponenten hergestellt: einen Text-Encoder, der den Prompt in eine numerische Repräsentation umwandelt, und den Cross-Attention-Mechanismus im Entrauschungsnetzwerk, der diese Repräsentation bei jedem Generierungsschritt berücksichtigt.
Der Text-Encoder basiert typischerweise auf CLIP (Contrastive Language-Image Pretraining), einem Modell, das auf Millionen von Bild-Text-Paaren trainiert wurde und Text und Bilder in einen gemeinsamen Embedding-Raum projiziert. In diesem Raum liegen Bilder und ihre passenden Textbeschreibungen nahe beieinander, während nicht zusammengehörige Paare weit voneinander entfernt sind. Der Text-Encoder wandelt den Eingabe-Prompt in eine Sequenz von Embedding-Vektoren um, die die semantische Bedeutung der Beschreibung kodieren.
Die Cross-Attention, derselbe Mechanismus, der in Encoder-Decoder-Transformern die Verbindung zwischen Eingabe und Ausgabe herstellt, integriert diese Text-Embeddings in den Entrauschungsprozess. Bei jedem Schritt des Reverse-Prozesses erzeugt das Entrauschungsnetzwerk Queries aus seinen internen Bildrepräsentationen und berechnet Attention-Gewichte gegenüber den Keys und Values des Text-Encoders. Dadurch kann das Netzwerk bei jedem Entrauschungsschritt auf die relevanten Teile der Textbeschreibung zugreifen und die Generierung entsprechend steuern.
Ein zusätzlicher Mechanismus verstärkt den Einfluss des Prompts: Classifier-Free Guidance führt jeden Entrauschungsschritt zweimal durch, einmal mit und einmal ohne Textbedingung, und verstärkt die Differenz zwischen beiden Ergebnissen. Je höher der Guidance-Scale-Parameter, desto stärker folgt das generierte Bild der Textbeschreibung, auf Kosten der Diversität. Dieser Parameter ermöglicht es, den Kompromiss zwischen Prompt-Treue und Variation fein zu steuern.
Diffusion und GANs: Zwei Wege zur Bildgenerierung
Vor der Verbreitung von Diffusion Models dominierten Generative Adversarial Networks (GANs) die Bildgenerierung. GANs nutzen ein Wettbewerbsprinzip zwischen zwei Netzwerken, einem Generator, der Bilder erzeugt, und einem Diskriminator, der echte von generierten Bildern unterscheiden soll. Durch diesen adversariellen Trainingsprozess treiben sich beide Netzwerke gegenseitig zu besserer Leistung an, wie in der Einführung in generative KI auf diesem Blog beschrieben.
Die Vorteile von Diffusion Models gegenüber GANs liegen in mehreren Bereichen. Das Training von Diffusion Models ist deutlich stabiler: GANs sind bekannt für instabiles Training, bei dem Generator und Diskriminator aus dem Gleichgewicht geraten können. Dieses Problem wird als Mode Collapse bezeichnet und kann dazu führen, dass der Generator nur noch wenige verschiedene Ausgaben produziert. Diffusion Models sind dafür weniger anfällig, da sie ein klar definiertes Trainingsziel verfolgen, die Vorhersage des hinzugefügten Rauschens. Darüber hinaus erzeugen Diffusion Models eine größere Vielfalt in ihren Ausgaben und lassen sich durch Cross-Attention und Guidance-Parameter präziser steuern.
Der wesentliche Vorteil von GANs bleibt die Geschwindigkeit: Ein GAN generiert ein Bild in einem einzigen Forward-Pass durch den Generator, während ein Diffusion Model viele Entrauschungsschritte benötigt, typischerweise 20 bis 50 bei optimierten Verfahren. Neuere Entwicklungen adressieren diesen Nachteil: Consistency Models lernen, den mehrstufigen Diffusion-Prozess in wenige Schritte oder sogar einen einzigen Schritt zu destillieren, und Flow Matching formuliert den Generierungsprozess als Vektorfeldschätzung, die effizientere Generierungspfade ermöglicht. Diese Ansätze nähern sich der Geschwindigkeit von GANs an, ohne deren Stabilitätsprobleme zu übernehmen.
Jenseits der Bilder: Diffusion in anderen Domänen
Das Diffusion-Prinzip, schrittweises Entrauschen einer Zufallsverteilung, ist nicht an Pixel gebunden. Es lässt sich in vielen Fällen nutzen, in denen schrittweise Verfeinerung aus einer zufälligen Startverteilung sinnvoll ist. Die Anwendungsbreite dieses Prinzips zeigt sich in einer wachsenden Zahl von Domänen.
Im Audiobereich generieren Diffusion-basierte Modelle Sprache und Musik durch Entrauschen von Audiosignalen oder deren spektraler Repräsentationen. Die schrittweise Verfeinerung ermöglicht die kontrollierte Erzeugung von Klangmerkmalen wie Tonhöhe, Klangfarbe und Rhythmus. Für Videogenerierung arbeiten Modelle wie Sora im Latent Space dreidimensionaler Repräsentationen, wobei die zusätzliche Zeitdimension den Rechenaufwand erheblich steigert, das Grundprinzip aber unverändert bleibt. Auch dreidimensionale Objekte lassen sich durch Diffusion in Punktwolken oder anderen 3D-Repräsentationen generieren.
Eine wichtige Anwendung liegt bei Proteinstrukturen, an der Schnittstelle von KI-Forschung und Biotechnologie. Proteine sind lange Ketten von Aminosäuren, die sich in komplexe dreidimensionale Strukturen falten, und diese Form bestimmt die Funktion. AlphaFold hat die Vorhersage dieser Strukturen aus der Aminosäuresequenz zu einem vielbeachteten Erfolg der modernen KI gemacht. RFdiffusion geht einen Schritt weiter: Statt bestehende Strukturen vorherzusagen, nutzt es den Diffusion-Prozess, um Proteinstrukturen für gewünschte Randbedingungen zu entwerfen. Der Reverse-Prozess startet mit einer zufälligen Anordnung von Atomen und verfeinert diese schrittweise zu einer stabilen Proteinstruktur, die bestimmte funktionale Anforderungen erfüllt, etwa die Fähigkeit, an ein bestimmtes Zielmolekül zu binden.
Der gemeinsame Nenner dieser Domänen ist, dass die Zieldaten, Bilder, Audio, Proteinstrukturen, komplexe, hochdimensionale Verteilungen bilden, die durch schrittweise Verfeinerung besser approximiert werden können als durch einen einzigen Generierungsschritt. Das Entrauschungsnetz muss in jeder Domäne die spezifischen Strukturen und Gesetzmäßigkeiten lernen, visuelle Kohärenz bei Bildern, physikalische Plausibilität bei Proteinen, aber das Rahmenwerk des iterativen Entrauschens bleibt dasselbe. Im Bereich des Molekül-Designs für die Medikamentenentwicklung werden Diffusion Models in Forschungsworkflows genutzt, um Wirkstoffkandidaten in silico auf gewünschte Eigenschaften wie Bindungsaffinität und Stabilität zu optimieren.
Fazit
Diffusion Models haben die generative KI durch ein konzeptionell einfaches Prinzip verändert: Lernen, Rauschen zu entfernen, und diese Fähigkeit nutzen, um aus Rauschen neue Strukturen zu erzeugen. Der Forward-Prozess, das schrittweise Verrauschen, ist mathematisch festgelegt; der Reverse-Prozess, das schrittweise Entrauschen, wird von einem neuronalen Netz gelernt. Latent Diffusion machte den Ansatz praktikabel, indem es die Berechnung in einen komprimierten Raum verlagerte, und Cross-Attention aus der Transformer-Architektur ermöglichte die präzise Steuerung der Generierung durch Text.
Die Stärke des Ansatzes liegt darin, dass sich dieselbe Trainingsidee auf unterschiedliche Datenräume übertragen lässt. Von der Bildgenerierung über Audio und Video bis hin zum Protein- und Moleküldesign dient iteratives Entrauschen als Grundlage für generative Systeme in sehr unterschiedlichen Domänen. Die Verbindung zur Biotechnologie zeigt dabei besonders deutlich, dass Diffusion Models nicht nur ein Verfahren der Bildgenerierung sind, sondern ein allgemeiner Ansatz für hochdimensionale Strukturentwürfe.