Wie ein Algorithmus lernte, aus Schneerieseln Hunde zu generieren — mit der Geduld eines Mönchs.
Architekturen 10 min Fortgeschritten 15. Juni 2026
Im vorherigen Artikel hast du gelernt, wie Sprachmodelle ihr nächstes Wort auswählen. Jetzt wenden wir das gleiche generative Prinzip auf Bilder an: Starte mit Zufallsrauschen, wende gelernte Struktur an — und ein Bild entsteht.
Dieser Artikel enthüllt die überraschend einfache Idee hinter DALL-E, Midjourney und Stable Diffusion: Bringe einem Modell bei, Rauschen zu erkennen — und lasse den Prozess dann rückwärts laufen.
2021 Produkte
DALL-E erschafft Bilder aus Text
Ein wegweisender Durchbruch der Text-zu-Bild-Generierung und ein wichtiger Fortschritt der KI-Kreativität. Am 5. Januar 2021 enthüllte OpenAI DALL-E – ein System, das aus Textbeschreibungen kohärente und oft verblüffend kreative Bilder erzeugt. Text-zu-Bild-Modelle gab es zwar schon zuvor (etwa alignDRAW 2015 oder GAN-Ansätze wie StackGAN und AttnGAN), doch DALL-E hob Kohärenz und Vielseitigkeit auf ein neues Niveau. Basierend auf einer 12-Milliarden-Parameter-Version von GPT-3 bewies DALL-E, dass die Grenze zwischen Sprach- und Bildverständnis durchbrochen werden kann. Das System trainierte mit 250 Millionen Bild-Text-Paaren aus dem Internet und entwickelte dabei bemerkenswerte Fähigkeiten: Es kann Tiere vermenschlichen, unverwandte Konzepte plausibel kombinieren und sogar Text in Bilder rendern. Mark Riedl von Georgia Tech kommentierte, die Ergebnisse seien „bemerkenswert kohärenter“ als alle bisherigen Text-zu-Bild-Systeme. DALL-E erweiterte GPTs Sprachverständnis erfolgreich ins Visuelle und eröffnete eine völlig neue Dimension der KI-Kreativität.
Lernen durch Zerstörung — Der Forward-Prozess
Forward-Prozess
AnalogieDefinition
Stell dir ein Gemälde auf einem Tisch vor. Du wirfst eine dünne Schicht Sand darauf, dann noch eine, dann noch eine — tausend Mal. Am Ende ist das Gemälde unter Sand unsichtbar. Ein Diffusionsmodell zu trainieren bedeutet, einem Roboter beizubringen, bei jeder einzelnen Schicht zu erkennen, welche Sandkörner gerade hinzugefügt wurden.
Analogie:
Stell dir ein Gemälde auf einem Tisch vor. Du wirfst eine dünne Schicht Sand darauf, dann noch eine, dann noch eine — tausend Mal. Am Ende ist das Gemälde unter Sand unsichtbar. Ein Diffusionsmodell zu trainieren bedeutet, einem Roboter beizubringen, bei jeder einzelnen Schicht zu erkennen, welche Sandkörner gerade hinzugefügt wurden.
Definition:
Der Forward-Prozess nimmt ein echtes Trainingsbild und fügt über T Schritte (typisch ~1.000) kleine, genau kalibrierte Mengen an Gaußschem Rauschen hinzu. Bei Schritt T ist das Bild reines Rauschen. Die Trainingsaufgabe des Modells: vorhersagen, welches spezifische Rauschen bei jedem Schritt hinzugefügt wurde.
Wenn der Roboter das kann, kann er die Körner auch rückwärts wieder entfernen. Wichtig: Der Roboter lernt Sandkorn-Muster, nicht das Gemälde selbst — das Modell speichert keine Trainingsbilder.
Stell dir ein 64x64-Foto einer Katze vor. Schritt 0: gestochen scharfes Foto. Schritt 250: leicht unscharf, Details verschwommen. Schritt 500: erkennbare Form, aber Farben ausgewaschen. Schritt 750: vager Klecks. Schritt 1.000: reines zufälliges Rauschen, ununterscheidbar von jedem anderen Rauschbild.
2020 Publikationen
DDPM: Diffusion-Modelle etabliert
Die mathematische Grundlage der modernen Bildgenerierung durch Denoising-Prozesse. Im Juni 2020 veröffentlichten Jonathan Ho, Ajay Jain und Pieter Abbeel das einflussreiche Paper 'Denoising Diffusion Probabilistic Models' – eine Klasse latenter Variablenmodelle inspiriert von der Nichtgleichgewichts-Thermodynamik. Ihre Innovation lag in einer gewichteten Variationsbegrenzung und der Verbindung zwischen Diffusionsmodellen und Denoising Score Matching mit Langevin-Dynamik. Die Ergebnisse waren beeindruckend: FID-Score von 3,17 auf CIFAR-10 und Inception-Score von 9,46. DDPMs etablierten einen progressiven verlustbehafteten Dekompressionsansatz, der als Verallgemeinerung autoregressiver Dekodierung interpretiert werden kann. Diese Arbeit legte das mathematische Fundament für Stable Diffusion und die gesamte moderne Text-zu-Bild-Generation.
~1.000
Trainingsschritte Rauschen wird in ~1.000 kleinen Schritten hinzugefügt
Häufiger Irrtum: Das Modell speichert die Trainingsbilder
Das Modell lernt die statistische Struktur der Rauschentfernung, nicht bestimmte Bilder. Allerdings: Bei genug Training auf begrenzten Daten können Fragmente von Trainingsbildern reproduziert werden — weshalb die Copyright-Frage real und ungelöst ist.
Der Noise Schedule
Warum wird das Rauschen in tausend winzigen Schritten hinzugefügt und nicht auf einmal? Weil jeder kleine Schritt eine lernbare Vorhersageaufgabe erzeugt. Ein einziger massiver Rauschschub gibt dem Modell kein Gradientensignal zum Lernen. Der Variance Schedule bestimmt, wie viel Rauschen bei jedem Schritt hinzukommt — zu wenig und das Modell lernt triviale Vorhersagen, zu viel und die Struktur geht zu früh verloren.
Schöpfung aus dem Chaos — Der Reverse-Prozess
Reverse-Prozess
AnalogieDefinition
Der trainierte Roboter arbeitet jetzt auf einem frischen, zufälligen Sandhaufen (kein Gemälde darunter). Mit seinem Wissen über Kornmuster bürstet er Schicht für Schicht ab. Weil seine Expertise die Struktur "echter Gemälde" kodiert, formt sich der Sand natürlich zu einem gemäldeähnlichen Muster.
Analogie:
Der trainierte Roboter arbeitet jetzt auf einem frischen, zufälligen Sandhaufen (kein Gemälde darunter). Mit seinem Wissen über Kornmuster bürstet er Schicht für Schicht ab. Weil seine Expertise die Struktur "echter Gemälde" kodiert, formt sich der Sand natürlich zu einem gemäldeähnlichen Muster.
Definition:
Der Reverse-Prozess startet mit reinem Zufallsrauschen und lässt das trainierte Modell T Schritte rückwärts laufen. Bei jedem Schritt sagt das Modell das vorhandene Rauschen vorher und subtrahiert es. Nach allen Schritten entsteht ein kohärentes Bild. Der Seed (zufälliger Startpunkt) bestimmt, welches Bild erscheint.
Unter dem Sand liegt kein Gemälde — das Modell erschafft Struktur aus gelernter Statistik, nicht aus versteckten Daten. Verschiedene Sandhaufen (Seeds) ergeben verschiedene Gemälde.
Stable Diffusion: Start mit zufälligem Rauschen im Latent Space, 50 Entrauschungsschritte. Schritt 1: reines Chaos. Schritt 10: vage Formen und Farbflecken. Schritt 25: erkennbares Objekt (Katzenumriss sichtbar). Schritt 50: scharfes, detailliertes Endbild.
~50
Entrauschungsschritte In der Praxis genügen ~50 Schritte für die Bildgenerierung
Häufiger Irrtum: Mehr Schritte = immer bessere Bilder
Es gibt abnehmende Erträge. Über ~50 Schritte hinaus stagniert die Qualität, während die Rechenkosten linear weiter steigen. Moderne Scheduler wie DDIM und DPM++ erzielen gute Ergebnisse in nur 20 Schritten.
Praktisch gemacht — Latent Diffusion und Text-Conditioning
Latent Diffusion
AnalogieDefinition
Statt eine lebensgroße Marmorstatue direkt zu meißeln (Pixel-Raum), formst du zuerst ein kleines Tonmodell (Latent Space). Das Modell erfasst alle wesentlichen Proportionen und Details im Miniaturformat. Erst wenn es fertig ist, skaliert eine Maschine es auf Originalgröße hoch (VAE-Decoder). Dabei sagt ein Kundenauftrag (Textprompt via CLIP) dem Bildhauer bei jedem Schritt, was er formen soll.
Analogie:
Statt eine lebensgroße Marmorstatue direkt zu meißeln (Pixel-Raum), formst du zuerst ein kleines Tonmodell (Latent Space). Das Modell erfasst alle wesentlichen Proportionen und Details im Miniaturformat. Erst wenn es fertig ist, skaliert eine Maschine es auf Originalgröße hoch (VAE-Decoder). Dabei sagt ein Kundenauftrag (Textprompt via CLIP) dem Bildhauer bei jedem Schritt, was er formen soll.
Definition:
Latent Diffusion führt den Entrauschungsprozess nicht auf rohen Pixeln durch, sondern auf einer komprimierten Darstellung (Latent Space), die ein spezielles Kompressions-Netzwerk (VAE-Encoder) erzeugt. Das reduziert die Daten von ~786.000 Werten (512x512x3) auf ~16.000 (64x64x4) — eine Kompression um den Faktor ~50x. Nach dem Entrauschen rekonstruiert der VAE-Decoder das Bild in voller Auflösung. Text-Conditioning wird über CLIP hinzugefügt: Der Textprompt wird in eine numerische Darstellung umgewandelt, und ein spezialisiertes Entrauschungs-Netzwerk nutzt diese Darstellung wie ein Lenkrad — jeder Entrauschungsschritt wird in Richtung des Prompts gesteuert.
Das Tonmodell erfasst das Wesentliche, ohne jedes Detail des Originals zu kennen — genau wie der Latent Space die wichtigsten Bildmerkmale komprimiert. Der Kundenauftrag leitet, diktiert aber nicht — deshalb können ungewöhnliche Prompts überraschende Ergebnisse liefern.
Pixel-Raum
~786.000 Werte (512x512x3). Entrauschen direkt auf Pixeln. Erfordert Rechenzentrum-GPUs mit enormem Speicher. Historisch erste Diffusionsmodelle (DDPM, 2020).
Latent Space
~16.000 Werte (64x64x4). Entrauschen auf komprimierter Darstellung. Läuft auf Consumer-GPUs. Stable Diffusion (Rombach et al., 2022).
~50x
Kompressionsfaktor ~50x weniger Daten durch Latent-Space-Kompression
Häufiger Irrtum: Das Modell versteht meinen Prompt
Das Modell folgt statistischen Assoziationen zwischen Text-Embeddings und Bildmerkmalen, die es im Training gelernt hat. Es hat kein Konzept von "Hund" oder "Mond" — nur gelernte Korrelationen. Deshalb erzeugen ungewöhnliche Prompts manchmal überraschende oder inkohärente Ergebnisse.
Die vollständige Pipeline
Stable Diffusion Pipeline
Textprompt eingeben
CLIP kodiert den Text in einen Embedding-Vektor
Zufälliges Rauschen im Latent Space (64x64x4) erzeugen
U-Net entrauscht in ~50 Schritten (Cross-Attention mit Text-Embedding)
VAE-Decoder wandelt das Latent-Bild in ein 512x512 Pixelbild um
1
Reales Bild (Training)
2
Rauschen hinzufügen (T Schritte)
3
Reines Rauschen
4
Rauschen vorhersagen und entfernen (T Schritte)
5
Generiertes Bild
Der Forward-Prozess (Training) und der Reverse-Prozess (Generierung) sind Spiegelbilder: Was im Training zerstört wird, wird bei der Generierung rekonstruiert.
2022 Produkte
Stable Diffusion: Open-Source-Bildgenerierung
Die Demokratisierung der KI-Bildgenerierung durch das erste leistungsstarke Open-Source-Modell. Am 22. August 2022 veröffentlichte Stability AI Stable Diffusion und veränderte den Zugang zu fortgeschrittener Text-zu-Bild-Technologie erheblich. Als erstes Open-Source-Modell seiner Klasse konnte Stable Diffusion fotorealistische 512x512-Pixel-Bilder auf Consumer-GPUs generieren – ein wichtiger Fortschritt für Geschwindigkeit und Zugänglichkeit. Basierend auf Latent Diffusion Models (LDMs) iteriert das System durch 'De-noising' in latenten Räumen statt direkter Pixelmanipulation. Mit 860 Millionen Parametern im U-Net und 123 Millionen im Text-Encoder blieb es trotz hoher Leistung relativ leichtgewichtig. Der GitHub-verfügbare Quellcode ermöglichte einer explosionsartig wachsenden Community die Entwicklung unzähliger Varianten und Tools. Stable Diffusion durchbrach das Monopol proprietärer Systeme und machte hochwertige KI-Bildgenerierung für jeden zugänglich.
Interaktiv: Wie das Modell Entrauschen lernt
Beim Training lernt das U-Net, das hinzugefügte Rauschen vorherzusagen. In jedem Schritt vergleicht es seine Vorhersage mit dem tatsächlichen Rauschen und passt seine Gewichte an. Beobachte, wie der Vorhersagefehler (Loss) mit jedem Optimierungsschritt sinkt — genau dieser Prozess macht das Modell immer besser darin, aus Rauschen Bilder zu rekonstruieren.
1
2
3
4
5
Schritt 1 / 5Startposition
Der Ball startet weit links vom Minimum. Der Loss ist hoch (L=105.8). Der Gradient zeigt steil bergab nach rechts — der Algorithmus weiß, in welche Richtung es geht.
Grenzen und Copyright
Abnehmende Erträge: Über ~50 Entrauschungsschritte hinaus verbessert sich die Bildqualität kaum noch, während die Rechenzeit linear steigt.
Memorierung: In seltenen Fällen reproduzieren Diffusionsmodelle erkennbare Fragmente von Trainingsbildern — besonders wenn bestimmte Bilder überproportional häufig im Training vorkommen.
Copyright: Die Frage, ob KI-generierte Bilder die Urheberrechte der Trainingsdaten verletzen, ist rechtlich ungelöst und Gegenstand aktiver Debatten.
Zusammenfassung
Der Forward-Prozess lehrt das Modell, wie Rauschen in jedem Zerstörungsschritt aussieht — das ist das Trainingssignal.
Der Reverse-Prozess erzeugt Bilder, indem er vorhergesagtes Rauschen Schritt für Schritt aus zufälligem Rauschen subtrahiert.
Latent Diffusion komprimiert Bilder vor dem Entrauschen um den Faktor ~50x und ermöglicht so Bildgenerierung auf Consumer-GPUs.
Text-Conditioning über CLIP und Cross-Attention steuert, was aus dem Rauschen entsteht — aber das Modell "versteht" den Prompt nicht im menschlichen Sinne.
Dieser Artikel schließt Pfad I.G (Moderne Architekturen) ab. Von RNNs über Attention, Transformer, Fine-Tuning und Sampling bist du bei der sichtbarsten Anwendung generativer KI angekommen: der Bildgenerierung. Bereit für den nächsten Sektor?
Quiz: Generative Bildmodelle (Diffusion)
Frage 1 / 6
Noch offen
Was ist das Trainingsziel eines Diffusionsmodells im Forward-Prozess?
1. Was ist das Trainingsziel eines Diffusionsmodells im Forward-Prozess?
☐ A) Jedes Trainingsbild auswendig lernen
☐ B) Vorhersagen, welches Rauschen bei jedem Schritt hinzugefügt wurde
☐ C) Bilder in den Latent Space komprimieren
☐ D) Neue Bilder aus Text generieren
2. Ein Diffusionsmodell mit Seed 42 erzeugt ein Bild einer Katze. Du änderst nur den Seed auf 99 und behältst alles andere bei. Was passiert?
☐ A) Die gleiche Katze erscheint
☐ B) Ein völlig anderes Bild erscheint
☐ C) Die Bildqualität verbessert sich
☐ D) Das Modell verweigert die Generierung
3. Pixel-Diffusion verarbeitet ein 512x512x3-Bild (~786.000 Werte). Latent Diffusion komprimiert auf 64x64x4 (~16.000 Werte). Um welchen Faktor werden die Daten ungefähr reduziert?
☐ A) ~4x
☐ B) ~16x
☐ C) ~50x
☐ D) ~100x
4. Ein Nutzer gibt den Prompt "ein rotes Auto am Strand" ein, aber das generierte Bild zeigt ein blaues Auto auf einer Wiese. Welcher Teil der Pipeline hat am wahrscheinlichsten versagt?
☐ A) Der VAE-Decoder hat die Farben verfälscht
☐ B) Der Seed war ungünstig
☐ C) Der CLIP-Text-Encoder hat ein Embedding erzeugt, das die Bedeutung des Prompts schlecht erfasst
☐ D) Der Forward-Prozess hat zu viel Information zerstört
5. Nach 50 Entrauschungsschritten sieht das Bild scharf aus. Ein Nutzer lässt stattdessen 200 Schritte laufen. Was ist das wahrscheinlichste Ergebnis?
☐ A) Ein dramatisch besseres Bild
☐ B) Ein nahezu identisches Bild, aber mit 4x Rechenzeit
☐ C) Ein schlechteres Bild durch Überverarbeitung
☐ D) Das Modell stürzt ab
6. Warum gilt Latent Diffusion als Durchbruch gegenüber früheren Pixel-Diffusionsmodellen?
☐ A) Es erzeugt höher aufgelöste Bilder
☐ B) Es macht Textprompts überflüssig
☐ C) Es komprimiert Bilder vor dem Entrauschen und ermöglicht so Generierung auf Consumer-Hardware
☐ D) Es verwendet eine andere Art von Rauschen
Auflösung: 1) B · 2) B · 3) C · 4) C · 5) B · 6) C
Verständnischeck
Warum bringen Entwickler dem Modell im Training bei, Rauschen vorherzusagen, anstatt einfach direkt das fertige Bild auswendig zu lernen?
Wie entsteht aus reinem Zufallsrauschen ein fertiges Bild, und warum sieht es bei einem anderen Seed komplett anders aus?
Warum ist es möglich, ein modernes Bildmodell wie Stable Diffusion auf einem guten Heim-Computer laufen zu lassen, obwohl die ersten Modelle riesige Server brauchten?