Dall e en stable diffusion architectuur
DALL-E
DALL-E, ontwikkeld door OpenAI, is een tekst-naar-beeld model dat in 2021 werd geïntroduceerd. De eerste versie gebruikte een discrete VAE (dVAE) om afbeeldingen om te zetten in tokens, en een autoregressief Transformer-model om deze tokens te genereren op basis van een tekstprompt. DALL-E 2, gelanceerd in 2022, stapte over op een diffusiearchitectuur. Het gebruikt een CLIP-model om tekst en beeld in dezelfde representatieruimte te plaatsen. Een prior model zet de tekstembedding om in een beeldembedding, die vervolgens door een diffusiedecoder wordt omgezet in een afbeelding. DALL-E 2 kan ook beeldbewerkingen uitvoeren, zoals inpainting en variaties maken. DALL-E 3, uitgebracht in 2023, is geïntegreerd met ChatGPT en verbetert de nauwkeurigheid van de promptopvolging aanzienlijk. Het model is getraind met een combinatie van menselijke feedback en geautomatiseerde evaluatie. DALL-E modellen staan bekend om hun creativiteit en het vermogen om complexe, abstracte prompts te begrijpen.
Stable Diffusion
Stable Diffusion, ontwikkeld door Stability AI, is een open-source tekst-naar-beeld model dat in 2022 werd uitgebracht. Het gebruikt Latent Diffusion, wat betekent dat het diffusieproces plaatsvindt in een latente ruimte in plaats van de pixelruimte. Dit maakt het model veel efficiënter en toegankelijker: het kan draaien op consumenten-GPU's. De architectuur bestaat uit drie componenten: een VAE die afbeeldingen comprimeert tot latente representaties en weer decomponeert, een U-Net die de diffusie uitvoert in de latente ruimte, en een CLIP-tekstencoder die de prompt omzet in een embedding. Cross-attention zorgt ervoor dat de tekstembedding het generatieproces stuurt. Stable Diffusion kan worden gefinetuned met LoRA en DreamBooth voor specifieke stijlen of onderwerpen. Het is open-source, wat heeft geleid tot een bloeiende community en vele varianten. Het model wordt gebruikt voor kunst, design, het maken van mockups en het genereren van synthetische data. De openheid heeft ook geleid tot ethische discussies over auteursrecht en deepfakes.