Hoe werken de generator en discriminator in gans?

De generator

De generator van een GAN? Je neemt simpelweg een neuraal netwerk dat random ruis pakt en dat probeert om te buigen tot namaakdata die net zo aandoet als de echte voorbeelden waar je mee getraind hebt. Vaak komt die ruis uit een standaard normaalverdeling, gewoon als vector. De generator bouwt die om naar bijvoorbeeld een berg pixels, laag voor laag. Gaat het om afbeeldingen, dan zie je meestal transpose convoluties (dat zijn "deconvoluties") terug; daarmee blaas je die kleine vector juist op tot een heel plaatje. Wat de generator echt leert: de manier waarop je data verspreid is in je trainingsset, maar dan door steeds af te kijken bij de discriminator. Zijn missie: data maken die ononderscheidbaar lijkt voor de discriminator. De aanpassingen aan de generator verlopen via backpropagation. De gradiënt, oftewel de aanwijzing waar het beter kan, komt daarbij dus bij de generator terecht dankzij het oordeel van de discriminator. Soms gaat het mis: dan blijft de generator hangen en spuwt-ie steeds dezelfde paar voorbeelden uit (dat noem je mode collapse). Technieken zoals minibatch discrimination of unrolled GANs proberen dat te voorkomen, door wat extra variatie af te dwingen. Je kunt de generator zien als het creatievere deel van de combinatie; hoe overtuigender hij is, hoe beter het resultaat uiteindelijk wordt.

De discriminator

De discriminator is een neuraal netwerk dat voor elk stukje data aangeleverd van de trainingsset of uit de generator bepaalt: echt of niet? Je krijgt een getal tussen 0 en 1 terug, bedoeld als waarschijnlijkheid. Hij leert precies dat onderscheid maken, met binaire cross-entropie om zijn fouten bij te sturen. Belangrijk is dat de discriminator terugkoppelt aan de generator: hoe dichter die bij echt weet te komen, hoe beter. Maar als je de discriminator te goed afstelt, dan raakt de generator zijn zinvolle feedback kwijt; andersom, als hij onvoldoende streng is, komt er niks overtuigends meer uit de generator. Geen eenvoudige balans. Je ziet in de praktijk vaak middelen zoals label smoothing, een net wat lagere learning rate voor de discriminator, of ruis toevoegen aan de invoer om de verhouding gezond te houden. Na het trainen laat je de discriminator meestal achterwege, alleen de generator telt dan nog. Daarmee is de discriminator vooral een tijdelijk trainingsmaatje, maar onmisbaar zolang het echte leren duurt.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.