Hoe werken de generator en discriminator in gans?
De generator
De generator in een GAN is een neuraal netwerk dat willekeurige ruis omzet in data die lijkt op de trainingsdata. De ruis, meestal een vector gesampled uit een standaard normaalverdeling, wordt door meerdere lagen getransformeerd. In een beeld-GAN gebruikt de generator vaak transpose convoluties (ook wel deconvoluties genoemd) om van een kleine vector naar een volledige afbeelding te gaan. De generator leert de datadistributie te benaderen door feedback van de discriminator. Zijn doel is om data te produceren die de discriminator niet kan onderscheiden van echte data. De generator wordt getraind met backpropagation, waarbij de gradiënt van de discriminator wordt gebruikt om zijn gewichten aan te passen. Een uitdaging is mode collapse: de generator leert slechts een paar voorbeelden te produceren die de discriminator misleiden, in plaats van de volledige distributie. Dit wordt tegengegaan met technieken zoals minibatch discrimination en unrolled GANs. De generator is het creatieve deel van de GAN; zijn kwaliteit bepaalt hoe realistisch de gegenereerde data is.
De discriminator
De discriminator in een GAN is een neuraal netwerk dat data classificeert als echt of nep. Het krijgt afwisselend echte data uit de trainingsset en nepdata van de generator. De uitvoer is een waarschijnlijkheid tussen 0 en 1. De discriminator wordt getraind om echte data als 1 en nepdata als 0 te classificeren. Zijn verliesfunctie is binair cross-entropie. De discriminator is essentieel voor het leerproces: hij geeft de generator feedback over hoe realistisch de gegenereerde data is. Als de discriminator te goed wordt, kan de generator geen goede gradiënten meer ontvangen en stopt het leren. Als de discriminator te zwak is, leert de generator niet om realistische data te maken. Het is een delicate balans. Technieken zoals label smoothing, een lagere leersnelheid voor de discriminator, en het toevoegen van ruis aan de invoer helpen de balans te bewaren. De discriminator wordt na de training vaak weggegooid; alleen de generator wordt gebruikt. De discriminator is dus een tijdelijk hulpmiddel, maar essentieel voor het succes van de GAN.