Wat is een autoencoder?
Hoe in- en uitpakken werkt bij een autoencoder
Je begint met data. Een autoencoder is opgebouwd uit een encoder en een decoder. De encoder probeert jouw invoer zo strak mogelijk samen te persen in één compacte getallenrij (dat heet de latente ruimte, vaak een korte vector). Daarna komt de decoder, die probeert vanuit die korte representatie je oorspronkelijke invoer tevoorschijn te halen. Het netwerk traint zichzelf door het verschil tussen echte invoer en uitgepakte uitvoer zo klein mogelijk te maken, meestal via de mean squared error. Dus als je latente ruimte compact is, moet het netwerk de belangrijkste eigenschappen van je data onthouden, anders lukt het reconstrueren niet. Je zet autoencoders vaak in om data samen te persen als alternatief voor bijvoorbeeld PCA, maar dan niet-lineair. Handig ook om ruis uit plaatjes te filteren (bij denoising autoencoders), of om te merken als iets niet in je standaard data past (anomaliedetectie: als de reconstructiefout ineens hoog is). Met variational autoencoders kun je zelfs realistische nieuwe invoer maken. Als je maar één verborgen laag gebruikt, krijg je eigenlijk alleen lineaire compressie; met meer lagen kan het netwerk veel ingewikkeldere patronen leren. Je hebt geen labels nodig; een autoencoder werkt unsupervised (dus de gegevens hoeven niet gelabeld). Ze zijn een bouwsteen van veel deep learning modellen voor leren zonder toezicht en data genereren.
Verschillende soorten autoencoders en wat je ermee kunt
Je hebt autoencoders in allerlei smaken. Undercomplete autoencoders dwingen je data in minder dimensies te proppen dan je begon, puur voor compressie. Overcomplete autoencoders gebruiken juist een ruimere latent ruimte, maar gooien er regularisatie overheen zodat je netwerk niet gewoon alles onthoudt. Bij een sparse autoencoder krijgt het netwerk een boete als te veel neuronen tegelijk actief zijn, zo leer je alleen de belangrijkste patronen pakken. Denoising autoencoders maken je invoer expres wat kapot (wat ruis erover) en trainen dan op het herstel, resultaat: robuustere kenmerken. Met contractive autoencoders wordt het netwerk gestraft als kleine afwijkingen in de invoer te veel uitmaken voor de latente getallen, zodat je meer stabiele representaties krijgt. Variational autoencoders maken het plaatje af: die pakken de kansverdeling in de latente ruimte, en daarmee kun je zelf synthetische data genereren. In de praktijk gebruik je autoencoders bijvoorbeeld voor het opsporen van afwijkingen in procesdata, het verkleinen van afbeeldingsbestanden of voor representaties die je daarna doorstuurt naar een ander deep learning model. Of in aanbevelingssystemen: gebruikersgedrag samenvatten tot een paar factoren. Autoencoders zijn dus een flexibel gereedschap voor leren zonder labels, en er wordt nog steeds veel aan ontwikkeld.