Wat is een deep neural network dnn?
Diep leren
Een Deep Neural Network (DNN) is een neuraal netwerk met meer dan één verborgen laag. Elke laag bestaat uit neuronen die de invoer transformeren en doorgeven aan de volgende laag. De 'diepte' van het netwerk stelt het in staat om hiërarchische representaties te leren: vroege lagen leren eenvoudige kenmerken, latere lagen combineren deze tot complexere concepten. In een beeldherkenningsnetwerk leren de eerste lagen randen en kleuren, terwijl de laatste lagen objecten herkennen. DNN's worden getraind met backpropagation en gradiëntdescent. De gewichten worden aangepast om de fout tussen de voorspelling en het werkelijke label te minimaliseren. DNN's hebben de afgelopen decennia geleid tot doorbraken in computer vision, spraakherkenning en natuurlijke taalverwerking. Ze zijn echter rekenintensief en vereisen veel data. Overfitting is een veelvoorkomend probleem, dat wordt tegengegaan met regularisatie, dropout en data-augmentatie. De opkomst van GPU's en grote datasets heeft deep learning praktisch haalbaar gemaakt. DNN's vormen de basis van vrijwel alle moderne AI-systemen.
Architecturen en toepassingen
Er bestaan vele soorten DNN's, elk geschikt voor andere soorten data. Feedforward Neural Networks (FNN) zijn de eenvoudigste: informatie stroomt van invoer naar uitvoer zonder terugkoppeling. Convolutionele Neurale Netwerken (CNN) zijn gespecialiseerd in beelddata en gebruiken convolutionele lagen om lokale patronen te herkennen. Recurrent Neural Networks (RNN) zijn geschikt voor sequentiële data, zoals tekst en tijdreeksen, en hebben terugkoppelingen die geheugen simuleren. Long Short-Term Memory (LSTM) en Gated Recurrent Units (GRU) zijn verbeterde RNN-varianten die beter omgaan met langetermijnafhankelijkheden. Transformers, gebaseerd op aandachtmechanismen, zijn de huidige state-of-the-art voor tekst en worden ook steeds vaker voor beeld en audio gebruikt. DNN's worden toegepast in spraakassistenten, zelfrijdende auto's, medische diagnose, fraudedetectie, aanbevelingssystemen en nog veel meer. De keuze van de architectuur hangt af van de aard van de data en de taak. Het ontwerpen en trainen van DNN's is een ambacht geworden dat zowel theoretische kennis als praktische ervaring vereist.