Residual networks resnet skip connections
Dieper en beter
Residual Networks (ResNet) zijn een architectuur die in 2015 werd geïntroduceerd door Kaiming He en collega's. Het probleem dat ResNet oploste was dat zeer diepe neurale netwerken moeilijk te trainen waren: naarmate het aantal lagen toenam, verslechterde de prestaties, niet door overfitting maar door het vanishing gradient-probleem. ResNet introduceert skip connections, ook wel residual connections genoemd. In plaats van een laag de invoer volledig te laten transformeren, wordt de invoer opgeteld bij de uitvoer van de laag: output = F(x) + x. Hierdoor kan de gradiënt direct door het netwerk stromen via de skip connection, zonder door de niet-lineaire lagen te gaan. Dit maakt het mogelijk om netwerken met honderden of zelfs duizenden lagen te trainen. De skip connections hebben ook een regulariserend effect en maken het verlieslandschap gladder. ResNet won de ImageNet-competitie in 2015 met een netwerk van 152 lagen, veel dieper dan eerdere modellen. Het is een van de meest invloedrijke architecturen in deep learning en wordt nog steeds veel gebruikt in computer vision en daarbuiten.
Varianten en impact
Er bestaan verschillende ResNet-varianten. ResNet-18, ResNet-34, ResNet-50, ResNet-101 en ResNet-152 verschillen in het aantal lagen. ResNet-50 is een veelgebruikte backbone voor objectdetectie en beeldsegmentatie. Wide ResNet vergroot het aantal filters per laag in plaats van het aantal lagen. ResNeXt combineert residual connections met grouped convolutions. DenseNet verbindt elke laag met alle volgende lagen, wat nog meer skip connections oplevert. De impact van ResNet is enorm. Het idee van skip connections is overgenomen in vrijwel elke moderne architectuur, waaronder Transformers. In de Transformer wordt de invoer van elke sublaag opgeteld bij de uitvoer, gevolgd door layer normalization. Skip connections zijn ook gebruikt in generatieve modellen, zoals diffusion models en GANs. Ze maken het mogelijk om zeer diepe netwerken te trainen, wat leidt tot betere prestaties op complexe taken. ResNet is een mijlpaal in de geschiedenis van deep learning en een van de meest geciteerde papers in de informatica.