Capsule networks
Capsules als alternatief voor CNN's
Capsule Networks (CapsNets) zijn een architectuur die in 2017 werd geïntroduceerd door Geoffrey Hinton als alternatief voor CNN's. Het idee is dat CNN's slecht zijn in het begrijpen van ruimtelijke relaties tussen objecten. Een CNN kan een gezicht herkennen, maar raakt in de war als de neus en ogen van plaats wisselen. Capsules lossen dit op door groepen neuronen te bundelen die samen een specifiek kenmerk representeren, zoals een object of een deel ervan. Elke capsule geeft een vector af die zowel de kans op aanwezigheid als de ruimtelijke oriëntatie (positie, rotatie, schaal) van het kenmerk bevat. Tussen capsules worden routing-by-agreement mechanismen gebruikt: lagere capsules sturen hun output naar hogere capsules die het beste passen. Dit gebeurt iteratief, waardoor het netwerk kan leren welke delen bij elkaar horen. CapsNets zijn robuuster tegen rotaties en translaties dan CNN's. Ze hebben echter meer rekenkracht nodig en zijn moeilijker te trainen. Ze presteren goed op eenvoudige datasets zoals MNIST, maar zijn nog niet breed toegepast op grote datasets zoals ImageNet. CapsNets blijven een interessant onderzoeksgebied.
Routing en toepassingen
Het hart van een CapsNet is het routing-by-agreement algoritme. In plaats van een vaste gewichtsmatrix tussen lagen, wordt de verbinding tussen capsules dynamisch bepaald. Elke lagere capsule voorspelt de output van een hogere capsule. Als meerdere lagere capsules hetzelfde voorspellen, wordt de verbinding sterker. Dit iteratieve proces zorgt ervoor dat het netwerk coherente objecten kan vormen uit delen. Er bestaan verschillende varianten, zoals EM routing, dat een probabilistisch model gebruikt. CapsNets worden gebruikt in beeldherkenning, medische beeldanalyse en het herkennen van 3D-objecten. Ze zijn ook toegepast in NLP, waar capsules kunnen helpen bij het modelleren van hiërarchische structuren in tekst. Uitdagingen zijn de rekencomplexiteit en de moeilijkheid om diepe CapsNets te trainen. Onderzoek richt zich op het efficiënter maken van routing en het combineren van capsules met attention. Hoewel CapsNets nog niet de dominantie van CNN's hebben doorbroken, bieden ze een interessante kijk op hoe neurale netwerken ruimtelijke relaties kunnen begrijpen. Ze zijn een waardevolle aanvulling op het arsenaal van deep learning-architecturen.