Pruning snoeien van neurale netwerken
Werking van pruning
Pruning is een techniek om neurale netwerken te comprimeren door verbindingen of neuronen te verwijderen die weinig bijdragen aan de output. Neurale netwerken zijn vaak overgeparametriseerd: ze bevatten meer parameters dan nodig is voor de taak. Door de minst belangrijke gewichten op nul te zetten of te verwijderen, wordt het model kleiner en sneller, zonder veel verlies van nauwkeurigheid. Pruning kan worden toegepast tijdens of na training. Bij structured pruning worden hele neuronen of filters verwijderd, wat leidt tot een daadwerkelijk kleiner model. Bij unstructured pruning worden individuele gewichten verwijderd, wat resulteert in een ijl model dat gespecialiseerde hardware vereist voor efficiëntie.
Toepassingen en uitdagingen
Pruning wordt gebruikt om grote modellen te comprimeren voor deployment op edge-apparaten of mobiele telefoons. Het kan ook de inferentiesnelheid verhogen en het energieverbruik verlagen. Een uitdaging is het vinden van de juiste balans tussen compressie en nauwkeurigheid. Te agressief prunen kan de prestaties significant verslechteren. Daarom wordt pruning vaak gecombineerd met fine-tuning: na het prunen wordt het model kort getraind om de verloren nauwkeurigheid te herstellen. Pruning is een volwassen techniek die breed wordt toegepast in productie-AI.