Fine tuning vs pre training
Twee fasen van leren
Pre-training en fine-tuning zijn twee opeenvolgende fasen in het trainen van moderne deep learning-modellen. Pre-training is het proces waarbij een model wordt getraind op een zeer grote, algemene dataset, vaak met een self-supervised doel. Het model leert algemene representaties van de data, zoals taalstructuur of visuele kenmerken. Deze fase is rekenintensief en duurt vaak dagen tot weken op krachtige hardware. Het resulterende model, een foundation model, bevat brede kennis die op vele taken kan worden toegepast. Fine-tuning is het proces waarbij een vooraf getraind model wordt aangepast aan een specifieke taak met een kleinere, gelabelde dataset. Tijdens fine-tuning worden de gewichten van het model bijgewerkt, vaak met een lagere leersnelheid dan bij pre-training. Soms worden alleen de laatste lagen getraind (feature extraction), soms het hele model. Fine-tuning is veel sneller en vereist minder data dan vanaf nul trainen. Het is de standaardaanpak geworden in NLP en computer vision. Voorbeelden zijn BERT dat wordt gefinetuned voor sentimentanalyse, of ResNet dat wordt gefinetuned voor het herkennen van huidkanker. Het onderscheid is belangrijk omdat pre-training duur is en eenmalig gebeurt, terwijl fine-tuning per taak wordt uitgevoerd.
Praktische overwegingen
Bij het fine-tunen van een vooraf getraind model zijn er verschillende praktische overwegingen. Allereerst moet worden bepaald hoeveel lagen worden getraind. Bij kleine datasets is het vaak beter om alleen de laatste lagen te trainen om overfitting te voorkomen. Bij grotere datasets kan het hele model worden gefinetuned. De leersnelheid moet laag zijn, bijvoorbeeld 1e-5 tot 1e-4, om de geleerde representaties niet te verstoren. Soms wordt een warm-up gebruikt waarbij de leersnelheid geleidelijk toeneemt. Regularisatietechnieken zoals dropout, weight decay en early stopping zijn belangrijk. Catastrofaal vergeten kan optreden als het model te veel wordt aangepast aan de nieuwe taak en de algemene kennis verliest. Dit kan worden tegengegaan met technieken zoals Elastic Weight Consolidation (EWC) of door delen van het netwerk te bevriezen. Fine-tuning wordt ook gebruikt in parameter-efficiënte methoden zoals LoRA (Low-Rank Adaptation), waarbij alleen kleine matrices worden getraind in plaats van alle gewichten. Dit maakt fine-tuning toegankelijk op consumentenhardware. Het onderscheid tussen pre-training en fine-tuning is fundamenteel voor het begrijpen van moderne AI-modellen.