Model serialization pickle safetensors gguf
Serialization-formaten
Na training moet een model worden opgeslagen zodat het later kan worden geladen. Dit proces heet serialization. Pickle is een Python-specifiek formaat dat veel wordt gebruikt, maar het is onveilig (het kan willekeurige code uitvoeren) en niet portable tussen talen. SafeTensors is een modern alternatief dat veilig en snel is. Het wordt gebruikt door Hugging Face en ondersteunt zero-copy loading. GGUF is een formaat dat is ontworpen voor efficiënte inferentie op consumentenhardware, vooral voor gekwantiseerde modellen. Het wordt gebruikt door llama.cpp en ondersteunt CPU en GPU. De keuze van serialization-formaat hangt af van de use case: voor onderzoek en ontwikkeling is Pickle of SafeTensors gebruikelijk, voor deployment op edge-apparaten is GGUF populair.
Belang van serialization
Serialization is een fundamentele stap in de ML-lifecycle. Zonder goede serialization kunnen modellen niet worden gedeeld, gedeployed of gereproduceerd. Het formaat bepaalt ook de laadtijd en het geheugengebruik. SafeTensors laadt sneller dan Pickle en is veiliger. GGUF is geoptimaliseerd voor lage latentie op consumentenhardware. Het is belangrijk om het juiste formaat te kiezen voor de doelomgeving en om versiebeheer toe te passen op modelbestanden. Model serialization is een ogenschijnlijk klein maar cruciaal onderdeel van MLOps.