De machine learning lifecycle

Hoe verloopt zo'n traject?

Je start altijd bij het benoemen van het zakelijke vraagstuk, niet meteen bij de techniek. Soms blijkt ML trouwens niet eens nodig. Google bundelt het proces in vier delen: plannen, experimenteren, pipelines maken en ten slotte naar productie brengen [bron]. Bij plannen bepaal je het doel en de aanpak. Experimentatie? Dat is prutsen met je features, het tweaken van hyperparameters, en testen van modelvormen, doorgaans tientallen keren achter elkaar. Daarna komt het bouwen van een pipeline die automatisch data opschoont, traint en resultaten naloopt. In productie zet je het model live, houd je het continu in de gaten, en grijp je in wanneer de prestaties instorten of het niet meer klopt bij je data [bron]. Azure Databricks zal je wijzen op extra stappen zoals exploratieve analyse (EDA), slim samenstellen van features, en het registreren van je modellen [bron]. Elke fase kent eigen valkuilen en doelen.

Itereren: waarom je nooit klaar bent

Tegenover gewone software kent machine learning geen 'klaar'. Data verandert, je omgeving ook, prestaties lopen terug als je niets doet. Dus: terugkoppelen uit productie is geen luxe, maar noodzaak. Monitoring signaleert dataveranderingen (data drift), betekenisverschuivingen (concept drift) en terugval in nauwkeurigheid. Zie je problemen, dan start je een nieuwe trainingsronde. En dat blijft zich herhalen, met name als je inzet op MLOps en alles zoveel mogelijk automatiseert. Doe je dat niet, dan wordt je model snel minder bruikbaar. Dus: beschouw deze lifecycle als iets dat steeds doorloopt, geen eenmalig kunstje.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.