Shadow deployments en canary releases
Shadow deployment
Bij een shadow deployment wordt een nieuw model in productie gedraaid, maar de voorspellingen worden niet gebruikt voor daadwerkelijke beslissingen. Het model ontvangt hetzelfde verkeer als het productiemodel, maar de output wordt alleen gelogd en vergeleken. Dit maakt het mogelijk om de prestaties van het nieuwe model te evalueren zonder risico voor gebruikers. Shadow deployment is ideaal voor het testen van modellen in een realistische omgeving zonder de druk van A/B-testen. Het nadeel is dat het extra rekenkracht kost en dat het niet direct zakelijke impact meet [citation:13].
Canary release
Een canary release is een geleidelijke uitrol waarbij een klein percentage van het verkeer naar het nieuwe model wordt gestuurd, bijvoorbeeld 1% of 5%. Als het model goed presteert, wordt het percentage stapsgewijs verhoogd. Bij problemen kan worden teruggerold naar het oude model. Canary releases combineren de voordelen van shadow deployment (laag risico) met de voordelen van A/B-testen (meten van echte impact). Het is een best practice in MLOps voor het veilig introduceren van nieuwe modellen [citation:13]. De keerzijde is dat het lang kan duren voordat een canary release volledig is uitgerold, en dat het beheer complexer is dan een volledige deployment.