Memory swapping en offloading deepspeed

Hoe offloading precies werkt

Je kunt het geheugen op je GPU flink ontlasten door offloading of swapping toe te passen. Daarbij schuift DeepSpeed (Microsoft's tool) informatie van bijvoorbeeld je model of optimizer-state naar het RAM van je computer. Of, als het daar niet meer past, naar de schijf (wat langzamer is). Dit werkt samen met technieken als ZeRO (Zero Redundancy Optimizer, een best slimme aanpak om onnodige kopieën in het geheugen te vermijden). Je levert wat snelheid in, want data moet vaker heen en weer. Maar hierdoor kun je language modellen van het formaat GPT-3 trainen op hardware die normaal gesproken veel te weinig videogeheugen heeft. Dus: wie maar beperkte rekenkracht heeft, kan alsnog met grote AI-modellen aan de slag.

Wanneer je offloading inzet en wat het kost

Je ziet offloading veel bij datateams die taalmodellen of beeldherkenners trainen die anders niet op hun computers passen. Je wint geheugenruimte, maar inleveren doe je op snelheid. Voor organisaties zonder toegang tot enorme GPU-clusters is het soms de enige manier om met grote netwerken te werken.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.