Memory swapping en offloading deepspeed
Hoe offloading precies werkt
Je kunt het geheugen op je GPU flink ontlasten door offloading of swapping toe te passen. Daarbij schuift DeepSpeed (Microsoft's tool) informatie van bijvoorbeeld je model of optimizer-state naar het RAM van je computer. Of, als het daar niet meer past, naar de schijf (wat langzamer is). Dit werkt samen met technieken als ZeRO (Zero Redundancy Optimizer, een best slimme aanpak om onnodige kopieën in het geheugen te vermijden). Je levert wat snelheid in, want data moet vaker heen en weer. Maar hierdoor kun je language modellen van het formaat GPT-3 trainen op hardware die normaal gesproken veel te weinig videogeheugen heeft. Dus: wie maar beperkte rekenkracht heeft, kan alsnog met grote AI-modellen aan de slag.
Wanneer je offloading inzet en wat het kost
Je ziet offloading veel bij datateams die taalmodellen of beeldherkenners trainen die anders niet op hun computers passen. Je wint geheugenruimte, maar inleveren doe je op snelheid. Voor organisaties zonder toegang tot enorme GPU-clusters is het soms de enige manier om met grote netwerken te werken.