Pipeline parallelism en tensor parallelism
Pipeline parallelisme
Pipeline parallelisme verdeelt de lagen van een neuraal netwerk over meerdere GPU's. Elke GPU verwerkt een subset van de lagen. Data stroomt door de pijplijn: GPU 1 verwerkt de eerste lagen, geeft de output door aan GPU 2, enzovoort. Dit maakt het mogelijk om modellen te trainen die niet in één GPU passen. Uitdagingen zijn het minimaliseren van idle time en het efficiënt verdelen van de lagen. Technieken zoals micro-batching en 1F1B (one forward, one backward) schema's helpen om de pijplijn gevuld te houden. Pipeline parallelisme wordt gebruikt in frameworks zoals DeepSpeed en Megatron-LM. Het is effectief maar vereist zorgvuldige tuning.
Tensor parallelisme
Tensor parallelisme splitst individuele matrixoperaties over meerdere GPU's. Bijvoorbeeld: een grote matrixvermenigvuldiging wordt opgedeeld in kleinere delen die parallel worden uitgevoerd. Dit vereist communicatie tussen GPU's na elke operatie, wat latentie kan veroorzaken. Tensor parallelisme wordt vaak gecombineerd met pipeline parallelisme voor optimale resultaten. Het wordt gebruikt in Megatron-LM en andere grootschalige trainingsframeworks. Het is complex om te implementeren maar essentieel voor het trainen van modellen met honderden miljarden parameters. Het begrijpen van deze technieken is belangrijk voor het trainen van state-of-the-art AI-modellen.