Mixture of experts moe architectuur
Specialisatie en selectie
De Mixture of Experts (MoE) architectuur is een techniek waarbij een neuraal netwerk bestaat uit meerdere submodellen, experts genoemd, en een gating-netwerk dat bepaalt welke experts worden gebruikt voor een gegeven invoer. Elke expert is gespecialiseerd in een deel van de data of een deel van de taak. Het gating-netwerk geeft een gewicht aan elke expert op basis van de invoer. De uiteindelijke uitvoer is een gewogen combinatie van de experts. MoE maakt het mogelijk om modellen met een enorme capaciteit te trainen zonder de rekenkosten evenredig te laten stijgen. Bij sparse MoE wordt voor elke invoer slechts een klein aantal experts geactiveerd, wat de rekenkracht beperkt. Dit maakt het mogelijk om modellen met biljoenen parameters te trainen, zoals bij Google's Switch Transformer en Mixtral van Mistral AI. De uitdaging is load balancing: als het gating-netwerk altijd dezelfde experts kiest, worden andere experts niet getraind. Dit wordt opgelost met auxiliary losses die een gelijke verdeling aanmoedigen. MoE wordt gebruikt in grote taalmodellen, maar ook in computer vision en reinforcement learning.
Voordelen en uitdagingen
MoE biedt verschillende voordelen. Het verhoogt de capaciteit van het model zonder de rekenkosten evenredig te verhogen. Het maakt specialisatie mogelijk: verschillende experts kunnen verschillende soorten input verwerken. Het is ook efficiënt in termen van parameters: men kan een enorm model trainen dat toch snel inference doet. Uitdagingen zijn er ook. Het trainen van MoE is complexer dan van een standaardmodel. Load balancing is essentieel; zonder goede balans worden sommige experts nooit gebruikt. Communicatie tussen experts kan een knelpunt zijn in gedistribueerde systemen. Ook is het moeilijk om te begrijpen wat elke expert precies doet, wat de interpreteerbaarheid vermindert. MoE wordt gebruikt in grote taalmodellen zoals GPT-4 (waarvan wordt vermoed dat het MoE gebruikt), Switch Transformer, GLaM en Mixtral. Het stelt modellen in staat om veel kennis op te slaan zonder dat elke invoer door alle parameters hoeft te gaan. MoE is een van de belangrijkste technieken voor het schalen van AI-modellen.