Wat is federated learning?
Leren zonder data te delen
Federated learning is een machine learning-techniek waarbij een model wordt getraind op data die verspreid is over vele apparaten of servers, zonder dat de data zelf wordt gedeeld. In plaats daarvan worden de modelupdates naar een centrale server gestuurd, die de updates combineert tot een globaal model. Dit proces wordt herhaald tot convergentie. Federated learning is ontwikkeld om privacy te waarborgen: gevoelige data, zoals medische gegevens of persoonlijke berichten, blijft op het apparaat van de gebruiker. Het vermindert ook de communicatiekosten, omdat alleen modelupdates worden verzonden, niet de ruwe data. Een uitdaging is de heterogeniteit van de data: verschillende apparaten hebben verschillende datadistributies (non-IID data), wat de convergentie kan bemoeilijken. Ook kunnen apparaten uitvallen of offline zijn. Federated learning wordt gebruikt in toepassingen zoals toetsenbordvoorspelling op smartphones (Google Gboard), gezondheidsmonitoring en fraudedetectie. Het is een van de belangrijkste technieken voor privacy-preserving machine learning.
Architecturen en uitdagingen
Federated learning kent verschillende architecturen. In cross-device federated learning zijn er miljoenen apparaten met beperkte rekenkracht, zoals smartphones. In cross-silo federated learning zijn er enkele tientallen organisaties, zoals ziekenhuizen, die elk een eigen dataset hebben. De aggregatie van modelupdates gebeurt vaak met Federated Averaging (FedAvg), waarbij de gewichten van de lokale modellen worden gemiddeld op basis van de hoeveelheid data. Andere aggregatiemethoden zijn FedProx, dat rekening houdt met heterogeniteit, en FedMA, dat neurale netwerken laag voor laag samenvoegt. Uitdagingen zijn communicatie-efficiëntie, privacy-aanvallen (zoals het afleiden van trainingsdata uit modelupdates), en het omgaan met niet-IID data. Differentiële privacy en secure aggregation worden gebruikt om privacy te versterken. Federated learning wordt gezien als een belangrijk onderdeel van de toekomst van AI, vooral in situaties waar data niet centraal mag worden verzameld. Het stelt organisaties in staat om samen te werken zonder gevoelige data te delen.