Music source separation stems scheiden
Zo werkt source separation in muziek
Als je een bestaande track wil opknippen in verschillende geïsoleerde muzieklagen, kom je bij music source separation uit. Vaak wil je dan dingen als zang, drums, bas en andersoortige instrumenten apart hebben. Misschien wil je zelf een remix maken, karaoke voorbereiden, sounddesign doen of gewoon analyseren hoe iets in elkaar zit. Vroeger werkte men met trucs zoals spectrale filtering of independent component analysis (ICA). Tegenwoordig doet deep learning het grootste deel van het werk. Daarbij kom je modellen als Demucs, Spleeter en Open-Unmix vaak tegen (bijvoorbeeld Demucs). Die werken op verschillende manieren: direct op het audiosignaal of na een omzetting naar een spectrogram (dat is een soort visuele weergave van de frequenties in het geluid). Het blijft lastig: instrumenten kunnen qua frequentiebereik en timing flink overlappen. Vooral onderscheid maken tussen zang en instrumenten met overeenkomende tonen vraagt vaak veel van zo'n model. En toch, in de afgelopen paar jaar zie je echt verrassend goede resultaten.
Wat je ermee kunt en hoe je resultaten beoordeelt
Music source separation heeft meerdere toepassingen. Je komt het onder andere tegen bij het isoleren van drums voor producers, bij het maken van karaokeversies, of als je voor educatie per instrument wilt horen wat er gebeurt in een stuk. Voor het checken van de kwaliteit van zo'n scheiding gebruiken mensen metrieken als Signal-to-Distortion Ratio (SDR), Signal-to-Interference Ratio (SIR) en Signal-to-Artifact Ratio (SAR). SDR zegt iets over hoe goed het resultaat nog op het origineel lijkt. SIR vertelt of er niet te veel andere instrumenten doorsijpelen. SAR gaat over onbedoelde bijgeluiden. Er zijn flink wat onderzoekers mee bezig, onder meer rond snelheid van verwerken, meer soorten instrumenten uit elkaar halen en betere kwaliteit. Source separation geldt als een van de meest duidelijke toepassingen waar audio-AI nu echt verschil maakt.