Phoneme level alignering
Wat is phoneme-level alignering?
Je gebruikt phoneme-level alignering om precies te weten: waar start en eindigt elk afzonderlijk foneem in jouw audio? Een foneem (denk aan de 'p' in "paas") is dus gewoon de kortste klank die nog verschil maakt in betekenis. En waarom zou je dat willen weten? Voor TTS-systemen, maar ook ASR, taalkundig onderzoek, of als je wilt laten zien hoe iemand een woord uitspreekt. Je hebt een akoestisch model nodig dat klanken kan onderscheiden en een algoritme dat ze netjes langs een tijdlijn legt. Zulke algoritmes zijn bijvoorbeeld Dynamic Time Warping of Hidden Markov Models, maar bij moderne systemen draait het meestal om neurale modellen met CTC of attention (dat is een manier van focussen binnen zo'n netwerk). De precieze timing van spraakgeluiden maakt uit: het stuurt hoe natuurlijk een TTS klinkt, en het laat precies zien hoe mensen woorden uitspreken. Dus of je nu werkt aan een stem voor software of onderzoek doet naar accent, je gaat niet om alignering heen.
Toepassingen en uitdagingen
Deze alignering wordt onder andere ingezet om in TTS de lengte van fonemen mee te geven aan een spraaksynthese-model. In ASR (denk aan spraakherkenning voor telefoons of medische systemen) helpt het om resultaten te verbeteren, gewoon omdat de timing beter klopt. Ook in het onderwijs voor uitspraaktraining is zo'n precieze analyse handig. En: sommige onderzoekers gebruiken phoneme-level timestamps juist om te beoordelen of iemand een spraakstoornis heeft, of om bij clips ondertitels exact op klankniveau te plaatsen (ja, dat doet men echt). Moeilijkheden kom je vooral tegen bij talen waarin klanken in elkaar overlopen, want dan wordt het lastig splitsen. Sprekers die snel of juist heel langzaam praten, zorgen ook voor rafelige grenzen. Je loopt daarnaast aan tegen systemen die moeite hebben met talen met talloze klankvarianten. Toch draait deze technologie al wat langer en zie je 'm in allerlei toepassingen terug: TTS klinkt er natuurlijker door, ASR preciezer, en voor nauwkeurige analyse is het soms gewoon je enige optie.