State space models ssm en mamba
State Space Models
State Space Models (SSM's) zijn een klasse van modellen voor sequentiële data die voortkomen uit de systeemtheorie. Ze beschrijven hoe een verborgen toestand zich in de tijd ontwikkelt op basis van invoer, en hoe de uitvoer daaruit volgt. In de context van deep learning worden SSM's gebruikt als alternatief voor RNN's en Transformers. Een SSM wordt gekarakteriseerd door matrices A, B, C en D die de overgangen en projecties beschrijven. Het model kan worden gezien als een continue differentiaalvergelijking die wordt gediscretiseerd. SSM's kunnen worden berekend als een convolutie of als een recurrentie, wat flexibiliteit biedt. Ze hebben een lineaire complexiteit in de sequentielengte, in tegenstelling tot de kwadratische complexiteit van self-attention in Transformers. Dit maakt ze efficiënt voor lange sequenties. Vroege SSM's zoals S4 waren effectief maar minder expressief. Mamba, geïntroduceerd in 2023, voegt input-afhankelijke parameters toe, waardoor het model selectief informatie kan onthouden of vergeten. Mamba presteert vergelijkbaar met Transformers op taalmodellering, maar is sneller en zuiniger.
Mamba en de toekomst
Mamba is een selectief SSM dat input-afhankelijke overgangen gebruikt. Anders dan traditionele SSM's, waarbij A, B en C vast zijn, maakt Mamba ze afhankelijk van de invoer. Hierdoor kan het model relevante informatie behouden en irrelevante negeren, vergelijkbaar met attention. Mamba heeft een lineaire complexiteit in de sequentielengte en kan parallel worden getraind met een scan-algoritme. Het is gebleken dat Mamba concurrerende prestaties levert op taalmodellering, audio en genomische data. Het heeft geen attention nodig en is daardoor efficiënter voor zeer lange sequenties. Er zijn ook hybride modellen die Mamba combineren met attention. De opkomst van Mamba heeft geleid tot discussies over de toekomst van Transformers. Hoewel Transformers nog steeds dominant zijn, bieden SSM's een aantrekkelijk alternatief voor taken met lange sequenties of beperkte rekenkracht. Onderzoek richt zich op het verbeteren van de expressiviteit, het schalen naar grotere modellen, en het combineren van SSM's met andere architecturen. Mamba is een van de meest opwindende ontwikkelingen in deep learning van de afgelopen jaren.