Data pipelines en etl voor machine learning
ETL en ELT
ETL staat voor Extract, Transform, Load: het proces waarbij data uit verschillende bronnen wordt gehaald, getransformeerd naar een bruikbaar formaat en geladen in een opslagsysteem. Traditionele ETL gebruikt een aparte transformatiestap voordat data wordt geladen. Moderne architecturen gebruiken vaker ELT (Extract, Load, Transform), waarbij data eerst wordt geladen en daarna wordt getransformeerd. Voor machine learning zijn data pipelines essentieel: ze zorgen voor een continue stroom van schone, consistente data naar trainings- en inferentiesystemen. Data pipelines moeten omgaan met schema-veranderingen, datakwaliteitsproblemen en late aankomende data.
Pipelines voor training en inferentie
Er zijn twee soorten data pipelines in ML: trainingspipelines en inferentiepipelines. Trainingspipelines verwerken historische data voor modeltraining. Ze moeten reproducibel zijn: dezelfde input moet dezelfde output opleveren. Inferentiepipelines verwerken realtime of batch-data voor voorspellingen. Ze moeten robuust en snel zijn. Een uitdaging is het waarborgen van consistentie tussen beide: features die in training worden gebruikt, moeten op dezelfde manier worden berekend in productie. Feature stores helpen hierbij. Data pipelines worden gebouwd met tools zoals Apache Spark, Airflow en dbt. Ze zijn een kritisch onderdeel van elke ML-infrastructuur.