Data Pipeline - Definição do Glossário de CI/CD
Um data pipeline é uma sequência automatizada e versionada que ingere, transforma e carrega dados para que os sistemas downstream recebam registros atualizados e corretos.
Um data pipeline é uma série automatizada de etapas que move dados das origens para os destinos, aplicando transformações ao longo do caminho. Em CI/CD ele é versionado, testado e implantado como código de aplicação.
As equipes de dados modernas tratam os pipelines como software: definidos em código, testados no CI e implantados pelos mesmos review gates de qualquer serviço.
Em CI/CD
Uma definição de pipeline (SQL, Python ou um DAG) é commitada em um repo, validada em cada pull request e promovida entre ambientes. Runs de pipeline com falha aparecem como builds vermelhos, do mesmo modo que um teste unitário que falha.