Data Transformation - Definição do Glossário de CI/CD
A data transformation limpa, remodela e agrega dados brutos em tabelas modeladas prontas para análise ou serving.
A data transformation é a etapa que limpa, remodela, junta e agrega dados brutos em uma forma modelada adequada para análise ou serving. Nos stacks modernos ela é escrita como SQL ou código versionado.
A lógica de transformação é código: vive em um repo, é revisada em pull requests e é testada no CI antes de alterar tabelas de produção.
Testado no CI
Os modelos de transform são validados com unit tests e data tests em cada commit, então uma mudança de schema ou um join ruim faz o build falhar em vez de corromper uma tabela.
Guias relacionados
ELT - CI/CD Glossary DefinitionELT: ELT (Extract, Load, Transform) loads raw data into a warehouse first, then transforms it in place using…
Data Quality - CI/CD Glossary DefinitionData Quality: Data quality measures how accurate, complete, consistent, and timely data is relative to expect…
Data Validation - CI/CD Glossary DefinitionData Validation: Data validation is the automated checking of data against rules (types, ranges, nullability,…