Data Validation - Definição do Glossário de CI/CD
A data validation checa automaticamente os dados de entrada contra regras e para o pipeline quando as regras são violadas.
A data validation é a checagem automatizada de dados contra regras (tipos, faixas, nulabilidade, integridade referencial) antes de serem confiados ou promovidos. Checagens que falham param o pipeline.
A validation é o equivalente em dados de um unit test: roda no CI e em pipelines de produção para capturar dados ruins cedo.
Onde ela roda
A validation roda na ingestion (rejeita linhas ruins), após a transformação (assegura contagens de linhas e distribuições) e no CI contra dados de amostra antes do deploy.
Guias relacionados
Data Quality - CI/CD Glossary DefinitionData Quality: Data quality measures how accurate, complete, consistent, and timely data is relative to expect…
Data Contract - CI/CD Glossary DefinitionData Contract: A data contract is an explicit, versioned agreement between a data producer and consumer speci…
Schema Evolution - CI/CD Glossary DefinitionSchema Evolution: Schema evolution is the controlled change of a datasets structure over time (adding, renami…