Data Quality - Definição do Glossário de CI/CD

A data quality é o grau em que os dados são precisos, completos, consistentes e oportunos o suficiente para serem confiáveis.

A data quality mede quão precisos, completos, consistentes e oportunos os dados são em relação às expectativas. A baixa data quality quebra silenciosamente relatórios e modelos downstream.

A data quality é imposta com checagens automatizadas que rodam no pipeline e fazem o run falhar quando as expectativas são violadas.

Dimensões

As dimensões comuns são precisão, completude, consistência, atualidade, unicidade e validade. Ferramentas como Great Expectations ou dbt tests asseguram essas dimensões no CI.

Guias relacionados