Data Lineage - Definição do Glossário de CI/CD
A data lineage rastreia como cada dataset e coluna é derivado das origens upstream através de cada transformação.
A data lineage é o mapa rastreável de como os dados fluem das origens, através das transformações, até as saídas finais. Ela responde de onde um valor veio e o que quebra se uma origem mudar.
A lineage é essencial para análise de impacto e depuração: quando uma tabela está errada, a lineage mostra as etapas upstream que a produziram.
Análise de impacto
A lineage em nível de coluna permite ver, antes do merge, cada modelo e dashboard downstream afetado por uma mudança de schema, de modo semelhante a um grafo de dependências em um build.
Guias relacionados
Data Contract - CI/CD Glossary DefinitionData Contract: A data contract is an explicit, versioned agreement between a data producer and consumer speci…
Data Pipeline - CI/CD Glossary DefinitionData Pipeline: A data pipeline is an automated series of steps that moves data from sources to destinations,…
Schema Evolution - CI/CD Glossary DefinitionSchema Evolution: Schema evolution is the controlled change of a datasets structure over time (adding, renami…