O Que É Data Lineage? Rastreando os Dados da Origem ao Uso, Explicado

Data lineage é o mapa de onde os dados vêm e como se movem e se transformam por toda a plataforma, da origem bruta ao relatório ou modelo final.

Quando um número em um dashboard parece errado, a primeira pergunta é "de onde isso veio?" O data lineage responde a isso. Ele rastreia o caminho dos dados por cada transformação, para que você veja exatamente quais origens e etapas produziram qualquer tabela ou métrica.

O que é data lineage

Data lineage é o fluxo documentado dos dados por um sistema: quais origens alimentam quais tabelas, quais transformações rodam entre elas e quais relatórios ou modelos consomem o resultado. Costuma ser mostrado como um grafo de datasets e das etapas que os conectam.

Por que importa

O lineage apoia confiança, depuração e conformidade. Quando os dados parecem errados, o lineage mostra as etapas upstream a verificar. Quando uma origem precisa ser descontinuada, o lineage mostra tudo que depende dela. Para regulamentações, o lineage comprova de onde os dados sensíveis vieram e para onde foram.

Como é capturado

O lineage pode ser capturado automaticamente ao analisar o código de transformação e as queries (dbt, OpenLineage) ou registrado por um orquestrador conforme ele executa cada etapa. O resultado é um lineage em nível de coluna ou tabela que se atualiza conforme a plataforma muda.

Lineage e CI

No CI, o lineage ajuda a delimitar o que testar: quando um modelo muda, faça o build e teste tudo que está downstream dele, e nada mais, para verificações rápidas e seguras em pull requests.

# Build only the changed model and its descendants
steps:
  - run: dbt build --select state:modified+ --target ci

Nota Latchkey

Jobs de CI delimitados por lineage tocam apenas a fatia afetada da plataforma, o que os mantém leves. No Latchkey, cachear o toolchain e os artifacts que detectam o que mudou faz esses runs direcionados iniciarem rapidamente, e o auto-retry cobre falhas transitórias do warehouse.

Principais conclusões

• Data lineage mapeia de onde os dados vêm e como se transformam da origem até o uso final.
• Ele apoia confiança, depuração, descontinuação e conformidade ao mostrar dependências upstream e downstream.
• No CI, o lineage limita os builds aos modelos alterados e seus descendentes, para verificações rápidas e seguras.

Guias relacionados