O Que É uma Verificação de Qualidade de Dados? Asserções Automatizadas Explicadas

Uma verificação de qualidade de dados é uma asserção automatizada de que um dataset atende a um padrão definido - preciso, completo, consistente, fresco - antes de ser confiável downstream.

Uma verificação de qualidade de dados é o equivalente, no mundo dos dados, a uma asserção de teste unitário. Ela expressa uma única expectativa sobre um dataset, como "esta coluna nunca é nula" ou "a contagem de linhas está dentro de dez por cento em relação a ontem", e passa ou falha. Juntas, muitas verificações formam um quality gate.

O que é uma verificação de qualidade de dados

Uma verificação de qualidade de dados é uma única regra automatizada aplicada aos dados. Dimensões comuns são precisão, completude (sem valores ausentes), consistência (valores concordam entre tabelas), unicidade, validade (valores dentro de conjuntos permitidos) e tempestividade (os dados são suficientemente frescos).

Verificações versus validação versus contratos

Uma verificação de qualidade de dados é a menor unidade - uma asserção. Validação de dados é rodar uma suíte de verificações em uma fronteira. Um contrato de dados é um acordo que fixa quais verificações devem valer entre times. Eles se constroem uns sobre os outros: da regra, à suíte, ao acordo.

Onde as verificações rodam

As verificações rodam dentro de pipelines após etapas-chave, em um schedule contra tabelas de produção e no CI contra dados de amostra. Uma verificação que falha pode bloquear um pipeline, disparar um alerta ou colocar o batch ruim em quarentena, dependendo da severidade.

Verificações no CI

Rode um conjunto representativo de verificações contra dados de amostra em cada mudança, para que uma regressão na lógica de dados seja capturada antes do merge.

steps:
  - run: dbt test --select my_model    # column-level checks
  - run: great_expectations checkpoint run sample_suite

Nota Latchkey

Jobs de verificação de qualidade leem dados de amostra e dependências repetidamente. No Latchkey, o cache os mantém rápidos, e o auto-retry garante que um timeout transitório de origem seja repetido em vez de reportado como uma falha de qualidade que reprova o run inteiro.

Principais conclusões

• Uma verificação de qualidade de dados é uma única asserção automatizada sobre precisão, completude, consistência ou frescor.
• Verificações se combinam em suítes de validação, que os contratos então fixam como acordos entre times.
• Rodar verificações representativas contra dados de amostra no CI captura regressões de lógica de dados antes do merge.

Guias relacionados