Data Ingestion - Definição do Glossário de CI/CD

A data ingestion coleta dados das origens e os deposita em um armazenamento de destino como o primeiro estágio de um pipeline.

A data ingestion é o processo de coletar dados das origens (APIs, bancos de dados, arquivos, event streams) e depositá-los em um sistema de destino. É o primeiro estágio de qualquer data pipeline.

Os connectors de ingestion extraem dos sistemas operacionais e gravam em um lake ou warehouse, seja em batch ou continuamente.

Full vs incremental

Um full load copia toda a origem a cada run; um incremental load extrai apenas as linhas novas ou alteradas, geralmente com base em uma coluna updated-at ou em um change stream.

Guias relacionados