O Que É ELT? Extract, Load, Transform Explicado

ELT significa Extract, Load, Transform: carregue dados brutos primeiro no warehouse e depois os transforme no lugar usando o mecanismo do warehouse.

O ELT reordena os passos clássicos do ETL para se adequar aos warehouses de nuvem modernos. Em vez de transformar os dados antes de carregá-los, o ELT carrega dados brutos diretamente em um warehouse poderoso e executa as transformações ali, usando SQL e ferramentas como dbt.

O que é o ELT

O ELT extrai dados das fontes, os carrega brutos no warehouse e depois os transforma dentro do warehouse. O passo de transformação roda como SQL sobre computação de nuvem escalável, então o warehouse faz o trabalho pesado em vez de uma camada de processamento separada.

Por que a ordem mudou

Os warehouses de nuvem tornaram a computação barata e elástica, então passou a ser prático carregar tudo bruto e transformar sob demanda. Isso mantém os dados brutos disponíveis para reprocessamento caso os requisitos mudem, e permite que os analistas construam transformações em SQL sem um mecanismo separado.

O papel do dbt

O ELT popularizou ferramentas como o dbt, que gerenciam o passo de transformação como modelos SQL versionados e testados, construídos em ordem de dependência dentro do warehouse. O passo de extract e load é frequentemente tratado por uma ferramenta de conector como Fivetran ou Airbyte.

ELT em CI

Como as transformações são modelos SQL sob controle de versão, o CI pode construí-las e testá-las contra um schema temporário antes do merge.

steps:
  - run: dbt build --select state:modified+ --target ci
  - run: dbt test --target ci

Nota Latchkey

Os jobs de CI de ELT são intensos em SQL e limitados pela rede, em vez de limitados pela computação. No Latchkey, o auto-retry ajuda um build longo de dbt a sobreviver a uma falha momentânea de conexão com o warehouse, e fazer cache do toolchain mantém esses frequentes jobs de pull request iniciando rapidamente.

Principais conclusões

• O ELT carrega dados brutos primeiro no warehouse e depois os transforma no lugar com o mecanismo do warehouse.
• Computação de nuvem barata e elástica tornou prático carregar dados brutos e transformá-los sob demanda.
• As transformações vivem como modelos SQL versionados e são construídas e testadas em CI antes do merge.

Guias relacionados