ELT - CI/CD用語集の定義

ELTはまず生のソースデータをwarehouseにロードし、その後にSQLとwarehouseのエンジンを使ってそこで変換します。

ELT(Extract, Load, Transform)は、まず生データをwarehouseにロードし、その後にwarehouseのcomputeを使ってその場で変換します。これはクラウドのデータスタックで主流のパターンです。

ELTは変換をデスティネーションのwarehouseに移し、安価でelasticなcomputeが高速な生ロードの後に形を整えられるようにします。

チームが移行した理由

クラウドのwarehouseはwarehouse内での変換を安価でスケーラブルにしたため、多くのチームがETLからELTへ移行し、transformをCIでテストされるバージョン管理されたSQLとして管理しています。