Columnar Storage - CI/CD用語集の定義
columnar storage は、データを行ごとではなく物理的に列ごとに配置します。多数の行のうち数列だけに触れる分析クエリは読み取るデータがはるかに少なくなり、同じ型の列は混在した行よりずっとよく圧縮されます。
なぜ重要か
warehouse や Parquet のような形式が集計で高速な中心的な理由です。1 つの列をスキャンすることで、各行の残りを読み込まずに済みます。
関連ガイド
Parquet - CI/CD Glossary DefinitionParquet is an open columnar file format for analytics - compressed, schema-aware, and splittable - the defaul…
Partition Pruning - CI/CD Glossary DefinitionPartition pruning lets a query engine skip whole data partitions that can’t match the filter, reading far les…
Data Warehouse - CI/CD Glossary DefinitionA data warehouse is a database optimized for analytical queries over cleaned, structured data - columnar, ind…