Parquet - CI/CD用語集の定義
Parquet は analytics 向けのオープンなカラムナファイル形式です。データを列ごとに、列単位の圧縮と埋め込み schema で保存するため、選択した列を読み取ったり、無関係な row group をスキップしたりするのが効率的です。
関連ガイド
Columnar Storage - CI/CD Glossary DefinitionColumnar storage lays data out by column rather than row, so analytical queries read only the columns they ne…
Avro - CI/CD Glossary DefinitionAvro is a compact, row-oriented binary serialization format with a self-describing schema - common for stream…
Partition Pruning - CI/CD Glossary DefinitionPartition pruning lets a query engine skip whole data partitions that can’t match the filter, reading far les…