Apache Iceberg™ テーブル: Amazon S3にあるサブディレクトリへのデータファイルの書き込み¶

Snowflakeは、Snowflake管理のテーブルのParquetデータファイルを以下のようにAmazon S3に書き込みます。

変更前:

Snowflakeは、すべてのテーブルデータファイルを外部クラウドストレージにある data/ という名前の単一ディレクトリに書き込みます。

各データファイルのパス例:

s3://externalVolumeStorageLocation/tableBaseLocation/data/snow_externalFileId.parquet

変更後:

Snowflakeは、新規または既存のテーブルのデータファイルを、 data/ ディレクトリの下にあるランダムな名前のサブディレクトリに書き込むことをサポートしています。これにより、S3のスロットルを回避し、クエリのパフォーマンスを最適化することができます。

各データファイルのパス例:

s3://externalVolumeStorageLocation/tableBaseLocation/data/randomPrefix/snow_externalFileId.parquet

参照: 1706