Apache Iceberg™ テーブルのストレージ¶

外部ボリューム¶

外部ボリュームは名前付きのアカウントレベルのSnowflakeオブジェクトで、SnowflakeをIcebergテーブル用の外部クラウドストレージに接続するために使用します。外部ボリュームには、ストレージ場所のIDおよびアクセス管理（IAM）エンティティが格納されます。Snowflakeは IAM エンティティを使用して、テーブルデータ、Icebergメタデータ、およびテーブルスキーマ、パーティション、その他のメタデータを格納するマニフェストファイルにアクセスするために、ストレージにセキュアに接続します。

1つの外部ボリュームで1つまたは複数のIcebergテーブルをサポートできます。

各外部ボリュームは特定の アクティブなストレージの場所 に関連付けられており、1つの外部ボリュームで複数のIcebergテーブルをサポートできます。しかし、必要な外部ボリュームの数は、テーブルデータをどのように保存、整理、保護するかによって異なります。

Snowflake-Icebergテーブルの すべての データとメタデータを同じストレージ場所（たとえば、同じS3バケット）のサブディレクトリに格納したい場合は、単一の外部ボリュームを使用できます。Snowflakeが管理するテーブル用にこれらのディレクトリを設定するには、 データとメタデータのディレクトリ を参照してください。

あるいは、複数の外部ボリュームを作成し、さまざまなストレージ場所を異なる方法で保護することもできます。例えば、以下のような外部ボリュームを作成します。

• 外部で管理されるIcebergテーブル用の読み取り専用外部ボリューム。

• Snowflakeで管理されたテーブルの読み取り/書き込みアクセスが設定された外部ボリューム。

Snowflakeにストレージへのアクセスを付与する¶

アクティブなストレージの場所¶

各外部ボリュームは1つのアクティブなストレージの場所をサポートします。 CREATE EXTERNAL VOLUME ステートメントで複数のストレージロケーションを指定した場合、Snowflakeは1つのロケーションをアクティブロケーションとして割り当てます。アクティブな場所は、外部ボリュームの有効期間中、同じままです。

CREATEICEBERGTABLEステートメントで初めて外部ボリュームを使用するときに割り当てが発生します。Snowflakeは、以下のロジックを使用してアクティブな場所を選択します。

• STORAGE_LOCATIONS リストに1つ以上の ローカル ストレージの場所が含まれている場合、Snowflakeはリストで最初に表示されるローカルストレージの場所を使用します。ローカルストレージの場所とは、Snowflakeアカウントと同じクラウドプロバイダーで、同じリージョンにあるもののことです。

• STORAGE_LOCATIONS リストにローカルストレージの場所が含まれていない場合、Snowflakeはリストに最初に表示されている場所を選択します。

ストレージへのアクセスの確認¶

Snowflakeがストレージプロバイダーに正常に認証できることを確認するには、 SYSTEM$VERIFY_EXTERNAL_VOLUME 関数を呼び出します。

SELECT SYSTEM$VERIFY_EXTERNAL_VOLUME('my_external_volume');

Snowflakeが管理するテーブルの場合、Snowflakeは以下の状況で外部ボリューム上の アクティブなストレージ場所 へのアクセスを自動的に検証します。

• Snowflakeが管理するテーブルのCREATEICEBERGTABLEステートメントで初めて外部ボリュームを指定します。

• 初めてテーブルを変換してSnowflakeをIcebergカタログとして使用します。

外部ボリュームの ALLOW_WRITES プロパティを TRUE に設定する必要があります。

Snowflakeは、ストレージの場所を確認するために、以下のストレージ操作を試みます。

1. テストファイルの書き込み。

2. ファイルの読み込み。

3. ファイルのパスの内容の一覧表示。

4. ファイルの削除。

いずれかの操作に失敗すると、 CREATE ICEBERG TABLE （または ALTER ICEBERG TABLE ... CONVERT TO MANAGED）ステートメントが失敗し、エラーメッセージが表示されます。

ファイル管理¶

Icebergテーブルの種類別に、ストレージ内のIcebergテーブルファイルの管理方法を説明します。

CREATE OR REPLACE ICEBERG TABLE iceberg_table_1 (
  col_1 int,
  col_2 string
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_external_volume'
  BASE_LOCATION = 'iceberg_table_1';

CREATE OR REPLACE ICEBERG TABLE iceberg_table_2 (
  col_1 int,
  col_2 string
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_external_volume'
  BASE_LOCATION = 'iceberg_table_2';

STORAGE_BASE_URL
|-- iceberg_table_1.<randomId>
|   |-- data/
|   |-- metadata/
|-- iceberg_table_2.<randomId>
|   |-- data/
|   |-- metadata/

ストレージアクセスログの有効化¶

問題を診断し、外部ボリュームに関連付けられたストレージロケーションへのアクセスを監査するには、ストレージログを有効にします。ストレージログは、ファイルの紛失や破損の原因を特定するのに役立ちます。

ストレージプロバイダーでログを有効にします。Icebergテーブルのストレージを所有し管理しているため、SnowflakeはIcebergストレージロケーションのログや監査を有効にすることはできません。

ストレージプロバイダーのストレージアクセスログについては、以下の外部トピックをご参照ください。

• Amazon S3のログオプション

• Google Cloud Storageの使用ログと保存ログ

• Azure Storageアナリティクスログ

バージョン管理とオブジェクト保持によるファイルの保護¶

Icebergテーブルデータが複数のツールやサービスによって操作されるセントラルデータリポジトリ（またはデータレイク）にある場合、偶発的な削除や破損が発生する可能性があります。Icebergテーブルのデータを保護し、誤って削除または上書きされたデータを確実に復元するには、データプロバイダーが提供するストレージライフサイクル管理とバージョニングを使用します。

ライフサイクル管理では、ストレージオブジェクトの保持と追跡ルールを設定できます。ストレージプロバイダーのライフサイクル管理については、以下の外部トピックをご参照ください。

• Amazon S3のストレージライフサイクルの管理

• Google Cloud Storageのオブジェクトライフサイクル管理

• Azureのライフサイクル管理ポリシー

オブジェクトの復旧をサポートするために、外部クラウドストレージのバージョン管理を有効にすることもできます。

• Amazon S3でバージョン管理を有効にするには、 バケットでのバージョン管理の有効化 をご参照ください。

• Google Cloud Storageのバージョン管理を有効にするには、 オブジェクトのバージョン管理を使用する をご参照ください。

• Azureのバージョン管理を有効にするには、 blob のバージョン管理を有効にする をご参照ください。

テーブルファイルの暗号化¶

Snowflake は、一般的なサーバー側暗号化（SSE）スキームを使用して暗号化したストレージ内のIcebergテーブルファイルを読み込むことができます。暗号化キーの管理にはクラウドサービスプロバイダを使用し、顧客が管理するキーを使用する場合は、Snowflakeプリンシパルにキーへのアクセスを許可する必要があります。

Amazon S3 では、Snowflake は以下のSSEオプションをサポートしています。

Google Cloud Storageでは、Snowflakeが以下のSSEオプションをサポートしています。