Apache Iceberg™ テーブル¶

はじめるにあたり¶

Icebergテーブルを使い始めるには、 チュートリアル: 初めてのApache Iceberg™テーブルを作成する をご参照ください。

仕組み¶

このセクションでは、 Snowflakeで Icebergテーブルを操作するための情報を提供します。Icebergテーブルフォーマット仕様の詳細については、公式の Apache Icebergドキュメント と Icebergテーブル仕様 をご参照ください。

• データストレージ

• カタログ

• メタデータとスナップショット

• クロスクラウド/クロスリージョンのサポート

• 請求

カタログオプション¶

Snowflakeは以下のIcebergカタログオプションをサポートしています。

• Snowflakeを Icebergカタログ として使用

• 外部Icebergカタログを使用

次のテーブルは、これらのオプションの相違点をまとめたものです。

カタログとしてSnowflakeを使用¶

IcebergカタログとしてSnowflakeを使用するIcebergテーブル（Snowflake管理Icebergテーブル）は、読み取りおよび書き込みアクセスでSnowflakeプラットフォームを完全にサポートします。テーブルデータとメタデータは外部クラウドストレージに保存され、Snowflakeは 外部ボリューム を使用してアクセスします。Snowflakeがテーブルのコンパクションなど、ライフサイクルのメンテナンスをすべて行います。

外部カタログの使用¶

カタログ統合を使用するIcebergテーブルは、読み取り専用アクセスで限定的なSnowflakeプラットフォームサポートを提供します。このテーブル型では、Snowflakeは カタログ統合 を使用してIcebergメタデータとスキーマに関する情報を取得します。

このオプションを使用して、以下のソースのIcebergテーブルを作成できます。

• AWS Glueデータカタログ

• オブジェクトストレージのIcebergメタデータファイル

• オブジェクトストレージのデルタテーブルファイル

• Open Catalog

• リモートIceberg REST カタログ

Snowflakeはテーブルのライフサイクル管理を行いません。

テーブルデータとメタデータは外部クラウドストレージに保存され、Snowflakeは 外部ボリューム を使用してアクセスします。

注釈

外部カタログを使用するIcebergテーブルでSnowflakeプラットフォームの完全サポートを希望する場合は、カタログとしてSnowflakeを使用するように変換できます。詳細については、 Snowflakeをカタログとして使用するように Apache Iceberg™ テーブルを変換する をご参照ください。

次の図は、Icebergテーブルが外部Icebergカタログとのカタログ統合をどのように使用するかを示しています。

考慮事項と制約¶

次の考慮事項と制限はIcebergテーブルに適用され、変更される場合があります。

クラウドとリージョン

• Icebergテーブルは、すべてのSnowflakeアカウント、すべてのクラウドプラットフォーム、すべてのリージョンで利用可能です。

• クロスクラウド/クロスリージョンのテーブルがサポートされています。詳細については、 クロスクラウド/クロスリージョンのサポート をご参照ください。

Iceberg

• Apache Iceberg仕様のバージョン1と2は、次の 機能: を除いてサポートされています。

  • 行レベルの削除（位置の削除または均等削除のいずれか）。しかし、Snowflakeをカタログとして使用しているテーブルは、Snowflake DELETE ステートメントをサポートしています。

  • history.expire.min-snapshots-to-keep テーブルプロパティ を使用して、保持するデフォルトの最小スナップショット数を指定します。詳細については、 メタデータとスナップショット をご参照ください。

• bucket 変換関数を使用したIcebergパーティショニングは、条件句を使用して結果をフィルターするクエリのパフォーマンスに影響を与えます。

• Snowflakeで管理されていないIcebergテーブルについては、以下の点に注意してください：

  • スナップショットの有効期限が切れる前に定期的にテーブルをリフレッシュする限り、テーブル作成後に生成されたスナップショットへのTime Travelがサポートされます。

  • マテリアライズされていないIDパーティション列を持つテーブルの変換はサポートされていません。マテリアライズされていないIDパーティション列は、テーブルがParquetファイルに存在しないソース列を使用してID変換を定義する場合に作成されます。

  • 行レベル削除 の場合:

    • Snowflake は 位置の削除 のみをサポートしています。

    • 行レベル削除を使用する際に最高の読み取りパフォーマンスを得るには、定期的にコンパクションとテーブル・メンテナンスを行い、古い削除ファイルを削除してください。詳細については、 外部カタログを使用するテーブルの維持 をご参照ください。

    • 行レベル削除を使用する場合、以下の機能は現在サポートされていません。

      • 自動リフレッシュ

      • 動的テーブル、動的 Iceberg テーブル、または既存の位置が削除された Iceberg テーブルに対するマテリアライズド・ビュー、検索最適化、またはストリームの作成。

      • 動的テーブル

      • 動的テーブル、動的 Iceberg テーブル、またはアクティブまたは削除されたマテリアライズド・ビュー、検索最適化、またはストリームを持つ Iceberg テーブルの位置削除による Iceberg スナップショットのリフレッシュ。

      • 検索最適化

      • ストリーム

ファイル形式

• IcebergテーブルはApache Parquetファイルをサポートしています。

• 符号なし整数論理型を使用するParquetファイルはサポートされていません。

• LIST 論理的タイプを使用する Parquet ファイルでは、以下の点に注意してください。

  • element キーワードによる3レベルの注釈構造がサポートされています。詳細については、 Parquet理論型の定義 をご参照ください。Parquet ファイルが array キーワードで廃止された形式を使用している場合は、サポートされている形式に基づいてデータを再生成する必要があります。

外部ボリューム

• ストレージ統合を使用して外部ボリュームのクラウドストレージの場所にアクセスすることはできません。

• 作成する外部ボリュームごとに個別の信頼関係を構成する必要があります。

• アウトバウンドプライベート接続 を使用して、Snowflake管理Icebergテーブルおよびオブジェクトストレージにカタログ統合を使用するIcebergテーブルにアクセスできますが、他のカタログ統合を使用するIcebergテーブルにアクセスすることはできません。

• Snowflake管理テーブルを作成した後、外部ストレージ内のファイルへのパスは、テーブル名を変更しても変更され ません。

• Snowflakeは、ドットを含むS3バケット名を持つ外部ボリュームをサポートできません（例えば、 my.s3.bucket）。S3は、名前にドットが含まれる仮想ホスト形式のバケットの SSL をサポートしておらず、Snowflakeは仮想ホスト形式のパスと HTTPS を使用してS3のデータにアクセスします。

メタデータファイル

• メタデータファイルはIcebergテーブルの最新のスナップショットを識別しません。

• ALTER ICEBERG TABLE コマンドを使用してデータファイルやスナップショットの場所を変更することはできません。これらの設定を変更するには、テーブルを（CREATE OR REPLACE ICEBERG TABLE 構文を使用して）再作成する必要があります。

• 外部カタログを使用するテーブルの場合

  • マニフェストファイルに重複がないようにします。 同じ スナップショットに重複ファイルが存在する場合、Snowflakeは重複ファイルのパスを含むエラーを返します。

  • Parquetメタデータに無効な UTF-8文字が含まれている場合は、テーブルを作成できません。Parquetメタデータが UTF-8に準拠していることを確認してください。

• Snowflakeは、Snowflakeの外部で生成されたParquetメタデータの破損や不整合を検出し、エラーメッセージを通じて問題を表面化します。

  テーブルのメタデータに一貫性がなくても、外部で管理された（または変換された）テーブルを作成、リフレッシュ、クエリすることができます。Icebergデータを書き込む場合は、テーブルのメタデータの統計情報（RowCount や NullCount など）がデータ内容と一致していることを確認してください。

• Snowflakeをカタログとして使用するテーブルの場合、Snowflakeは DDL ステートメントを個別に処理し、他のカタログとは異なる方法でメタデータを作成します。詳細については、 DDL ステートメント をご参照ください。

クラスタリング

クラスタリング のサポートはIcebergテーブルの型によって異なります。

テーブルタイプ	注意
SnowflakeをIcebergカタログとして使用するテーブル	CREATE ICEBERG TABLE または ALTER ICEBERG TABLE コマンドのいずれかを使用して、クラスタリングキーを設定します。クラスタリングキーを設定または管理するには、 CREATE ICEBERG TABLE （IcebergカタログとしてのSnowflake） と ALTER ICEBERG TABLE をご参照ください。
外部カタログを使用するテーブル	クラスタリングはサポートされていません。
変換されたテーブル	Snowflakeは、テーブルを変換した後にファイルが作成された場合、または DML ステートメントを使用してファイルが変更された場合にのみ、ファイルをクラスタリングします。

デルタ

• SnowflakeはDeltaリーダーバージョン2をサポートしており、Delta Lakeバージョン2.2.0を使用しているエンジンによって書かれたすべてのテーブルを読み込むことができます。

• Snowflake ストリームは、パーティション列を持つ Delta テーブル・ファイルから作成された Iceberg テーブルではサポートされません。ただし、パーティション列の ない Delta・ファイルから作成されたテーブルの挿入専用ストリームはサポートされています。

• Delta・テーブル・ファイルから作成されたIceberg・テーブルでは、動的テーブルはサポートされていません。

• Snowflakeは、 AWS Glue Data CatalogのDeltaテーブル定義からIcebergテーブルを作成することをサポートしていません。

• 以下の機能やデータタイプを使用したParquetファイル（Delta テーブルのデータファイル）はサポートされていません。

  • フィールド IDs

  • INTERVAL データ型。

  • 38以上の精度を持つ DECIMAL データ型。

  • LIST または MAP で、1レベルまたは2レベルの表現を持つタイプ。

  • 符号なし整数型 （INT(signed = false)）。

  • FLOAT16 データ型。

• TIMESTAMP にParquet物理タイプ int96 を使用できますが、Snowflakeでは TIMESTAMP_NTZ に int96 をサポートしていません。

• Deltaデータ型とIcebergテーブルの詳細については、 デルタデータ型 をご参照ください。

• Snowflakeは、 CREATE/ALTER ... REFRESH を使用してテーブルをリフレッシュするたびに、最大1000個のデルタコミットファイルを処理します。テーブルのコミットファイルが1000個を超える場合は、さらに手動でリフレッシュできます。毎回、リフレッシュ処理は前回の停止位置から続行されます。

  注釈

  SnowflakeはIcebergテーブルを作成する際にDeltaチェックポイントファイルを使用します。1,000コミットファイルの制限は、最新のチェックポイント以降のコミットにのみ適用されます。

  既存のテーブルを更新する場合、Snowflakeはデルタコミットファイルを処理しますが、チェックポイントファイルは処理しません。テーブルメンテナンスでソースデルタテーブルの古いログとデータファイルが削除された場合、SnowflakeのデルタベースのIcebergテーブルをデルタログとデータファイルの保持期間よりも頻繁に更新する必要があります。

• 以下のDalta Lakeフィーチャーは現在サポートされていません。行追跡、削除ベクターファイル、変更データファイル、変更メタデータ、 DataChange 、 CDC 、プロトコル進化。

自動リフレッシュ

• 自動リフレッシュが有効な場合、テーブルメタデータを手動でリフレッシュすることはできません。手動リフレッシュを行うには、まず 自動リフレッシュをオフにします。

• Snowflakeバージョン8.22（またはDeltaベースのテーブルの場合は9.2）より前に作成されたカタログ統合では、そのカタログ統合に依存するテーブルの自動リフレッシュを有効にする前に、 REFRESH_INTERVAL_SECONDS パラメーターを手動でセットする必要があります。手順については、 ALTER CATALOG INTEGRATION ... SET AUTO_REFRESH をご参照ください。

• テーブルが空の場合、未定義の動作を避けるため、自動リフレッシュを有効にする 前 に、Snowflakeで 手動リフレッシュを実行 してください。

• オブジェクトストレージ用カタログ統合 の場合、自動リフレッシュは TABLE_FORMAT = DELTA との統合でのみサポートされます。

• 更新頻度が高いテーブルでは、短いポーリング間隔 (REFRESH_INTERVAL_SECONDS) を使用するとパフォーマンスが低下することがあります。

サードパーティクライアントによるIcebergのデータ、メタデータへのアクセス

• サードパーティクライアントは、Snowflakeをカタログとして使用しているIcebergテーブルへのデータの追加、削除、アップサートはできません。

サポート対象外機能

以下のSnowflake機能は、現在すべてのIcebergテーブルでサポートされていません。

• 照合

• Fail-safe

• ハイブリッドテーブル

• クロスクラウドの自動フルフィルメント を可能にするリスト。

• Query Acceleration Service

• Icebergテーブル、外部ボリューム、またはカタログ統合の 複製。

• Snowflakeの暗号化

• Snowflake Native App Framework

• Snowflakeスキーマの進化

• ASSOCIATE_SEMANTIC_CATEGORY_TAGS ストアドプロシージャを使った タグ付け

• 仮テーブルおよび一時テーブル

以下の機能は、 外部カタログを使用する Icebergテーブルではサポートされません。

• クローニング

• Clustering

• 標準および追加のみの ストリーム。挿入のみのストリームはサポートされています。