Apache Iceberg™ テーブル¶

はじめるにあたり¶

Icebergテーブルを使い始めるには、 チュートリアル: Apache Iceberg™ テーブルを作成する をご参照ください。

仕組み¶

このセクションでは、 Snowflakeで Icebergテーブルを操作するための情報を提供します。Icebergテーブルフォーマット仕様の詳細については、公式の Apache Icebergドキュメント と Icebergテーブル仕様 をご参照ください。

• データストレージ

• カタログ

• メタデータとスナップショット

• クロスクラウド/クロスリージョンのサポート

• 請求

カタログオプション¶

Snowflakeは以下のIcebergカタログオプションをサポートしています。

• Snowflakeを Icebergカタログ として使用

• 外部Icebergカタログを使用

次のテーブルは、これらのオプションの相違点をまとめたものです。

カタログとしてSnowflakeを使用¶

IcebergカタログとしてSnowflakeを使用するIcebergテーブルは、読み取りと書き込みアクセスでSnowflakeプラットフォームを完全にサポートします。テーブルデータとメタデータは外部クラウドストレージに保存され、Snowflakeは 外部ボリューム を使用してアクセスします。Snowflakeがテーブルのコンパクションなど、ライフサイクルのメンテナンスをすべて行います。

外部カタログの使用¶

カタログ統合を使用するIcebergテーブルは、読み取り専用アクセスで限定的なSnowflakeプラットフォームサポートを提供します。このテーブル型では、Snowflakeは カタログ統合 を使用してIcebergメタデータとスキーマに関する情報を取得します。

このオプションを使用して、以下のソースのIcebergテーブルを作成できます。

• AWS Glueデータカタログ

• オブジェクトストレージのIcebergメタデータファイル

• オブジェクトストレージのデルタテーブルファイル

• Open Catalog

• リモートIceberg REST カタログ

Snowflakeはテーブルのライフサイクル管理を行いません。

テーブルデータとメタデータは外部クラウドストレージに保存され、Snowflakeは 外部ボリューム を使用してアクセスします。

次の図は、Icebergテーブルが外部Icebergカタログとのカタログ統合をどのように使用するかを示しています。

考慮事項と制約¶

次の考慮事項と制限はIcebergテーブルに適用され、変更される場合があります。

クラウドとリージョン

• Icebergテーブルは、すべてのSnowflakeアカウント、すべてのクラウドプラットフォーム、中国リージョンを除くすべてのリージョンで利用可能です。

• 外部カタログを使用する場合、クロスクラウド/クロスリージョンテーブルがサポートされます。詳細については、 クロスクラウド/クロスリージョンのサポート をご参照ください。

Iceberg

• Apache Iceberg仕様のバージョン1と2は、次の 機能: を除いてサポートされています。

  • 行レベルの削除（位置の削除または均等削除のいずれか）。しかし、Snowflakeをカタログとして使用しているテーブルは、Snowflake DELETE ステートメントをサポートしています。

  • history.expire.min-snapshots-to-keep テーブルプロパティ を使用して、保持するデフォルトの最小スナップショット数を指定します。詳細については、 メタデータとスナップショット をご参照ください。

• bucket 変換関数を使用したIcebergパーティショニングは、条件句を使用して結果をフィルターするクエリのパフォーマンスに影響を与えます。

• Snowflakeで管理されていないIcebergテーブルについては、以下の点に注意してください：

  • スナップショットの有効期限が切れる前に定期的にテーブルをリフレッシュする限り、テーブル作成後に生成されたスナップショットへのTime Travelがサポートされます。

  • マテリアライズされていないIDパーティション列を持つテーブルの変換はサポートされていません。マテリアライズされていないIDパーティション列は、テーブルがParquetファイルに存在しないソース列を使用してID変換を定義する場合に作成されます。

ファイル形式

• IcebergテーブルはApache Parquetファイルをサポートしています。

• 符号なし整数論理型を使用するParquetファイルはサポートされていません。

外部ボリューム

• ストレージ統合を使用して外部ボリュームのクラウドストレージの場所にアクセスすることはできません。

• 作成する外部ボリュームごとに個別の信頼関係を構成する必要があります。

メタデータファイル

• メタデータファイルはIcebergテーブルの最新のスナップショットを識別しません。

• ALTER ICEBERG TABLE コマンドを使用してデータファイルやスナップショットの場所を変更することはできません。これらの設定を変更するには、テーブルを（CREATE OR REPLACE ICEBERG TABLE 構文を使用して）再作成する必要があります。

• 外部カタログを使用するテーブルの場合

  • マニフェストファイルに重複がないようにします。 同じ スナップショットに重複ファイルが存在する場合、Snowflakeは重複ファイルのパスを含むエラーを返します。

  • Parquetメタデータに無効な UTF-8文字が含まれている場合は、テーブルを作成できません。Parquetメタデータが UTF-8に準拠していることを確認してください。

• Snowflakeは、Snowflakeの外部で生成されたParquetメタデータの破損や不整合を検出し、エラーメッセージを通じて問題を表面化します。

  テーブルのメタデータに一貫性がなくても、外部で管理された（または変換された）テーブルを作成、リフレッシュ、クエリすることができます。Icebergデータを書き込む場合は、テーブルのメタデータの統計情報（RowCount や NullCount など）がデータ内容と一致していることを確認してください。

• Snowflakeをカタログとして使用するテーブルの場合、Snowflakeは DDL ステートメントを個別に処理し、他のカタログとは異なる方法でメタデータを作成します。詳細については、 DDL ステートメント をご参照ください。

クラスタリング

クラスタリング のサポートはIcebergテーブルの型によって異なります。

テーブルタイプ	メモ
SnowflakeをIcebergカタログとして使用するテーブル	CREATE ICEBERG TABLE または ALTER ICEBERG TABLE コマンドのいずれかを使用して、クラスタリングキーを設定します。クラスタリングキーを設定または管理するには、 CREATE ICEBERG TABLE （IcebergカタログとしてのSnowflake） と ALTER ICEBERG TABLE をご参照ください。
外部カタログを使用するテーブル	クラスタリングはサポートされていません。
変換されたテーブル	Snowflakeは、テーブルを変換した後にファイルが作成された場合、または DML ステートメントを使用してファイルが変更された場合にのみ、ファイルをクラスタリングします。

デルタ

• Snowflake ストリームは、パーティション列を持つ Delta テーブル・ファイルから作成された Iceberg テーブルではサポートされません。ただし、パーティション列の ない Delta・ファイルから作成されたテーブルの挿入専用ストリームはサポートされています。

• Delta・テーブル・ファイルから作成されたIceberg・テーブルでは、動的テーブルはサポートされていません。

• Snowflakeは、 AWS Glue Data CatalogのDeltaテーブル定義からIcebergテーブルを作成することをサポートしていません。

• 以下の機能やデータタイプを使用したParquetファイル（Delta テーブルのデータファイル）はサポートされていません。

  • フィールド IDs

  • INTERVAL データ型。

  • 38以上の精度を持つ DECIMAL データ型。

  • LIST または MAP で、1レベルまたは2レベルの表現を持つタイプ。

  • 符号なし整数型 （INT(signed = false)）。

  • FLOAT16 データ型。

  Deltaデータ型とIcebergテーブルの詳細については、 デルタデータ型 をご参照ください。

• CREATE と ALTER ... REFRESH の間のリフレッシュ操作は、1回の操作につき最大1,000個のDelta コミット・ファイルを処理することができます。

  注釈

  SnowflakeはIcebergテーブルを作成する際にDeltaチェックポイントファイルを使用します。1,000コミットファイルの制限は、最新のチェックポイント以降のコミットにのみ適用されます。

• SYSTEM$GET_ICEBERG_TABLE_INFORMATION 関数を使用したIcebergメタデータの生成はサポートされていません。

• 以下のDalta Lakeフィーチャーは現在サポートされていません。行追跡、削除ベクターファイル、変更データファイル、変更メタデータ、 DataChange 、 CDC 、プロトコル進化。

自動リフレッシュ

• 自動リフレッシュが有効な場合、テーブルメタデータを手動でリフレッシュすることはできません。手動リフレッシュを行うには、まず 自動リフレッシュをオフにします。

• Snowflakeバージョン8.22より前に作成されたカタログ統合では、そのカタログ統合に依存するテーブルの自動リフレッシュを有効にする前に、 REFRESH_INTERVAL_SECONDS パラメーターを手動で設定する必要があります。手順については、 ALTER CATALOG INTEGRATION ... SET AUTO_REFRESH をご参照ください。

• 新しいテーブルスナップショットが現在のテーブルスナップショットの直接の子であることを確認してください。そうでなければ、自動リフレッシュは STOPPED 状態になります。これが発生した場合に自動リフレッシュを回復するには、 エラーの回復 を参照してください。

  • テーブルが空の場合、未定義の動作を避けるため、自動リフレッシュを有効にする 前に、 手動リフレッシュを実行 してください。

• オブジェクトストレージにカタログ統合 を使用する場合、自動リフレッシュはサポートされません。

• シーケンス番号列を持たないIcebergバージョン1マニフェストは現在サポートされていません。

サードパーティクライアントによるIcebergのデータ、メタデータへのアクセス

• サードパーティクライアントは、Snowflakeをカタログとして使用しているIcebergテーブルへのデータの追加、削除、アップサートはできません。

サポート対象外機能

以下のSnowflake機能は、現在すべてのIcebergテーブルでサポートされていません。

• 以下のドライバー

  • NET ドライバー

  • Snowflake用 PHP PDO ドライバー

  • Node.jsドライバー

• Fail-safe

• ハイブリッドテーブル

• クロスクラウドの自動フルフィルメント を可能にするリスト。

• Query Acceleration Service

• Icebergテーブル、外部ボリューム、またはカタログ統合の 複製。

• 検索最適化サービス

• Snowflakeの暗号化

• Snowflake Native App Framework

• Snowflakeスキーマの進化

• Snowpipe Streaming。

  • Snowpipe Streamingを使用した Kafka Connector用Snowflake Connector

  • Snowflake Ingest SDK

  • Snowpipe Streaming API

• ASSOCIATE_SEMANTIC_CATEGORY_TAGS ストアドプロシージャを使った タグ付け

• 仮テーブルおよび一時テーブル

以下の機能は、 外部カタログを使用する Icebergテーブルではサポートされません。

• クローニング

• Clustering

• 標準および追加のみの ストリーム。挿入のみのストリームはサポートされています。