2024年11月15日 --- Apache Iceberg™ テーブル: 効率的な一括ロード、継続的なインジェスチョン、データストリーミング --- 一般公開¶
このリリースにより、Snowflakeは、Snowflakeが管理するIcebergテーブルへの効率的な一括ロード、継続的なインジェスチョン、データストリーミングをサポートする以下の機能の一般公開を発表します。
COPY INTO <table>、Snowpipe、Snowpipe StreamingなどのSnowflakeインジェスチョン機能と同じコア機能を使用して、標準のSnowflakeテーブルとIcebergテーブルの両方にデータをロードできるようになりました。
詳細については、 Apache Iceberg™ テーブルへのデータのロード をご参照ください。
COPY INTO <テーブル>とSnowpipeの継続的なファイルインジェスチョン¶
以下の LOAD_MODE オプションを COPY INTO <テーブル> コマンドおよび Snowpipe自動ロード と併用することで、Snowflake管理下のIcebergテーブルにファイルからデータをロードすることができます。
FULL_INGEST: サポートされているファイル形式からデータをロードして、有効なIceberg互換Parquetに変換し、オプションでデータをロードする前にデータの変換やフィルターを行うことができます。ADD_FILES_COPY: Iceberg互換Parquetデータファイルからデータのロードを行います。サーバーサイドでファイルをテーブルのベーステーブルにコピーし、ファイルをテーブルに高速登録します。
Snowpipe Streaming¶
Snowflake Ingest SDK バージョン3.0.0以降では、Snowpipe StreamingはSnowflake管理下のIcebergテーブルに行をストリームすることができます。この機能を有効にするには、 profile.json ファイルでプロパティ ENABLE_ICEBERG_STREAMING=true をセットします。
詳細については、 Apache Iceberg™ テーブルへのデータのロード をご参照ください。