高性能アーキテクチャを使用したSnowpipe Streamingの制限と考慮事項¶

このドキュメントでは、高性能アーキテクチャを持つSnowpipe Streamingの既知の制限と重要な考慮事項について概要を説明します。

一般的およびサービスレベルの制限¶

The service is available in all Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) regions except for government-specific regions and regions in China.

パイプごとのチャネル:デフォルトでは、1つのパイプは最大2,000個のアクティブなチャネルを持つことができます。ユースケースでさらに多くのチャネルが必要な場合は、Snowflakeサポートにお問い合わせください。
Pipes for Snowpipe Streaming: The maximum number of PIPE objects configured for Snowpipe Streaming is limited to 1,000 per account and 10 per table. If you require more pipes, contact Snowflake Support.

各チャネルには次のソフト制限があります。アプリケーションでチャネルごとに高いスループットが必要な場合は、Snowflakeサポートに連絡して、これらの制限を増やすことを検討してください。

高性能アーキテクチャを使用したSnowpipe Streamingの ON_ERROR オプションは、CONTINUE のみをサポートしています。
サービスは新しいスループットレベルをサポートするために弾性的にスケーリングしているため、データスループットが突然急増すると、エンドツーエンドのレイテンシが一時的に増加する可能性があります。
パーティション化されたIcebergテーブルはサポートされていません。
MATCH_BY_COLUMN_NAME はデフォルト、自動インクリメント、またはID列ではサポートされません。

The MATCH_BY_COLUMN_NAME option isn't supported when you load data into tables that contain columns that are defined with the DEFAULT, AUTOINCREMENT, or IDENTITY properties. When you use this option, the streaming ingestion process explicitly inserts NULL values for these columns, overriding the intended default value or the auto-generation mechanism.

Workaround: To use these column properties, you must omit MATCH_BY_COLUMN_NAME. Instead, you define the pipe by using a COPY INTO statement that explicitly lists only the columns for which the source data provides values. The columns with the auto-generation properties must be omitted from the target column list to ensure that the table engine applies the defined value generation logic.