高性能アーキテクチャを使用したSnowpipe Streamingの制限と考慮事項

このドキュメントでは、高性能アーキテクチャを持つSnowpipe Streamingの既知の制限と重要な考慮事項について概要を説明します。

一般的およびサービスレベルの制限

  • The service is available in all Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) regions except for government-specific regions and regions in China.

テーブルの制限

  • 最大スループット:テーブルは10 GBps（非圧縮）の集約スループットを達成できます。

パイプの制限

  • パイプごとのチャネル:デフォルトでは、1つのパイプは最大2,000個のアクティブなチャネルを持つことができます。ユースケースでさらに多くのチャネルが必要な場合は、Snowflakeサポートにお問い合わせください。

  • Snowpipe Streaming用のパイプ。Snowpipe Streaming用に構成された PIPE オブジェクトの最大数は、アカウントごとに1,000およびテーブルごとに10に制限されています。さらにパイプが必要な場合は、Snowflakeサポート にお問い合わせください。

チャネルの制限

各チャネルには次のソフト制限があります。アプリケーションでチャネルごとに高いスループットが必要な場合は、Snowflakeサポートに連絡して、これらの制限を増やすことを検討してください。

  • SDK スループット:12 MBps（非圧縮）

  • REST エンドポイントスループット:1 MBps（非圧縮）

  • REST ペイロードの制限:1リクエストにつき4 MB。

  • リクエスト率：1秒あたりのリクエスト（RPS）10件。

インジェスチョンとデータ固有の制限

  • 高性能アーキテクチャを使用したSnowpipe Streamingの ON_ERROR オプションは、CONTINUE のみをサポートしています。

  • サービスは新しいスループットレベルをサポートするために弾性的にスケーリングしているため、データスループットが突然急増すると、エンドツーエンドのレイテンシが一時的に増加する可能性があります。

  • パーティション化されたIcebergテーブルはサポートされていません。

  • MATCH_BY_COLUMN_NAME はデフォルト、自動インクリメント、またはID列ではサポートされません。

    DEFAULT、AUTOINCREMENT または IDENTITY プロパティで定義された列を含むテーブルにデータをロードする場合、MATCH_BY_COLUMN_NAME オプションはサポートされません。このオプションを使用すると、ストリーミング取り込みプロセスは、これらの列に対して明示的に NULL の値を挿入し、意図したデフォルト値や自動生成メカニズムをオーバーライドします。

    回避策:これらの列プロパティを使用するには、MATCH_BY_COLUMN_NAME を省略する必要があります。代わりに、ソースデータが値を提供する列のみを明示的にリストする COPYINTO ステートメントを使用してパイプを定義します。自動生成プロパティを持つ列は、定義された値生成ロジックをテーブルエンジンが確実に適用するために、ターゲット列リストから省略する必要があります。

SDK とアーキテクチャの制限

  • サポートされているアーキテクチャ（Rust Core）:ARM64Mac、Windows、 ARM64-Linux、およびx86_64-Linux。

  • Linux要件:Linuxで SDK を使用する場合、システムでglibcバージョン2.26以降が必要です。

  • タイムゾーン:SDK は自動的に UTC を使用します。この設定をユーザーが変更することはできません。

  • OAuth およびパーソナルアクセストークンはサポートされていません。

言語: 日本語