高性能アーキテクチャを使用したSnowpipe Streamingの制限と考慮事項

このドキュメントでは、高性能アーキテクチャを持つSnowpipe Streamingの既知の制限と重要な考慮事項について概要を説明します。

一般的およびサービスレベルの制限

  • このサービスは、政府固有のリージョンや中国のリージョンを除いて、すべての AWS リージョンで利用できます。

  • 認証には既定のロールが使用されます。サービスに接続する際に、ユーザーに既定のロールへのアクセス権が付与されていることを確認してください。

テーブルの制限

  • 最大スループット:テーブルは10 GBps(非圧縮)の集約スループットを達成できます。

パイプの制限

  • パイプごとのチャネル:デフォルトでは、1つのパイプは最大2,000個のアクティブなチャネルを持つことができます。ユースケースでさらに多くのチャネルが必要な場合は、Snowflakeサポートにお問い合わせください。

チャネルの制限

各チャネルには次のソフト制限があります。アプリケーションでチャネルごとに高いスループットが必要な場合は、Snowflakeサポートに連絡して、これらの制限を増やすことを検討してください。

  • SDK スループット:12 MBps(非圧縮)

  • REST エンドポイントスループット:1 MBps(非圧縮)

  • リクエスト率:1秒あたりのリクエスト(RPS)10件。

インジェスチョンとデータ固有の制限

  • 高性能アーキテクチャを使用したSnowpipe Streamingの ON_ERROR オプションは、CONTINUE のみをサポートしています。

  • サービスは新しいスループットレベルをサポートするために弾性的にスケーリングしているため、データスループットが突然急増すると、エンドツーエンドのレイテンシが一時的に増加する可能性があります。

  • パーティション化されたIcebergテーブルはサポートされていません。

SDK とアーキテクチャの制限

  • サポートされているアーキテクチャ(Rust Core):ARM64 Mac、Windows、 ARM64-Linux、およびx86_64-Linux。

  • Linux要件:Linuxで SDK を使用する場合、システムでglibcバージョン2.26以降が必要です。

  • タイムゾーン:SDK は自動的に UTC を使用します。この設定をユーザーが変更することはできません。

  • OAuth およびパーソナルアクセストークンはサポートされていません。