Limites et considérations pour Snowpipe Streaming avec architecture hautes performances¶

Limites générales et au niveau du service¶

• The service is available in all Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) regions except for government-specific regions and regions in China.

Limites de table¶

• Débit maximum : Une table peut atteindre un débit agrégé de 10 GBps sans compression.

Limites de canal¶

• Canaux par canal : Par défaut, un seul canal peut avoir jusqu’à 2 000 canaux actifs. Contactez le Support Snowflake si vous avez besoin de plus de canaux pour votre cas d’utilisation.

• Pipes for Snowpipe Streaming: The maximum number of PIPE objects configured for Snowpipe Streaming is limited to 1,000 per account and 10 per table. If you require more pipes, contact Snowflake Support.

Limites de canal¶

Chaque canal présente les limites souples suivantes. Si votre application nécessite un débit plus élevé par canal, contactez le Support Snowflake pour discuter de l’augmentation de ces limites.

• Débit du SDK : 12 MBps sans compression

• Débit des points de terminaison REST : 1 MBps sans compression

• Limite de charge utile REST : 4 MB par requête.

• Taux de requêtes : 10 requêtes par seconde (RPS).

Limites de l’ingestion et spécifiques aux données¶

• L’option ON_ERROR de Snowpipe Streaming avec architecture hautes performances ne prend en charge que CONTINUE.

• Des pics soudains dans le débit de données peuvent entraîner de brèves augmentations de la latence de bout en bout, car le service s’adapte de manière flexible pour prendre en charge le nouveau niveau de débit.

• Les tables Iceberg partitionnées ne sont pas prises en charge.

• MATCH_BY_COLUMN_NAME n’est pas pris en charge avec les colonnes par défaut, les colonnes d’incrément automatique ou les colonnes d’identité :

  The MATCH_BY_COLUMN_NAME option isn’t supported when you load data into tables that contain columns that are defined with the DEFAULT, AUTOINCREMENT, or IDENTITY properties. When you use this option, the streaming ingestion process explicitly inserts NULL values for these columns, overriding the intended default value or the auto-generation mechanism.

  Workaround: To use these column properties, you must omit MATCH_BY_COLUMN_NAME. Instead, you define the pipe by using a COPY INTO statement that explicitly lists only the columns for which the source data provides values. The columns with the auto-generation properties must be omitted from the target column list to ensure that the table engine applies the defined value generation logic.

Limites du SDK et architecturales¶

• Architectures prises en charge (Rust Core) : ARM64 Mac, Windows, ARM64-Linux et x86_64-Linux.

• Exigences Linux : Si vous utilisez le SDK sous Linux, votre système doit disposer de la version 2.26 de glibc ou d’une version supérieure.

• Fuseau horaire : Le SDK utilise automatiquement UTC, et ce paramètre ne peut pas être modifié par l’utilisateur.

• L’OAuth et les jetons d’accès personnel ne sont pas pris en charge.