Limites et considérations pour Snowpipe Streaming avec architecture hautes performances

Ce document décrit les limites connues et les principales considérations pour Snowpipe Streaming avec architecture hautes performances.

Limites générales et au niveau du service

  • Le service est disponible dans toutes les régions AWS, à l’exception des régions gouvernementales spécifiques et des régions en Chine.

  • Le rôle par défaut est utilisé pour l’autorisation. Assurez-vous que les utilisateurs ont accès au rôle par défaut lorsqu’ils se connectent au service.

Limites de table

  • Débit maximum : Une table peut atteindre un débit agrégé de 10 GBps sans compression.

Limites de canal

  • Canaux par canal : Par défaut, un seul canal peut avoir jusqu’à 2 000 canaux actifs. Contactez le Support Snowflake si vous avez besoin de plus de canaux pour votre cas d’utilisation.

Limites de canal

Chaque canal présente les limites souples suivantes. Si votre application nécessite un débit plus élevé par canal, contactez le Support Snowflake pour discuter de l’augmentation de ces limites.

  • Débit du SDK : 12 MBps sans compression

  • Débit des points de terminaison REST : 1 MBps sans compression

  • Taux de requêtes : 10 requêtes par seconde (RPS).

Limites de l’ingestion et spécifiques aux données

  • L’option ON_ERROR de Snowpipe Streaming avec architecture hautes performances ne prend en charge que CONTINUE.

  • Des pics soudains dans le débit de données peuvent entraîner de brèves augmentations de la latence de bout en bout, car le service s’adapte de manière flexible pour prendre en charge le nouveau niveau de débit.

  • Les tables Iceberg partitionnées ne sont pas prises en charge.

Limites du SDK et architecturales

  • Architectures prises en charge (Rust Core) : ARM64 Mac, Windows, ARM64-Linux et x86_64-Linux.

  • Exigences Linux : Si vous utilisez le SDK sous Linux, votre système doit disposer de la version 2.26 de glibc ou d’une version supérieure.

  • Fuseau horaire : Le SDK utilise automatiquement UTC, et ce paramètre ne peut pas être modifié par l’utilisateur.

  • L’OAuth et les jetons d’accès personnel ne sont pas pris en charge.