Limitações e considerações para Snowpipe Streaming com arquitetura de alto desempenho¶

Limitações gerais e de nível de serviço¶

• The service is available in all Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) regions except for government-specific regions and regions in China.

Limites de tabela¶

• Taxa de transferência máxima: uma tabela pode atingir uma taxa de transferência agregada de 10 GBps descompactados.

Limites de canal¶

• Canais por canal: por padrão, um único canal pode ter até 2.000 canais ativos. Entre em contato com o suporte Snowflake se precisar de mais canais para seu caso de uso.

• Pipes for Snowpipe Streaming: The maximum number of PIPE objects configured for Snowpipe Streaming is limited to 1,000 per account and 10 per table. If you require more pipes, contact Snowflake Support.

Limites de canal¶

Cada canal tem os limites flexíveis a seguir. Se seu aplicativo exigir maior rendimento por canal, entre em contato com o suporte Snowflake para discutir o aumento desses limites.

• Taxa de transferência do SDK: 12 MBps não compactados

• Taxa de transferência do ponto de extremidade REST: 1 MBps não compactado

• Limite de carga útil de REST: 4 MB por solicitação.

• Taxa de solicitação: 10 solicitações por segundo (RPS).

Ingestão e limitações específicas de dados¶

• A opção ON_ERROR no Snowpipe Streaming com arquitetura de alto desempenho oferece suporte apenas a CONTINUE.

• Picos repentinos na taxa de transferência de dados podem causar breves aumentos na latência de ponta a ponta, pois o serviço está se adaptando elasticamente para suportar o novo nível de taxa de transferência.

• Não há suporte para tabelas Iceberg particionadas.

• MATCH_BY_COLUMN_NAME não é compatível com colunas padrão, de incremento automático ou de identidade:

  The MATCH_BY_COLUMN_NAME option isn’t supported when you load data into tables that contain columns that are defined with the DEFAULT, AUTOINCREMENT, or IDENTITY properties. When you use this option, the streaming ingestion process explicitly inserts NULL values for these columns, overriding the intended default value or the auto-generation mechanism.

  Workaround: To use these column properties, you must omit MATCH_BY_COLUMN_NAME. Instead, you define the pipe by using a COPY INTO statement that explicitly lists only the columns for which the source data provides values. The columns with the auto-generation properties must be omitted from the target column list to ensure that the table engine applies the defined value generation logic.

Limitações arquitetônicas e do SDK¶

• Arquiteturas compatíveis (Rust Core): ARM64 Mac, Windows, ARM64-Linux e x86_64-Linux.

• Requisitos do Linux: se você usa o SDK no Linux, seu sistema deve ter a versão 2.26 ou posterior do glibc.

• Fuso horário: O SDK usa automaticamente UTC, e essa configuração não pode ser alterada pelo usuário.

• OAuth e tokens de acesso pessoal não são compatíveis.