Einschränkungen und Hinweise zu Snowpipe Streaming mit leistungsstarker Architektur¶

Allgemeine Einschränkungen und Einschränkungen auf Serviceebene¶

• The service is available in all Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) regions except for government-specific regions and regions in China.

Tabelleneinschränkungen¶

• Maximaler Durchsatz: Eine Tabelle kann einen Gesamtdurchsatz von 10 GBps erreichen (unkomprimiert).

Pipe-Beschränkungen¶

• Kanäle pro Pipe: Standardmäßig kann eine einzelne Pipe bis zu 2.000 aktive Kanäle haben. Wenden Sie sich an den Snowflake-Support, wenn Sie weitere Kanäle für Ihren Anwendungsfall benötigen.

• Pipes for Snowpipe Streaming: The maximum number of PIPE objects configured for Snowpipe Streaming is limited to 1,000 per account and 10 per table. If you require more pipes, contact Snowflake Support.

Kanalbeschränkungen¶

Für jeden Kanal gelten die folgenden „weichen“ Einschränkungen. Wenn Ihre Anwendung einen höheren Durchsatz pro Kanal erfordert, wenden Sie sich an den Snowflake-Support, um über eine Erhöhung dieser Limits zu sprechen.

• SDK-Durchsatz: 12 MBps unkomprimiert

• REST-Endpunkt -Durchsatz: 1 MBps unkomprimiert

• REST-Nutzlastbeschränkung: 4 MB pro Anfrage.

• Anforderungsrate: 10 Anforderungen pro Sekunde (RPS).

Datenaufnahme und datenspezifische Beschränkungen¶

• Die Option ON_ERROR in Snowpipe Streaming mit leistungsstarker Architektur unterstützt nur CONTINUE.

• Plötzliche Spitzen im Datendurchsatz können zu einem kurzen Anstieg der durchgehenden Latenz führen, da der Service elastisch skaliert wird, um das neue Durchsatzniveau zu unterstützen.

• Partitionierte Iceberg-Tabellen werden nicht unterstützt.

• MATCH_BY_COLUMN_NAME wird bei Standardspalten, automatischen Inkrementierungen und Identitätsspalten nicht unterstützt:

  The MATCH_BY_COLUMN_NAME option isn’t supported when you load data into tables that contain columns that are defined with the DEFAULT, AUTOINCREMENT, or IDENTITY properties. When you use this option, the streaming ingestion process explicitly inserts NULL values for these columns, overriding the intended default value or the auto-generation mechanism.

  Workaround: To use these column properties, you must omit MATCH_BY_COLUMN_NAME. Instead, you define the pipe by using a COPY INTO statement that explicitly lists only the columns for which the source data provides values. The columns with the auto-generation properties must be omitted from the target column list to ensure that the table engine applies the defined value generation logic.

SDK und architektonische Einschränkungen¶

• Unterstützte Architekturen (Rust Core): ARM64 Mac, Windows, ARM64-Linux und x86_64-Linux.

• Linux-Anforderungen: Wenn Sie das SDK unter Linux verwenden, muss Ihr System über glibc Version 2.26 oder höher verfügen.

• Zeitzone: Das SDK verwendet automatisch UTC. Diese Einstellung kann vom Benutzer nicht geändert werden.

• OAuth und Personal Access Tokens werden nicht unterstützt.