고성능 아키텍처를 갖춘 Snowpipe Streaming에 대한 제한 사항 및 고려 사항¶

이 문서에서는 고성능 아키텍처를 사용하는 Snowpipe Streaming에 대해 알려진 제한 사항과 주요 고려 사항을 간략하게 설명합니다.

일반 및 서비스 수준 제한 사항¶

The service is available in all Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) regions except for government-specific regions and regions in China.

파이프당 채널 수: 기본적으로, 단일 파이프에는 최대 2,000개의 활성 채널이 있을 수 있습니다. 사용 사례에 더 많은 채널이 필요한 경우 Snowflake 지원 팀에 문의하세요.
Pipes for Snowpipe Streaming: The maximum number of PIPE objects configured for Snowpipe Streaming is limited to 1,000 per account and 10 per table. If you require more pipes, contact Snowflake Support.

각 채널에는 다음과 같은 소프트 제한이 있습니다. 애플리케이션에서 채널당 더 높은 처리량이 필요한 경우 Snowflake 지원 팀에 제한을 늘리는 방법을 문의하세요.

고성능 아키텍처를 갖춘 Snowpipe Streaming의 ON_ERROR 옵션은 CONTINUE만 지원합니다.
서비스가 새로운 처리량 수준을 지원하도록 탄력적으로 확장되므로 데이터 처리량이 급증하면 엔드투엔드 대기 시간이 잠시 증가할 수 있습니다.
분할된 Iceberg 테이블은 지원되지 않습니다.
MATCH_BY_COLUMN_NAME은 기본, 자동 증분 또는 ID 열에서 지원되지 않습니다.

The MATCH_BY_COLUMN_NAME option isn’t supported when you load data into tables that contain columns that are defined with the DEFAULT, AUTOINCREMENT, or IDENTITY properties. When you use this option, the streaming ingestion process explicitly inserts NULL values for these columns, overriding the intended default value or the auto-generation mechanism.

Workaround: To use these column properties, you must omit MATCH_BY_COLUMN_NAME. Instead, you define the pipe by using a COPY INTO statement that explicitly lists only the columns for which the source data provides values. The columns with the auto-generation properties must be omitted from the target column list to ensure that the table engine applies the defined value generation logic.