고성능 아키텍처를 갖춘 Snowpipe Streaming에 대한 제한 사항 및 고려 사항¶

이 문서에서는 고성능 아키텍처를 사용하는 Snowpipe Streaming에 대해 알려진 제한 사항과 주요 고려 사항을 간략하게 설명합니다.

일반 및 서비스 수준 제한 사항¶

The service is available in all Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) regions except for government-specific regions and regions in China.

파이프당 채널 수: 기본적으로, 단일 파이프에는 최대 2,000개의 활성 채널이 있을 수 있습니다. 사용 사례에 더 많은 채널이 필요한 경우 Snowflake 지원 팀에 문의하세요.
Snowpipe Streaming용 파이프: Snowpipe Streaming용으로 구성된 PIPE 오브젝트의 최대 수는 계정당 1,000개, 테이블당 10개로 제한됩니다. 더 많은 파이프가 필요한 경우 `Snowflake 지원`_에 문의하세요.

각 채널에는 다음과 같은 소프트 제한이 있습니다. 애플리케이션에서 채널당 더 높은 처리량이 필요한 경우 Snowflake 지원 팀에 제한을 늘리는 방법을 문의하세요.

고성능 아키텍처를 갖춘 Snowpipe Streaming의 ON_ERROR 옵션은 CONTINUE만 지원합니다.
서비스가 새로운 처리량 수준을 지원하도록 탄력적으로 확장되므로 데이터 처리량이 급증하면 엔드투엔드 대기 시간이 잠시 증가할 수 있습니다.
분할된 Iceberg 테이블은 지원되지 않습니다.
MATCH_BY_COLUMN_NAME은 기본, 자동 증분 또는 ID 열에서 지원되지 않습니다.

DEFAULT, AUTOINCREMENT 또는 IDENTITY 속성으로 정의된 열이 포함된 테이블에 데이터를 로드할 때는 MATCH_BY_COLUMN_NAME 옵션이 지원되지 않습니다. 이 옵션을 사용하면 스트리밍 수집 프로세스에서 이러한 열에 대해 NULL 값을 명시적으로 삽입하고 의도된 기본값 또는 자동 생성 메커니즘을 재정의합니다.

해결 방법: 이러한 열 속성을 사용하려면 MATCH_BY_COLUMN_NAME을 생략해야 합니다. 대신 소스 데이터가 값을 제공하는 열만 명시적으로 나열하는 COPY INTO 문을 사용하여 파이프를 정의합니다. 테이블 엔진이 정의된 값 생성 논리를 적용하도록 하려면 자동 생성 속성이 있는 열을 대상 열 목록에서 생략해야 합니다.