고성능 아키텍처를 갖춘 Snowpipe Streaming에 대한 제한 사항 및 고려 사항¶

일반 및 서비스 수준 제한 사항¶

• 이 서비스는 모든 Amazon Web Services(AWS), Microsoft Azure 및 Google Cloud 리전(중국의 정부별 리전 및 리전 제외)에서 사용할 수 있습니다.

테이블 제한¶

• 최대 처리량: 테이블은 압축되지 않은 10GBps 집계 처리량을 달성할 수 있습니다.

파이프 제한¶

• 파이프당 채널 수: 기본적으로, 단일 파이프에는 최대 2,000개의 활성 채널이 있을 수 있습니다. 사용 사례에 더 많은 채널이 필요한 경우 Snowflake 지원 팀에 문의하세요.

• Snowpipe Streaming용 파이프: Snowpipe Streaming용으로 구성된 PIPE 오브젝트의 최대 수는 계정당 1,000개, 테이블당 10개로 제한됩니다. 더 많은 파이프가 필요한 경우 `Snowflake 지원`_에 문의하세요.

채널 제한¶

각 채널에는 다음과 같은 소프트 제한이 있습니다. 애플리케이션에서 채널당 더 높은 처리량이 필요한 경우 Snowflake 지원 팀에 제한을 늘리는 방법을 문의하세요.

• SDK 처리량: 12MBps(압축되지 않음)

• REST 엔드포인트 처리량: 1MBps(관찰된 크기)

• REST 페이로드 제한: 요청당 4MB(관찰된 크기). 요청당 더 많은 데이터를 수집하려면 압축(Gzip 또는 ZSTD)을 사용합니다. 이를 통해 압축되지 않은 더 큰 데이터 볼륨을 4MB제한에 맞출 수 있습니다.

• 요청 속도: 10RPS(초당 요청).

수집 및 데이터별 제한 사항¶

• 고성능 아키텍처를 갖춘 Snowpipe Streaming의 ON_ERROR 옵션은 CONTINUE만 지원합니다. 디버깅 및 복구를 위해 실패한 행을 캡처하려면 대상 테이블에서 오류 로깅을 켭니다. 자세한 내용은 고성능 아키텍처를 갖춘 Snowpipe Streaming의 오류 로깅 섹션을 참조하십시오.

• 서비스가 새로운 처리량 수준을 지원하도록 탄력적으로 확장되므로 데이터 처리량이 급증하면 엔드투엔드 대기 시간이 잠시 증가할 수 있습니다.

• 분할된 Iceberg 테이블은 지원되지 않습니다. 분할되지 않은 Snowflake 관리 Iceberg 테이블이 지원됩니다. 자세한 내용은 Apache Iceberg™ 테이블이 있는 Snowpipe Streaming 고성능 아키텍처 섹션을 참조하십시오.

• MATCH_BY_COLUMN_NAME은 기본, 자동 증분 또는 ID 열에서 지원되지 않습니다.

  DEFAULT, AUTOINCREMENT 또는 IDENTITY 속성으로 정의된 열이 포함된 테이블에 데이터를 로드할 때는 MATCH_BY_COLUMN_NAME 옵션이 지원되지 않습니다. 이 옵션을 사용하면 스트리밍 수집 프로세스에서 이러한 열에 대해 NULL 값을 명시적으로 삽입하고 의도된 기본값 또는 자동 생성 메커니즘을 재정의합니다.

  해결 방법: 이러한 열 속성을 사용하려면 MATCH_BY_COLUMN_NAME을 생략해야 합니다. 대신 소스 데이터가 값을 제공하는 열만 명시적으로 나열하는 COPY INTO 문을 사용하여 파이프를 정의합니다. 테이블 엔진이 정의된 값 생성 논리를 적용하도록 하려면 자동 생성 속성이 있는 열을 대상 열 목록에서 생략해야 합니다.

SDK 및 아키텍처 제한 사항¶

• 지원되는 아키텍처(Rust Core): ARM64 Mac, Windows, ARM64-Linux 및 x86_64-Linux.

• Linux 요구 사항: Linux에서 SDK를 사용하는 경우 시스템에 glibc 버전 2.26 이상이 설치되어 있어야 합니다.

• 시간대: SDK는 자동으로 UTC를 사용하며 이 설정은 사용자가 변경할 수 없습니다.

• 인증: RSA 키 페어 인증이 필요합니다. OAuth 및 개인 액세스 토큰(PATs)은 지원되지 않습니다.

• Snowpark Container Services(SPCS)는 지원되지 않습니다.