Snowpipe Streaming - 클래식 아키텍처

Snowpipe Streaming Classic 아키텍처는 지연 시간이 짧은 연속적인 행 기반 데이터 수집을 위한 입증되고 효율적인 방법을 Snowflake 테이블에 직접 제공합니다. 설명서에서 Snowpipe Streaming Classic이라고 하는 이 구현은 애플리케이션 이벤트 데이터, 사물 인터넷(IoT) 센서 판독, 저지연 변경 데이터 캡처(CDC) 등 다양한 스트림 워크로드에 대해 여전히 신뢰할 수 있는 선택입니다.

Snowpipe Streaming Classic은 snowflake-ingest-java SDK 를 사용하며, 명시적인 PIPE 오브젝트 개념 없이 작업하여 Snowpipe Streaming 고성능 아키텍처의 중심이 되는 데이터 플로우를 관리합니다. 대신, Snowpipe Streaming Classic에서는 채널이 테이블에 대해 보다 직접적으로 구성되므로 익숙하고 확립된 방식으로 데이터를 Snowflake로 스트리밍할 수 있습니다.

소프트웨어 요구 사항

클래식 아키텍처와 고성능 아키텍처의 차이점은 :doc:`API 차이점</user-guide/snowpipe-streaming/snowpipe-streaming-high-performance-comparison>`을 참조하세요.

사용자 지정 클라이언트 애플리케이션

API에는 데이터 행을 수락하고 발생하는 오류를 처리할 수 있는 사용자 지정 Java 애플리케이션 인터페이스가 필요합니다. 애플리케이션이 지속적으로 실행되고 장애로부터 복구할 수 있는지 확인해야 합니다. 주어진 행 배치의 경우 API는 ON_ERROR = CONTINUE | SKIP_BATCH | ABORT 에 해당하는 기능을 지원합니다.

  • CONTINUE: 허용 가능한 데이터 행을 계속 로드하고 모든 오류를 반환합니다.

  • SKIP_BATCH: 전체 행 배치에서 오류가 발생하면 로딩을 건너뛰고 모든 오류를 반환합니다.

  • ABORT (기본 설정): 전체 행 배치를 중단하고 첫 번째 오류가 발생하면 예외를 발생시킵니다.

Snowpipe Streaming 클래식의 경우 애플리케이션은 :code:`insertRow`(단일 행) 또는 :code:`insertRows`(행 세트) 메서드의 응답을 사용하여 스키마 유효성 검사를 수행합니다. 고성능 아키텍처의 오류 처리는 :doc:`오류 처리</user-guide/snowpipe-streaming/snowpipe-streaming-high-performance-error-handling>`를 참조하세요.

Apache Iceberg™ 테이블에 데이터 로드.

Snowflake Ingest SDK 버전 3.0.0 이상에서, Snowpipe Streaming은 Snowflake가 관리하는 Apache Iceberg 테이블로 데이터를 수집할 수 있습니다. Snowpipe Streaming Ingest Java SDK 는 표준 Snowflake 테이블(비 Iceberg)과 Iceberg 테이블 모두에 대한 로딩을 지원합니다.

자세한 내용은 Apache Iceberg™ 테이블과 함께 Snowpipe Streaming Classic 사용하기 섹션을 참조하십시오.

기존 아키텍처에서 최적화된 파일로의 마이그레이션

API는 채널의 행을 클라우드 저장소의 Blob에 쓴 다음 대상 테이블에 커밋합니다. 처음에 대상 테이블에 쓴 스트리밍 데이터는 임시 중간 파일 형식으로 저장됩니다. 이 스테이지에서 테이블은 “혼합 테이블”로 간주되는데, 분할된 데이터가 기본 파일과 중간 파일이 혼합된 형식으로 저장되기 때문입니다. 자동화된 백그라운드 프로세스는 필요에 따라 활동 중인 중간 파일에서 쿼리 및 DML 작업에 최적화된 기본 파일로 데이터를 마이그레이션합니다.

클래식 아키텍처에서의 복제

Snowpipe Streaming는 Snowpipe Streaming과 이와 연결된 채널 오프셋으로 채워진 Snowflake 테이블의 복제와 장애 조치 를 지원하는데, 원본 계정에서 다른 리전 에 있는 대상 계정으로, 그리고 여러 클라우드 플랫폼 에 걸쳐 지원합니다.

고성능 아키텍처에는 복제가 지원되지 않습니다.

자세한 내용은 복제 및 Snowpipe Streaming 섹션을 참조하십시오.

언어: 한국어