고성능 Snowpipe Streaming에서의 오류 처리¶

고성능 아키텍처의 주요 오류 처리 기능¶

• 채널 상태 엔드포인트 개선: 이번 버전에서는 채널 상태 엔드포인트를 확장하여 보다 포괄적인 오류 정보를 제공합니다.

• 세분화된 오류 세부 정보: 고성능 버전은 오류가 발생한 위치를 식별하고 수집 문제의 근본 원인을 찾는 데 도움이 되는 더 자세한 오류 정보를 제공합니다.

• 향상된 클라이언트 경험: 고성능 버전은 클라이언트의 오류 처리를 간소화하여 오류 추론 및 복구의 복잡성을 줄여줍니다.

• The channel history view: SNOWPIPE_STREAMING_CHANNEL_HISTORY 뷰 provides a historical record of channel activity to monitor and locate errors. This feature lets you track error trends and proactively address potential issues.

채널 상태 엔드포인트 세부 정보¶

The high-performance architecture includes a channel status endpoint to provide more detailed, point-in-time information about a channel.

In addition to the channel status information for the classic architecture, which is statusCode, persistedOffsetToken, the high-performance architecture includes the following information:

• channel_status_code: Represents the current operational status of the streaming channel. This code provides a high-level indication of the channel’s health and ability to ingest data. For more information about the channel status codes, see 클라이언트 측 오류 처리 및 필수 작업.

• last_commited_offset_token: Snowflake에 의해 대상 테이블에 성공적으로 커밋된 마지막 행 세트의 오프셋 토큰을 나타냅니다. 이는 진행 상황을 추적하고 데이터 전송을 보장하는 데 매우 중요합니다.

• created_on_ms: The timestamp, in milliseconds, that indicates when the streaming channel was initially created within Snowflake.

• database_name: 스트림 채널이 데이터를 수집하도록 구성된 데이터베이스의 이름입니다.

• schema_name: 스트리밍 채널의 대상 테이블이 있는 지정된 데이터베이스 내의 스키마 이름입니다.

• pipe_name: 특정 대상 테이블로 데이터를 수집하기 위해 이 Snowpipe Streaming 채널을 활용하도록 구성된 Snowpipe 오브젝트의 이름입니다.

• channel_name: 특정 Snowpipe Streaming 채널 인스턴스에 대해 사용자가 생성한 이름입니다.

• rows_inserted: 스트림 생성 이후 이 스트림 채널을 통해 대상 테이블에 성공적으로 삽입된 데이터 행의 총 개수입니다.

• rows_parsed: 이 채널에 대해 Snowpipe Streaming 서비스에서 처리 및 구문 분석한 데이터 행의 총 개수입니다. (오류 등으로 인해 반드시 삽입되지 않을 수도 있음).

• rows_error_count: 처리 중 오류가 발생하여 이 채널에 대한 Snowpipe Streaming 서비스에서 거부된 데이터 행의 총 개수입니다.

• last_error_offset_upper_bound: 오류가 포함된 마지막 행 집합의 오프셋 토큰 범위의 상한입니다. 이는 데이터 스트림 내에서 가장 최근에 발생한 오류의 대략적인 위치를 식별하는 데 도움이 됩니다.

• last_error_message: 최신 오류 코드에 해당하는 사람이 읽을 수 있는 메시지입니다.

• last_error_timestamp: 이 스트림 채널에서 가장 최근에 오류가 발생한 시점을 나타내는 타임스탬프입니다.

• snowflake_avg_processing_latency_ms: 이 채널에서 수신한 행 집합을 처리할 때 Snowflake 서비스에서 관찰한 평균 지연 시간(밀리초)입니다. 이 메트릭은 Snowflake 내 수집 파이프라인의 성능에 대한 인사이트를 제공합니다.

고성능 아키텍처의 오류 처리 흐름¶

• 클라이언트가 데이터를 전송합니다. 클라이언트 애플리케이션은 Snowpipe Streaming SDK 를 사용하여 appendRow(s) API 를 통해 데이터를 Snowflake로 전송합니다.

• 서버 처리: Snowflake 서비스가 데이터를 처리합니다. 여기에는 다음이 포함됩니다.

  • 데이터 버퍼링.

  • 데이터 구문 분석 및 유효성 검사.

  • 데이터를 테이블에 커밋합니다.

• 오류 감지: 서버 측 처리 스테이지 중 어느 단계에서든 오류가 발생할 수 있습니다.

• Error recording: Snowflake records detailed information about the last occurred error, including the following information:

  • 오류가 포함된 마지막 행 집합의 오프셋 토큰 범위의 상한입니다. 이는 데이터 스트림 내에서 가장 최근에 발생한 오류의 대략적인 위치를 식별하는 데 도움이 됩니다.

  • 오류 메시지입니다.

  • 타임스탬프입니다.

• 오류 보고:

  • 개선된 채널 상태 엔드포인트는 기록된 오류 정보에 대한 액세스를 제공합니다.

  • 클라이언트는 이 엔드포인트를 쿼리하여 마지막으로 발생한 오류 세부 정보를 검색할 수 있습니다.

  • SNOWPIPE_STREAMING_CHANNEL_HISTORY 뷰 provides a historical record of errors and their offsets.

• Client action: The client application uses the error information to perform the following actions:

  • 오류의 원인을 식별합니다.

  • Implement appropriate error handling logic, such as the following actions:

    • 실패한 작업을 다시 시도합니다.

    • 오류를 로그 기록합니다.

    • 관리자에게 경고하기.

    • 잘못된 데이터를 데드 레터 큐로 이동합니다.

    • 채널 다시 열기.

클라이언트 측 오류 처리 및 필수 작업¶

Snowpipe Streaming SDK는 일시적 오류에 대한 내부 재시도 논리를 구현하여 오류 처리를 간소화합니다. 그러나 치명적인 채널 오류 및 지속적인 인증 문제의 경우 사용자가 직접 조치를 취해야 합니다.