고성능 아키텍처를 갖춘 Snowpipe Streaming의 오류 로깅¶

개요¶

Snowpipe Streaming 고성능 아키텍처를 사용할 때 데이터 처리는 Snowflake의 서버 측에서 발생합니다. 고성능 아키텍처는 암시적으로 ON_ERROR = CONTINUE 모드에서 작동합니다. 즉, 유효한 행은 수집되고 문제가 있는 행은 건너뜁니다.

오류 로깅 켜기¶

Snowpipe Streaming의 오류 로깅을 켜려면 대상 테이블에 ERROR_LOGGING 속성을 설정합니다. 오류 로깅 켜기 및 구성에 대한 자세한 내용은 테이블에 대한 DML 오류 로깅 구성 섹션을 참조하세요.

-- For a new table:
CREATE TABLE my_streaming_table (...) ERROR_LOGGING = TRUE;

-- For an existing table:
ALTER TABLE my_streaming_table SET ERROR_LOGGING = TRUE;

오류 로깅이 켜져 있으면 동일한 오류 테이블이 DML 문 및 Snowpipe Streaming 수집 워크로드 모두에서 발생하는 오류를 캡처합니다.

오류 테이블 쿼리¶

기본 테이블에 대한 오류 테이블을 쿼리하려면 ERROR_TABLE 테이블 함수를 사용합니다. 오류 테이블 스키마, 액세스 제어 및 지원되는 작업에 대한 자세한 내용은 오류 로깅 및 오류 테이블 섹션을 참조하세요.

SELECT * FROM ERROR_TABLE(my_streaming_table) ORDER BY timestamp;

결과에는 수집 스트림에서 오류 행마다 하나의 행이 포함됩니다.

Snowpipe Streaming 오류 필드¶

Snowpipe Streaming 오류는 DML 오류와 동일한 오류 테이블 열 (timestamp, query_id, error_code, error_metadata, error_data)에 저장됩니다. error_metadata 및 error_data 오브젝트에는 다음 섹션에서 설명하는 Snowpipe Streaming의 추가 필드가 포함됩니다.

SELECT * FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming';

오류 복구 워크플로¶

다음 예제에서는 오류를 쿼리하고 분석하고 수정된 데이터를 다시 삽입하는 방법을 보여줍니다.

SELECT
    timestamp,
    error_code,
    error_metadata:error_message::STRING AS error_message,
    error_metadata:details:channel_name::STRING AS channel,
    error_metadata:details:pipe_name::STRING AS pipe,
    error_metadata:details:error_data_content_type::STRING AS content_type,
    error_data:"$1"::STRING AS raw_payload
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -1, CURRENT_TIMESTAMP())
ORDER BY timestamp DESC;

SELECT
    error_code,
    error_metadata:error_message::STRING AS error_message,
    COUNT(*) AS error_count
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP())
GROUP BY 1, 2
ORDER BY error_count DESC;

INSERT INTO my_streaming_table (col1, col2, col3)
SELECT
    TRY_CAST(PARSE_JSON(error_data:"$1"):col1 AS NUMBER),
    PARSE_JSON(error_data:"$1"):col2::STRING,
    TRY_CAST(PARSE_JSON(error_data:"$1"):col3 AS TIMESTAMP)
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND error_metadata:details:error_data_content_type = 'json'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP());

TRUNCATE ERROR_TABLE(my_streaming_table);

청구¶

Snowpipe Streaming 수집 비용은 표준 Snowpipe Streaming 요율에 따라 청구됩니다. 오류 로깅을 켜도 수집 비용은 변경되지 않습니다. 실패한 행을 오류 테이블로 라우팅할 때 추가적인 수집 비용은 없습니다.

Snowflake는 오류 테이블에 저장된 데이터에 대해 다른 테이블과 동일한 표준 저장소 요율로 비용을 청구합니다. 오류 테이블은 실패한 행마다 원시 페이로드 및 오류 메타데이터를 저장합니다.

Snowpipe Streaming 비용에 대한 자세한 내용은 Snowpipe Streaming high-performance architecture: Understand your costs 섹션을 참조하세요.

제한 사항¶

• 오류 테이블은 서버 측 데이터 처리(구문 분석 및 변환) 중에 발생하는 오류를 캡처합니다. 다른 스테이지의 오류(SDK 유효성 검사, API 오류 및 기타 서버 측 비동기 오류)는 오류 테이블에 캡처되지 않습니다. getChannelStatus() 를 사용하여 서버 측 비동기 오류를 모니터링합니다.

• 수신 행의 실패율이 높으면 오류 정보를 저장하는 데 따른 오버헤드로 인해 처리 대기 시간이 증가할 수 있습니다.

• 128MB보다 큰 페이로드는 잘립니다. error_data_truncated 필드는 잘림이 발생한 시점을 나타냅니다.

• 오류 테이블은 Snowpipe Streaming 고성능 아키텍처에만 사용할 수 있습니다. 클래식 아키텍처의 경우 오류 처리는 SDK를 통해 클라이언트 측에서 관리됩니다.