高性能アーキテクチャを備えたSnowpipe Streamingでのエラーログ¶

概要¶

Snowpipe Streaming高性能アーキテクチャを使用すると、データ処理はSnowflakeのサーバー側で行われます。高性能アーキテクチャは ON_ERROR = CONTINUE モードで暗黙的に動作するため、有効な行は取り込まれる一方、問題のある行はスキップされます。

エラーログをオンにする¶

Snowpipe Streamingのエラーログをオンにするには、ターゲットテーブルの ERROR_LOGGING プロパティを設定します。エラーログの有効化および構成の詳細については、 テーブルの DML エラーログの構成 をご参照ください。

-- For a new table:
CREATE TABLE my_streaming_table (...) ERROR_LOGGING = TRUE;

-- For an existing table:
ALTER TABLE my_streaming_table SET ERROR_LOGGING = TRUE;

エラーログがオンの場合、同じエラーテーブルに DML ステートメントとSnowpipe Streaming取り込みワークロードの両方からのエラーがキャプチャされます。

エラーテーブルのクエリ¶

ベーステーブルのエラーテーブルをクエリするには、 ERROR_TABLE テーブル関数を使用します。エラーテーブルスキーマ、アクセス制御、およびサポートされている操作の詳細については、 エラーログとエラーテーブル をご参照ください。

SELECT * FROM ERROR_TABLE(my_streaming_table) ORDER BY timestamp;

結果には、取り込みストリーム内のすべてのエラー行の行が含まれます。

Snowpipe Streamingエラーフィールド¶

Snowpipe Streamingエラーは DML エラー（ timestamp 、 query_id 、 error_code 、 error_metadata 、 error_data ）として同じ エラーテーブル列 に保存されます。error_metadata および error_data オブジェクトには、以下のセクションで説明するSnowpipe Streamingのための追加フィールドが含まれています。

SELECT * FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming';

エラー復旧ワークフロー¶

次の例は、エラーをクエリし、それらを分析し、修正されたデータを再挿入する方法を示しています。

SELECT
    timestamp,
    error_code,
    error_metadata:error_message::STRING AS error_message,
    error_metadata:details:channel_name::STRING AS channel,
    error_metadata:details:pipe_name::STRING AS pipe,
    error_metadata:details:error_data_content_type::STRING AS content_type,
    error_data:"$1"::STRING AS raw_payload
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -1, CURRENT_TIMESTAMP())
ORDER BY timestamp DESC;

SELECT
    error_code,
    error_metadata:error_message::STRING AS error_message,
    COUNT(*) AS error_count
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP())
GROUP BY 1, 2
ORDER BY error_count DESC;

INSERT INTO my_streaming_table (col1, col2, col3)
SELECT
    TRY_CAST(PARSE_JSON(error_data:"$1"):col1 AS NUMBER),
    PARSE_JSON(error_data:"$1"):col2::STRING,
    TRY_CAST(PARSE_JSON(error_data:"$1"):col3 AS TIMESTAMP)
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND error_metadata:details:error_data_content_type = 'json'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP());

TRUNCATE ERROR_TABLE(my_streaming_table);

請求¶

Snowpipe Streaming取り込みは、標準のSnowpipe Streaming料金で請求されます。エラーログをオンにしても、取り込みコストは変わりません。失敗した行をエラーテーブルにルーティングするための追加の取り込み料金はありません。

Snowflakeは、他のテーブルと同じように、標準ストレージレートでエラーテーブルに保存されたデータに対して料金を請求します。エラーテーブルには、失敗した各行の生ペイロードとエラーメタデータが保存されます。

Snowpipe Streamingコストの詳細については、 Snowpipe Streaming high-performance architecture: Understand your costs をご参照ください。

制限事項¶

• エラーテーブルは、サーバー側のデータ処理（解析および変換）中に発生したエラーをキャプチャします。他のステージからのエラー（ SDK 検証、 API 失敗やその他のサーバー側の非同期エラー）は、エラーテーブルにキャプチャされません。getChannelStatus() を使用して、サーバー側の非同期エラーをモニターします。

• 入ってくる行の失敗率が高いと、エラー情報を保存するオーバーヘッドのために処理のレイテンシが増加する可能性があります。

• 128 MB を超えるペイロードは切り捨てられます。error_data_truncated フィールドは、切り捨てが発生したタイミングを示します。

• エラーテーブルは、Snowpipe Streaming高性能アーキテクチャでのみ使用可能です。従来のアーキテクチャでは、エラー処理は SDK を通じてクライアント側で管理されます。