ハイパフォーマンスSnowpipeストリームにおけるエラー処理¶

ハイパフォーマンスアーキテクチャーの主なエラー処理機能¶

• 強化されたチャンネル・ステータス・エンドポイント: このエディションでは、チャンネル・ステータス・エンドポイントを拡張し、より包括的なエラー情報を提供します。

• きめ細かなエラー詳細: ハイパフォーマンスエディションでは、より詳細なエラー情報が提供され、エラー発生箇所の特定やインジェスト問題の根本原因の特定に役立ちます。

• クライアントエクスペリエンスの向上: ハイパフォーマンスエディションは、クライアントのエラー処理を簡素化し、エラーの推論と回復の複雑さを軽減します。

• チャネル履歴ビュー: SNOWPIPE_STREAMING_CHANNEL_HISTORY ビュー では、エラーの監視と特定用に、チャネルのアクティビティ履歴が提供されます。この機能により、エラーの傾向を追跡し、潜在的な問題に積極的に対処することができます。

チャンネルステータスのエンドポイント詳細¶

ハイパフォーマンスアーキテクチャには、チャネルに関するより詳細な、特定の時点の情報を提供するチャネルステータスエンドポイントが含まれます。

クラシックアーキテクチャのチャネルステータス情報である statusCode や persistedOffsetToken に加え、ハイパフォーマンスアーキテクチャには以下の情報が含まれます。

• channel_status_code:ストリーミングチャネルの現在の動作ステータスを表します。このコードは、チャネルの健全性とデータ取り込み能力を高レベルで示すものです。チャネルのステータスコードの詳細については、 クライアント側のエラー処理と必要なアクション をご参照ください。

• last_commited_offset_token:Snowflakeによってターゲットテーブルに正常にコミットされた最後の行セットのオフセットトークンを示します。これは、進捗状況を追跡し、確実にデータを配信するために非常に重要です。

• created_on_ms: Snowflake 内でストリーミングチャネルが最初に作成された日時を示すミリ秒単位のタイムスタンプ。

• database_name: ストリーミング・チャンネルがデータを取り込むように構成されているデータベースの名前。

• schema_name: ストリーミング・チャンネルのターゲット・テーブルが存在する、指定したデータベース内のスキーマ名。

• pipe_name: 特定のターゲットテーブルにデータを取り込むために、このSnowpipeストリーミングチャンネルを利用するように構成されたSnowpipeオブジェクトの名前。

• channel_name: ユーザーが作成した、特定のSnowpipeストリーミングチャンネルインスタンスの名前。

• rows_inserted: このストリーミング・チャンネルが作成されてから、ターゲット・テーブルに正常に挿入されたデータ行の総数のカウント。

• rows_parsed:Snowpipe Streaming サービスがこのチャンネルで処理・解析したデータ行の総数。(エラーなどにより、必ずしも挿入されたわけではありません)。

• rows_error_count: 処理中にエラーが発生し、Snowpipe Streamingサービスによって拒否されたデータ行の総数。

• last_error_offset_upper_bound: エラーを含む最後の行セットのオフセット・トークン範囲の上限。これは、データストリーム内の最新のエラーのおおよその位置を識別するのに役立ちます。

• last_error_message: 最新のエラーコードに対応する人間が読めるメッセージ。

• last_error_timestamp: このストリーミング・チャンネルで直近のエラーが発生した日時を示すタイムスタンプ。

• snowflake_avg_processing_latency_ms: このチャンネルで受信した行セットの処理で Snowflake サービスが観測した平均待ち時間（ミリ秒単位）。この指標は、Snowflake内のインジェストパイプラインのパフォーマンスに関する洞察を提供します。

ハイパフォーマンスアーキテクチャーのエラー処理フロー¶

• クライアントがデータを送信: クライアントアプリケーションは、Snowpipe ストリーミング SDK を使用して、 appendRow(s) API を介して Snowflake にデータを送信します。

• サーバー処理:Snowflakeサービスがデータを処理します。これには次が含まれます。

  • データのバッファリング。

  • データの解析と検証。

  • データをテーブルにコミットします。

• エラーの検出: エラーはサーバー側の処理ステージのいずれかで発生する可能性があります。

• エラーの記録: Snowflakeは、最後に発生したエラーについて、以下の情報を含む詳細な情報を記録します。

  • エラーを含む最後の行セットのオフセット・トークン範囲の上限。これは、データストリーム内の最新のエラーのおおよその位置を識別するのに役立ちます。

  • エラーメッセージです。

  • タイムスタンプ。

• エラー報告:

  • 拡張チャンネル・ステータス・エンドポイントは、記録されたエラー情報へのアクセスを提供します。

  • クライアントはこのエンドポイントをクエリして、最後に発生したエラーの詳細を取得することができます。

  • SNOWPIPE_STREAMING_CHANNEL_HISTORY ビュー はエラーとそのオフセットの履歴を提供します。

• クライアントのアクション: クライアントアプリケーションは、エラー情報を使用して以下のアクションを実行します。

  • エラーの原因を識別します。

  • 次のアクションのような適切なエラー処理ロジックを実装します。

    • 失敗した演算子を再試行します。

    • エラーのログ。

    • 管理者への警告。

    • 誤ったデータをデッドレターキューに移動。

    • チャンネルを再開します。

クライアント側のエラー処理と必要なアクション¶

Snowpipe Streaming SDK は、一時エラーに対する内部の再試行ロジックを実装することで、エラー処理を簡素化しています。ただし、致命的なチャネルエラーや持続的な認証の問題については、手動でのアクションが必要です。