PutSnowpipeStreaming 2025.5.31.15¶

バンドル¶

com.snowflake.openflow.runtime | runtime-snowpipe-processors-nar

説明¶

記録をSnowflakeテーブルにストリームします。テーブルは事前にSnowflakeアカウントで作成しておく必要があります。

タグ¶

接続、データベース、実験的、jdbc、オープンフロー、Snowflake、Snowpipeストリーミング

入力要件¶

REQUIRED

機密動的プロパティをサポート¶

false

プロパティ¶

プロパティ	説明
アカウント	組織名とアカウント名が [organization-name]-[account-name]の形式で記述された Snowflake アカウント識別子。
認証ストラテジー	Snowflake接続認証コードのストラテジー
クライアントラグ	Snowflakeに記録をフラッシュする前にクライアントが待機する最大時間。値を大きくすると、Snowflakeへの送信時にレイテンシが増加する可能性がありますが、常に更新されるわけではないテーブルでは、より高速でコスト効率の高いクエリ結果になる可能性があります。
並行輸入グループ	指定されたグループ内のテーブルに書き込む同時実行タスクの数を制限できるように、指定された FlowFile が属する「同時実行グループ」を指定できます。
接続ストラテジー	Snowflake Snowpipeストリーミングサービスへの接続ストラテジー
データベース	処理された記録のSnowflakeデータベース宛先
配送保証	Snowflakeに送信される記録の配信保証を指定します。
Iceberg Enabled	プロセッサーがデータをIcebergテーブルに取り込むかどうかを指定します。このプロパティが実際のテーブル・タイプと一致しない場合、プロセッサーは失敗します。
最大バッチサイズ	1回の呼び出しで取り込む最大記録数。記録数が最大バッチサイズを超えると、複数のインジェストコールが行われます。現在のガイダンスでは、 16MB 以下のバッチサイズを推奨しています。最大バッチサイズは、平均記録サイズに基づいて調整することができ、通常、バッチは 16MB 未満になります。
グループあたりの最大タスク数	指定したSnowpipeチャンネルプレフィックスに作成するチャンネルの最大数。これにより、特定のSnowflakeテーブルに書き込むことができる同時タスク数を制限することができます。
秘密キーサービス	接続認証用 RSA プライベートキーサービス
記録オフセット	FlowFile の最初の記録のオフセットを決定するために使用する式言語。
記録オフセット記録パス	FlowFile の最初の記録のオフセットを決定するために使用する記録パス式。
記録オフセットストラテジー	各記録のオフセットを決定するストラテジーを指定します。
Record Reader	入力の読み取りに使用するRecord Reader
ロール	接続認証時にユーザーが想定するSnowflakeロール
スキーマ	処理済み記録のSnowflakeスキーマ送信先
Snowpipeチャンネルインデックス	Snowpipe チャンネル名に使用するインデックス。openflow.[prefix].[index]として構築されるフルチャンネル名。これはSnowflakeに正確なOnceデリバリーを提供するために必要なことで、再試行は前回使用されたものと同じチャンネルに対して試行されなければなりません。
Snowpipe・チャンネル・プレフィックス	Snowpipe チャンネル名に使用するプレフィックス。openflow.[prefix].[index]として構築されるフルチャンネル名。デフォルト値は ${hostname(false)} で、 NiFi インスタンスのホスト名をチャンネル名に組み込むことで、クラスター内の各 NiFi ノードが一意のチャネルに書き込まれるようにします。
テーブル	処理された記録のSnowflakeテーブル宛先
ユーザー	接続認証用Snowflakeユーザー

リレーションシップ¶

名前	説明
failure	Snowflake へのアップロードに失敗した FlowFiles について
success	Snowflake へのアップロードに成功した FlowFiles について

ユースケース¶

Snowflakeテーブルに記録指向のデータを可能な限り高速に書き込みます。