PutSnowpipeStreaming 2025.5.31.15¶
バンドル¶
com.snowflake.openflow.runtime | runtime-snowpipe-processors-nar
説明¶
記録をSnowflakeテーブルにストリームします。テーブルは事前にSnowflakeアカウントで作成しておく必要があります。
入力要件¶
REQUIRED
機密動的プロパティをサポート¶
false
プロパティ¶
プロパティ |
説明 |
|---|---|
アカウント |
組織名とアカウント名が [organization-name]-[account-name]の形式で記述された Snowflake アカウント識別子。 |
認証ストラテジー |
Snowflake接続認証コードのストラテジー |
クライアントラグ |
Snowflakeに記録をフラッシュする前にクライアントが待機する最大時間。値を大きくすると、Snowflakeへの送信時にレイテンシが増加する可能性がありますが、常に更新されるわけではないテーブルでは、より高速でコスト効率の高いクエリ結果になる可能性があります。 |
並行輸入グループ |
指定されたグループ内のテーブルに書き込む同時実行タスクの数を制限できるように、指定された FlowFile が属する「同時実行グループ」を指定できます。 |
接続ストラテジー |
Snowflake Snowpipeストリーミングサービスへの接続ストラテジー |
データベース |
処理された記録のSnowflakeデータベース宛先 |
配送保証 |
Snowflakeに送信される記録の配信保証を指定します。 |
Iceberg Enabled |
プロセッサーがデータをIcebergテーブルに取り込むかどうかを指定します。このプロパティが実際のテーブル・タイプと一致しない場合、プロセッサーは失敗します。 |
最大バッチサイズ |
1回の呼び出しで取り込む最大記録数。記録数が最大バッチサイズを超えると、複数のインジェストコールが行われます。現在のガイダンスでは、 16MB 以下のバッチサイズを推奨しています。最大バッチサイズは、平均記録サイズに基づいて調整することができ、通常、バッチは 16MB 未満になります。 |
グループあたりの最大タスク数 |
指定したSnowpipeチャンネルプレフィックスに作成するチャンネルの最大数。これにより、特定のSnowflakeテーブルに書き込むことができる同時タスク数を制限することができます。 |
秘密キー サービス |
接続認証用 RSA プライベートキーサービス |
記録オフセット |
FlowFile の最初の記録のオフセットを決定するために使用する式言語。 |
記録オフセット 記録パス |
FlowFile の最初の記録のオフセットを決定するために使用する記録パス式。 |
記録オフセットストラテジー |
各記録のオフセットを決定するストラテジーを指定します。 |
Record Reader |
入力の読み取りに使用するRecord Reader |
ロール |
接続認証時にユーザーが想定するSnowflakeロール |
スキーマ |
処理済み記録のSnowflakeスキーマ送信先 |
Snowpipeチャンネルインデックス |
Snowpipe チャンネル名に使用するインデックス。openflow.[prefix].[index]として構築されるフルチャンネル名。これはSnowflakeに正確なOnceデリバリーを提供するために必要なことで、再試行は前回使用されたものと同じチャンネルに対して試行されなければなりません。 |
Snowpipe・チャンネル・プレフィックス |
Snowpipe チャンネル名に使用するプレフィックス。openflow.[prefix].[index]として構築されるフルチャンネル名。デフォルト値は ${hostname(false)} で、 NiFi インスタンスのホスト名をチャンネル名に組み込むことで、クラスター内の各 NiFi ノードが一意のチャネルに書き込まれるようにします。 |
テーブル |
処理された記録のSnowflakeテーブル宛先 |
ユーザー |
接続認証用Snowflakeユーザー |
リレーションシップ¶
名前 |
説明 |
|---|---|
failure |
Snowflake へのアップロードに失敗した FlowFiles について |
success |
Snowflake へのアップロードに成功した FlowFiles について |
ユースケース¶
Snowflakeテーブルに記録指向のデータを可能な限り高速に書き込みます。 |