Openflowを管理する

このトピックでは、Openflow コンポーネントを管理する手順について説明します。

デプロイの削除

デプロイを削除すると、管理コンピューティングプールとすべてのデプロイレベルの構成が削除されます。最初にすべてのランタイムを削除する必要があります。すでにSnowflakeに統合されているデータやオブジェクトは影響を受けません。

警告

デプロイの削除は元に戻せません。削除する前に、すべてのランタイムが削除され、デプロイ構成が不要になったことを確認してください。

AWS コンソールから:

  1. EC2インスタンスに移動します。

  2. 展開キーを持つ openflow-agent-{deployment-key} インスタンスを選択します。

  3. ページの上部にある Connect をクリックします。

  4. EC2 Instance Connect から Connect using EC2 Instance Connect Endpoint に切り替えます。デフォルトの EC2 インスタンス接続エンドポイントはそのままにしておきます。

  5. Connect をクリックします。コマンドラインインターフェースとともに、新しいブラウザータブまたはウィンドウが表示されます。

  6. シェルから ./destroy.sh を実行します。

    • これには20~30分かかる場合があります。接続が中断された場合、プロセスはバックグラウンドで実行を続けます。

    • コマンド journalctl -u docker -f -n 250 で再度ログし、そのステータスを表示できます。

    • その delete successful の出力が表示されたら、destroy プロセスは完了します。

  7. 地域の AWS コンソール内の CloudFormation に移動します。

  8. デプロイの CloudFormation スタックを削除します。

Snowsightから:

  1. ナビゲーションメニューで Ingestion » Openflow を選択します。

  2. Launch Openflow を選択します。

  3. Deployments タブを選択します。

  4. 削除したいデプロイメントの行で、その他のオプションアイコンを選択します。

  5. Delete を選択します。

  6. 確認ダイアログで、delete と入力して、削除を確認します。

  7. Delete deployment をクリックします。

デプロイメントのアップグレード

デプロイには、エージェント、デプロイサービス、デプロイUI、ランタイムゲートウェイ、ランタイムオペレーターなどの複数のコンポーネントが含まれます。UI経由でアップグレードするか、BYOCデプロイの場合はデプロイエージェントスクリプト経由でアップグレードできます。各リリースに含まれる内容について詳しくは、:doc:`Openflowバージョン履歴<version-history>`を参照してください。

注釈

アップグレードを実行できるのは、デプロイの所有者のみです。

UIからのアップグレード

  1. Snowsight にサインインします。

  2. ナビゲーションメニューで Ingestion » Openflow を選択します。

  3. Launch Openflow を選択します。

  4. Deployments タブを選択します。

  5. デプロイ名の左側にあるアップグレード矢印を探します。これは、アップグレードが利用可能であることを示しています。

    デプロイ名の横にアップグレード矢印インジケーターが表示されているDeploymentsタブ
  6. デプロイ|raa| :ui:`Upgrade`の横にある|sf-vertical-more-button|を選択します。

デプロイエージェント(BYOC)を介したアップグレード

BYOCデプロイの場合は、デプロイエージェントスクリプトを使用して、エージェント、デプロイサービス、デプロイUI、ランタイムゲートウェイ、ランタイムオペレーターをアップグレードします。

デプロイ エージェントに接続します。

  1. Openflow に移動します。

  2. Deployments タブを選択します。

  3. デプロイメントの詳細を表示し、配置キーをメモします。

  4. AWS アカウントで、EC2 インスタンスを表示し、展開キーを使用してフィルターします。

  5. openflow-agent-{deployment-key} という名前のデプロイエージェント EC2 インスタンスを見つけます。

  6. EC2 インスタンス接続エンドポイントを使用して接続詞、すべてのデフォルトを受け入れます。

  7. コマンドラインインターフェースで表示される新しいブラウザータブまたはウィンドウから残りのコマンドを実行します。

利用可能なアップグレードの確認

cat ~/.upgrade
Copy

このスクリプトは、さまざまな展開コンポーネントの利用可能な最新バージョンを表示します。

アップグレードが利用できない場合は、このような出力が表示されます。

AGENT_IMAGE_VERSION_UPGRADE=
OPERATOR_CHART_VERSION_UPGRADE=
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=

それ以外の場合は、アップグレードされたコンポーネントが使用するバージョンが表示されます。

AGENT_IMAGE_VERSION_UPGRADE=0.17.0
OPERATOR_CHART_VERSION_UPGRADE=0.31.0
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=

Openflow BYOC デプロイメントの AMI のアップグレード

Openflow BYOC のデプロイメントをアップグレードする場合、Openflowは AWS システムマネージャー が推奨するAmazon Linux 2023の最新の AMI にアップグレードします。

新しい AMI が見つかった場合、デプロイメント内のすべてのOpenflowサービスが再起動され、ランタイムは一時的に停止されます。Openflowランタイムとコネクタは、再起動中もデータの整合性を自動的に維持します。

Snowflakeは、デプロイメントを自動的にアップグレードしません。アップグレードのタイミングと頻度を決定します。

アップグレードの開始

出力がアップグレードが利用可能であることを示している場合は、以下のスクリプトを実行してアップグレードを開始します。古いOpenflowデプロイメントは代わりに upgrade-data-plane.sh スクリプトを使用できます。

./upgrade.sh
Copy

このような出力が表示されます。

openflow-data-plane-agent-aws is set to version 0.16.0
   Upgrade set to version 0.17.0
openflow-dataplane-service-chart is set to version 0.47.0
   No upgrade is available
openflow-dataplane-ui-chart is set to version 0.5.0
   No upgrade is available
openflow-runtime-gateway is set to version 2025.6.8.2
   No upgrade is available
runtime-operator-chart is set to version 0.30.0
   Upgrade set to version 0.31.0

その場合、2つの選択肢があります。

  • 自動アップグレードを待つ: システムは約10分以内に自動的にアップグレードプロセスを開始します。

  • 手動アップグレード:すぐにアップグレードを開始するには、以下のコマンドを実行します。

./create.sh
Copy

アップグレードプロセスの監視

アップグレードの進行状況を確認するには、 journalctl コマンドを使用します。

journalctl -u openflow-apply-infrastructure -f -n 250
Copy

正常なアップグレードの確認

アップグレードに成功すると、通常このような出力が表示されます。

All resources applied successfully and log uploaded to s3
openflow-apply-infrastructure.service: Deactivated successfully

ランタイムのアップグレード

Snowflakeは、新しいOpenflowプロセッサー、既存のプロセッサーの新しいバージョン、または新しいランタイム機能を導入するランタイムの更新を定期的にリリースします。更新が利用可能な場合、UIのランタイム名の横にインジケーターが表示されます。各リリースに含まれる内容について詳しくは、:doc:`Openflowバージョン履歴<version-history>`を参照してください。

注釈

アップグレードを実行できるのは、デプロイの所有者のみです。

  1. Snowsight にサインインします。

  2. ナビゲーションメニューで Ingestion » Openflow を選択します。

  3. Launch Openflow を選択します。

  4. Runtimes タブを選択します。

  5. ランタイム名の左側にあるアップグレード矢印を探します。これは、アップグレードが利用可能であることを示しています。

    ランタイム名の横にアップグレード矢印インジケーターが表示されているRuntimesタブ
  6. ランタイム|raa| :ui:`Upgrade`の横にある|sf-vertical-more-button|を選択します。

コネクタをアップグレードする

機能が追加されたり、処理ロジックが改善されたり、新しいプロセッサーバージョンが使用されたりすると (たとえば、新しいソース API バージョンのサポートを追加する場合)、Snowflakeによってコネクタの更新が利用可能になります。

コネクタの更新が利用可能になると、キャンバス上のプロセスグループに Upgrade アイコンが表示されます。

注釈

コネクタをアップグレードできるのは ランタイムをアップグレードした 後でのみです。

コネクタをアップグレードするには、次を実行します。

  1. ナビゲーションメニューで Ingestion » Openflow を選択します。

  2. Launch Openflow を選択します。

  3. Runtimes タブを選択します。

  4. ランタイム名を選択するか、 More Options メニューから View Canvas を選択してキャンバスに移動します。

  5. 名前の横に赤色のアップグレード矢印があるプロセッサーグループを見つけます。これらのグループごとに、バージョンを変更します。

    1. 推奨:パラメーターがパラメーターコンテキストのカスタム値を使用しているかどうかを確認します。その場合は、カスタム値をメモしてください。アップグレード後に再適用する必要があります。

      1. プロセスグループを右クリックして、 Parameters を選択します。

      2. パラメーターコンテキストリストで Parameters を選択します。

      3. Inheritance タブを選択し、カスタム値を使用しているかどうかをチェックします。その場合は、カスタム値をメモしてください。

    2. グループを右クリックし、 Version » Change Version を選択します。

    3. 最新の利用可能なバージョンを選択し、Change を選択します。

    4. コネクタが最新バージョンにアップグレードされたことを確認します。アップグレードされたバージョンには、緑色のチェックマークが表示されるはずです。

    5. コネクタのプロセスグループ内のすべてのプロセッサーが実行されていることを確認します。そうでない場合は、開始します。

      プロセスグループの右下にある出力にカーソルを合わせると、バージョンを検証することもできます。

    6. ステップ4でカスタムパラメーター値を書き留めた場合は、カスタム値を再適用します。詳細については、 Openflowコネクタ をご参照ください。

Snowflakeコネクタフローレジストリの構成

重要

Openflowの初期のプレビューリリースでは、コネクタをアップグレードするためのランタイムは構成されていませんでした。プロセスグループを右クリックしたときにバージョンオプションが表示されない場合は、Snowflakeコネクタフローレジストリを構成する、既存のコネクタのバージョン管理を手動で有効にする必要があります。

Snowflakeコネクタフローレジストリを構成するには、次を実行します。

  1. コンソールに移動します。

  2. 右上のメニューをクリックして、 Controller Settings を選択します。

  3. Registry Clients タブに切り替えます。

  4. 新しいレジストリクライアントを追加するための + アイコンをクリックします。

  5. ConnectorFlowRegistryClient を選択し、Add を選択します。

  6. ConnectorFlowRegistryClient 行の More Options をクリックし、Edit を選択します。

  7. Storage Location の値として:file:/nifi/configuration_resources/connector_flow_registry を入力し、Apply を選択します。

Snowflakeコネクタフローレジストリを構成すると、既存のコネクタのバージョン管理を有効にできます。

既存のコネクタのバージョン管理を有効にするには、次を実行します。

  1. コンソールに移動し、バージョン管理を追加するプロセスグループを見つけます。

  2. プロセスグループを右クリックして、Version`|raa|:ui:`Set Version を選択します。

  3. Set Version ダイアログで、プロセスグループに合ったフローを選択します。

    たとえば、 SQL サーバーコネクタを使用している場合は、sqlserver を選択します。

    フロー名はコネクタ名と完全に一致しないことに注意してください。

  4. 最新バージョンを選択し、Set version を選択してバージョン管理を有効にします。

  5. キャンバスから、プロセスグループをもう一度右クリックし、Version`|raa|:ui:`Revert Local Changes を選択して、最新のコネクタバージョンを適用します。

  6. 変更リストを確認し、Revert を選択します。

  7. コネクタが最新バージョンにアップグレードされたことを確認すると、緑のチェックマークが表示されます。プロセスグループの右下にある出力にカーソルを合わせると、バージョンを検証することもできます。