Openflowを管理する¶
このトピックでは、Openflow コンポーネントを管理する手順について説明します。
デプロイの削除¶
AWS コンソールから:
EC2 インスタンスに移動
展開キーを持つ
openflow-agent-{deployment-key}インスタンスを選択します。ページの上部にある Connect をクリックします。
EC2 Instance Connect から Connect using EC2 Instance Connect Endpoint に切り替えます。デフォルトの EC2 インスタンス接続エンドポイントはそのままにしておきます。
Connect をクリックします。新しいブラウザのタブまたはウィンドウにコマンドラインインターフェイスが表示されます。
シェルから
./destroy.shを実行します。これには20~30分かかる場合があります。接続が中断された場合、プロセスはバックグラウンドで実行を続けます。
コマンド
journalctl -u docker -f -n 250で再度ログし、そのステータスを表示できます。その
delete successfulの出力が表示されたら、destroyプロセスは完了します。
地域の AWS コンソール内の CloudFormation に移動します。
デプロイの CloudFormation スタックを削除します。
Snowsightから:
Openflow に移動します。
Deployments タブを選択します。
削除したいデプロイメントの行で、その他のオプションアイコンを選択します。
Delete を選択します。
確認ダイアログで、
deleteと入力して、削除を確認します。Delete deployment をクリックします。
デプロイメントのアップグレード¶
Openflow のデプロイメントには、更新が必要なコンポーネントがいくつかあります。現在、これは Openflow のデプロイ・エージェント・スクリプトで実行されます。コンポーネントには、エージェント、デプロイメントサービス、デプロイ UI 、ランタイムゲートウェイ、およびランタイム演算子が含まれます。すべてのコンポーネントは、以下のプロシージャによってアップグレードされます。
デプロイ エージェントに接続します。¶
Openflow に移動します。
Deployments タブを選択します。
デプロイメントの詳細を表示し、配置キーをメモします。
AWS アカウントで、EC2 インスタンスを表示し、展開キーを使用してフィルターします。
openflow-agent-{deployment-key}という名前のデプロイエージェント EC2 インスタンスを見つけます。EC2 インスタンス接続エンドポイントを使用して接続詞、すべてのデフォルトを受け入れます。
コマンドラインインターフェースで表示される新しいブラウザータブまたはウィンドウから残りのコマンドを実行します。
利用可能なアップグレードの確認¶
cat ~/.upgrade
このスクリプトは、さまざまな展開コンポーネントの利用可能な最新バージョンを表示します。
アップグレードが利用できない場合は、このような出力が表示されます。
AGENT_IMAGE_VERSION_UPGRADE=
OPERATOR_CHART_VERSION_UPGRADE=
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=
それ以外の場合は、アップグレードされたコンポーネントが使用するバージョンが表示されます。
AGENT_IMAGE_VERSION_UPGRADE=0.17.0
OPERATOR_CHART_VERSION_UPGRADE=0.31.0
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=
Openflow BYOC デプロイメントの AMI のアップグレード¶
Openflow BYOC のデプロイメントをアップグレードする場合、Openflowは AWS システムマネージャー が推奨するAmazon Linux 2023の最新の AMI にアップグレードします。
新しい AMI が見つかった場合、デプロイメント内のすべてのOpenflowサービスが再起動され、ランタイムは一時的に停止されます。Openflowランタイムとコネクタは、再起動中もデータの整合性を自動的に維持します。
Snowflakeは、デプロイメントを自動的にアップグレードしません。アップグレードのタイミングと頻度を決定します。
アップグレードの開始¶
出力がアップグレードが利用可能であることを示している場合は、以下のスクリプトを実行してアップグレードを開始します。古いOpenflowデプロイメントは代わりに upgrade-data-plane.sh スクリプトを使用できます。
./upgrade.sh
このような出力が表示されます。
openflow-data-plane-agent-aws is set to version 0.16.0
Upgrade set to version 0.17.0
openflow-dataplane-service-chart is set to version 0.47.0
No upgrade is available
openflow-dataplane-ui-chart is set to version 0.5.0
No upgrade is available
openflow-runtime-gateway is set to version 2025.6.8.2
No upgrade is available
runtime-operator-chart is set to version 0.30.0
Upgrade set to version 0.31.0
その場合、2つの選択肢があります。
自動アップグレードを待つ: システムは約10分以内に自動的にアップグレードプロセスを開始します。
手動アップグレード:すぐにアップグレードを開始するには、以下のコマンドを実行します。
./create.sh
アップグレードプロセスの監視¶
アップグレードの進行状況を確認するには、 journalctl コマンドを使用します。
journalctl -u openflow-apply-infrastructure -f -n 250
正常なアップグレードの確認¶
アップグレードに成功すると、通常このような出力が表示されます。
All resources applied successfully and log uploaded to s3
openflow-apply-infrastructure.service: Deactivated successfully
ランタイムのアップグレード¶
Snowflakeは、新しいOpenflowプロセッサや既存プロセッサーの新バージョンを導入する際や、新しいOpenflowランタイム関数を導入する際に、アップデートを提供します。Openflow ランタイムのアップデートが可用性になると、Openflow UI のランタイムの横にアップグレード アイコンが表示されます。
ランタイムをアップグレードするには、次のようにします。
Openflow に移動します。
Runtimes タブを選択します。
アップグレードが利用可能かどうか、ランタイム名の横にあるインジケータが表示されます。
アップグレードするランタイムの行で、More optionsアイコンを選択します。
Upgrade を選択します。
コネクタをアップグレードする¶
Connector updates are made available by Snowflake when functionality is added, processing logic is improved, or new processor versions are used--for example, to add support for a new source API version.
コネクタの更新が利用可能になると、キャンバス上のプロセスグループに Upgrade アイコンが表示されます。
注釈
コネクタをアップグレードできるのは ランタイムをアップグレードした 後でのみです。
コネクタをアップグレードするには、次を実行します。
Openflow に移動します。
Runtimes タブを選択します。
Select the runtime name, or select View Canvas in the More Options menu to navigate to the canvas.
Find the processor groups with a red upgrade arrow next to their names. For each of these groups, change the version:
推奨:パラメーターがパラメーターコンテキストのカスタム値を使用しているかどうかを確認します。その場合は、カスタム値をメモしてください。アップグレード後に再適用する必要があります。
Right-click the process group and select Parameters.
パラメーターコンテキストリストで Parameters を選択します。
Inheritance タブを選択し、カスタム値を使用しているかどうかをチェックします。その場合は、カスタム値をメモしてください。
Right-click the group and select Version » Change Version.
最新の利用可能なバージョンを選択し、Change を選択します。
コネクタが最新バージョンにアップグレードされたことを確認します。アップグレードされたバージョンには、緑色のチェックマークが表示されるはずです。
You can also validate the version by hovering over the speech bubble at the bottom right of the process group.
If you noted a custom parameter value in step 4, reapply the custom value. For more information, see Openflowコネクタ.
Snowflakeコネクタフローレジストリの構成¶
重要
Openflowの初期のプレビューリリースでは、コネクタをアップグレードするためのランタイムは構成されていませんでした。プロセスグループを右クリックしたときにバージョンオプションが表示されない場合は、Snowflakeコネクタフローレジストリを構成する、既存のコネクタのバージョン管理を手動で有効にする必要があります。
Snowflakeコネクタフローレジストリを構成するには、次を実行します。
コンソールに移動します。
Click on the menu in the top right corner and select Controller Settings.
Registry Clients タブに切り替えます。
新しいレジストリクライアントを追加するための + アイコンをクリックします。
ConnectorFlowRegistryClient を選択し、Add を選択します。
ConnectorFlowRegistryClient 行の More Options をクリックし、Edit を選択します。
Storage Location の値として:file:
/nifi/configuration_resources/connector_flow_registryを入力し、Apply を選択します。
Snowflakeコネクタフローレジストリを構成すると、既存のコネクタのバージョン管理を有効にできます。
既存のコネクタのバージョン管理を有効にするには、次を実行します。
コンソールに移動し、バージョン管理を追加するプロセスグループを見つけます。
プロセスグループを右クリックして、Version`|raa|:ui:`Set Version を選択します。
Set Version ダイアログで、プロセスグループに合ったフローを選択します。
For example, choose sqlserver if you are using the SQL Server connector.
フロー名はコネクタ名と完全に一致しないことに注意してください。
最新バージョンを選択し、Set version を選択してバージョン管理を有効にします。
キャンバスから、プロセスグループをもう一度右クリックし、Version`|raa|:ui:`Revert Local Changes を選択して、最新のコネクタバージョンを適用します。
変更リストを確認し、Revert を選択します。
コネクタが最新バージョンにアップグレードされたことを確認すると、緑のチェックマークが表示されます。プロセスグループの右下にある出力にカーソルを合わせると、バージョンを検証することもできます。