Openflow 관리하기

이 항목에서는 Openflow 구성 요소를 관리하는 단계에 대해 설명합니다.

배포 삭제

배포를 삭제하면 관리 컴퓨팅 풀과 모든 배포 수준 구성이 제거됩니다. 먼저 모든 런타임을 삭제해야 합니다. Snowflake에 이미 통합된 데이터 또는 오브젝트는 영향을 받지 않습니다.

경고

배포 삭제는 실행 취소할 수 없습니다. 삭제하기 전에 모든 런타임이 제거되었고 더 이상 배포 구성이 필요하지 않은지 확인하세요.

AWS 콘솔에서:

  1. EC2 인스턴스로 이동합니다.

  2. 배포 키가 있는 openflow-agent-{deployment-key} 인스턴스를 선택합니다.

  3. 페이지의 상단에 있는 :extui:`Connect`를 클릭합니다.

  4. EC2 Instance Connect 에서 Connect using EC2 Instance Connect Endpoint 로 변환합니다. 기본값인 EC2 Instance Connect 엔드포인트를 그대로 둡니다.

  5. :extui:`Connect`를 클릭합니다. 명령줄 인터페이스가 있는 새 브라우저 탭 또는 윈도우가 표시됩니다.

  6. 셸에서 ``./destroy.sh``를 실행합니다.

    • 이 작업은 20~30분 정도 걸릴 수 있습니다. 연결이 중단되면 프로세스가 백그라운드에서 계속 실행됩니다.

    • 다시 로그인하고 journalctl -u docker -f -n 250 명령을 사용하여 상태를 확인할 수 있습니다.

    • delete successful``의 출력이 표시되면 ``destroy 프로세스가 완료된 것입니다.

  7. 해당 리전의 AWS 콘솔에서 `CloudFormation<https://us-east-1.console.aws.amazon.com/cloudformation/home>`_으로 이동합니다.

  8. 배포를 위해 CloudFormation 스택을 삭제합니다.

Snowsight에서:

  1. 탐색 메뉴에서 Ingestion » Openflow 를 선택합니다.

  2. Launch Openflow 을 선택합니다.

  3. Deployments 탭을 선택합니다.

  4. 삭제하려는 배포 행에서 추가 옵션 아이콘을 선택합니다.

  5. Delete 을 선택합니다.

  6. 확인 대화 상자에서 ``delete``를 입력하여 삭제를 확인합니다.

  7. Delete deployment 을 클릭합니다.

배포 업그레이드

배포에는 에이전트, 배포 서비스, 배포 UI, 런타임 게이트웨이 및 런타임 연산자 등 여러 구성 요소가 포함됩니다. UI를 통해 업그레이드하거나 BYOC 배포의 경우 배포 에이전트 스크립트를 통해 업그레이드할 수 있습니다. 각 릴리스에 포함된 사항에 대한 자세한 내용은 :doc:`Openflow 버전 기록 <version-history>`을 참조하세요.

참고

배포 소유자만 업그레이드를 수행할 수 있습니다.

UI에서 업그레이드

  1. Snowsight 에 로그인합니다.

  2. 탐색 메뉴에서 Ingestion » Openflow 를 선택합니다.

  3. Launch Openflow 을 선택합니다.

  4. Deployments 탭을 선택합니다.

  5. 배포 이름 왼쪽에서 업그레이드 화살표를 찾습니다. 이는 업그레이드가 가능함을 나타냅니다.

    배포 이름 옆에 업그레이드 화살표 표시기를 보여주는 배포 탭
  6. » Upgrade 배포 옆에 있는 더 많은 옵션을 나타내는 세 개의 세로 점 을 선택합니다.

배포 에이전트를 통한 업그레이드(BYOC)

BYOC 배포의 경우, 배포 에이전트 스크립트를 사용하여 에이전트, 배포 서비스, 배포 업그레이드 UI, 런타임 게이트웨이 및 런타임 연산자를 업그레이드합니다.

배포 에이전트에 연결하기

  1. Openflow로 이동합니다.

  2. Deployments 탭을 선택합니다.

  3. 배포 세부 정보를 보고 배포 키를 기록합니다.

  4. AWS 계정에서 배포 키를 사용하여 EC2 인스턴스 및 필터를 확인합니다.

  5. 이름이 ``openflow-agent-{deployment-key}``인 배포 에이전트 EC2 인스턴스를 찾습니다.

  6. EC2 Instance Connect Endpoint를 사용하여 연결하고 모든 기본값을 수락합니다.

  7. 명령줄 인터페이스와 함께 표시되는 새 브라우저 탭 또는 창에서 나머지 명령을 실행합니다.

사용할 수 있는 업그레이드 확인

cat ~/.upgrade
Copy

스크립트는 다양한 배포 구성 요소의 사용 가능한 최신 버전을 표시합니다.

사용할 수 있는 업그레이드가 없으면 다음과 유사한 출력이 표시됩니다.

AGENT_IMAGE_VERSION_UPGRADE=
OPERATOR_CHART_VERSION_UPGRADE=
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=

그렇지 않으면 다음과 같이 업그레이드된 구성 요소에서 사용할 버전이 표시됩니다.

AGENT_IMAGE_VERSION_UPGRADE=0.17.0
OPERATOR_CHART_VERSION_UPGRADE=0.31.0
GATEWAY_IMAGE_VERSION_UPGRADE=
DPS_CHART_VERSION_UPGRADE=
DPUI_CHART_VERSION_UPGRADE=

Openflow BYOC 배포에 대한 AMI 업그레이드

Openflow BYOC 배포를 업그레이드할 때 Openflow는 `AWS Systems Manager<https://aws.amazon.com/systems-manager/>`_에서 권장하는 Amazon Linux 2023용 최신 AMI를 찾아 해당 버전으로 업그레이드합니다.

새 AMI가 발견되면 배포의 모든 Openflow 서비스가 다시 시작되고 런타임이 일시적으로 중지됩니다. Openflow 런타임 및 커넥터는 다시 시작할 때 자동으로 데이터 무결성을 유지합니다.

Snowflake는 배포를 자동으로 업그레이드하지 않습니다. 업그레이드 타이밍과 빈도는 사용자가 결정합니다.

업그레이드 시작

출력에 업그레이드가 가능하다고 표시되면 다음 스크립트를 실행하여 업그레이드를 시작합니다. 이전 Openflow 배포에서는 대신 스크립트 ``upgrade-data-plane.sh``를 사용할 수 있습니다.

./upgrade.sh
Copy

다음과 유사한 출력이 표시됩니다.

openflow-data-plane-agent-aws is set to version 0.16.0
   Upgrade set to version 0.17.0
openflow-dataplane-service-chart is set to version 0.47.0
   No upgrade is available
openflow-dataplane-ui-chart is set to version 0.5.0
   No upgrade is available
openflow-runtime-gateway is set to version 2025.6.8.2
   No upgrade is available
runtime-operator-chart is set to version 0.30.0
   Upgrade set to version 0.31.0

그런 다음 두 가지 옵션이 있습니다.

  • 자동 업그레이드 대기: 시스템이 약 10분 이내에 자동으로 업그레이드 프로세스를 시작합니다.

  • 수동 업그레이드: 업그레이드를 즉시 시작하려면 다음 명령을 실행하십시오.

./create.sh
Copy

업그레이드 프로세스 모니터링

업그레이드 진행 상황을 추적하려면 journalctl 명령을 사용하십시오.

journalctl -u openflow-apply-infrastructure -f -n 250
Copy

성공적인 업그레이드 확인

업그레이드에 성공하면 일반적으로 다음과 유사한 출력이 표시됩니다.

All resources applied successfully and log uploaded to s3
openflow-apply-infrastructure.service: Deactivated successfully

런타임 업그레이드

Snowflake는 새로운 Openflow 프로세서, 최신 버전의 기존 프로세서 또는 새로운 런타임 기능을 도입하는 런타임 업데이트를 주기적으로 릴리스합니다. 업데이트가 제공되면 UI의 런타임 이름 옆에 표시기가 나타납니다. 각 릴리스에 포함된 사항에 대한 자세한 내용은 :doc:`Openflow 버전 기록 <version-history>`을 참조하세요.

참고

배포 소유자만 업그레이드를 수행할 수 있습니다.

  1. Snowsight 에 로그인합니다.

  2. 탐색 메뉴에서 Ingestion » Openflow 를 선택합니다.

  3. Launch Openflow 을 선택합니다.

  4. Runtimes 탭을 선택합니다.

  5. 런타임 이름 왼쪽에서 업그레이드 화살표를 찾습니다. 이는 업그레이드가 가능함을 나타냅니다.

    런타임 이름 옆에 업그레이드 화살표 표시기를 보여주는 런타임 탭
  6. 런타임 » Upgrade 옆에 있는 더 많은 옵션을 나타내는 세 개의 세로 점 을 선택합니다.

커넥터 업그레이드하기

커넥터 업데이트는 새 소스 API 버전에 대한 지원을 추가하는 경우처럼 기능이 추가되거나 처리 논리가 개선되거나 새 프로세서 버전이 사용될 때 Snowflake에서 제공됩니다.

커넥터 업데이트가 제공되면 캔버스의 프로세스 그룹에 Upgrade 아이콘이 표시됩니다.

참고

커넥터는 :ref:`런타임이 업그레이드<label-openflow_upgrading_a_runtime>`된 후에만 업그레이드할 수 있습니다.

커넥터를 업그레이드하려면 다음을 수행합니다.

  1. 탐색 메뉴에서 Ingestion » Openflow 를 선택합니다.

  2. Launch Openflow 을 선택합니다.

  3. Runtimes 탭을 선택합니다.

  4. 런타임 이름을 선택하거나 More Options 메뉴에서 :ui:`View Canvas`를 선택하여 캔버스로 이동합니다.

  5. 이름 옆에 빨간색 업그레이드 화살표가 있는 프로세서 그룹을 찾습니다. 이러한 각 그룹의 버전을 변경합니다.

    1. 권장: 매개 변수가 매개 변수 컨텍스트에 대해 사용자 지정 값을 사용하는지 여부를 확인합니다. 그렇다면 해당 사용자 지정 값을 기록해 둡니다. 업그레이드 후 이러한 값을 다시 적용해야 합니다.

      1. 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 :ui:`Parameters`를 선택합니다.

      2. 매개 변수 컨텍스트 목록에서 :ui:`Parameters`를 선택합니다.

      3. Inheritance 탭을 선택하고 사용자 지정 값을 사용하는지 확인합니다. 그렇다면 해당 사용자 지정 값을 기록해 둡니다.

    2. 그룹을 마우스 오른쪽 버튼으로 클릭하고 Version » :ui:`Change Version`을 선택합니다.

    3. 사용 가능한 최신 버전을 선택하고 :ui:`Change`를 선택합니다.

    4. 커넥터가 최신 버전으로 업그레이드되었는지 확인합니다. 업그레이드된 버전에는 녹색 확인 표시가 표시됩니다.

    5. 커넥터의 프로세스 그룹에 있는 모든 프로세서가 실행 중인지 확인합니다. 그렇지 않은 경우 시작합니다.

      프로세스 그룹의 오른쪽 하단에 있는 말풍선을 마우스로 가리켜 버전의 유효성을 검사할 수도 있습니다.

    6. 4단계에서 사용자 지정 매개 변수 값을 기록한 경우 해당 사용자 지정 값을 다시 적용합니다. 자세한 내용은 Openflow 커넥터 섹션을 참조하세요.

Snowflake Connector Flow Registry 구성하기

중요

Openflow의 초기 미리 보기 릴리스에서는 커넥터 업그레이드를 위한 런타임이 구성되지 않았습니다. 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭할 때 버전 옵션이 표시되지 않으면 Snowflake Connector Flow Registry를 구성하고 기존 커넥터에 대한 버전 제어를 수동으로 활성화해야 합니다.

Snowflake Connector Flow Registry를 구성하려면 다음을 수행합니다.

  1. 캔버스로 이동합니다.

  2. 오른쪽 상단의 메뉴를 클릭하고 :ui:`Controller Settings`를 선택합니다.

  3. Registry Clients 탭으로 전환합니다.

  4. + 아이콘을 클릭하여 새 레지스트리 클라이언트를 추가합니다.

  5. :ui:`ConnectorFlowRegistryClient`를 선택한 후 :ui:`Add`를 선택합니다.

  6. ConnectorFlowRegistryClient`의 :ui:`More Options 행을 클릭하고 :ui:`Edit`를 선택합니다.

  7. Storage Location`에 대한 값으로 :file:/nifi/configuration_resources/connector_flow_registry`를 입력한 후 :ui:`Apply`를 선택합니다.

Snowflake Connector Flow Registry를 구성한 후에는 기존 커넥터에 대한 버전 제어를 활성화할 수 있습니다.

기존 커넥터에 대한 버전 제어를 활성화하려면 다음을 수행합니다.

  1. 캔버스로 이동하여 버전 제어를 추가하려는 프로세스 그룹을 찾습니다.

  2. 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Version » :ui:`Set Version`을 선택합니다.

  3. Set Version 대화 상자에서 프로세스 그룹과 일치하는 흐름을 선택합니다.

    예를 들어, SQL Server 커넥터를 사용하는 경우 **sqlserver**를 선택합니다.

    흐름 이름은 커넥터 이름과 정확히 일치하지 않습니다.

  4. 최신 버전을 선택한 다음 :ui:`Set version`을 선택하여 버전 제어를 활성화합니다.

  5. 캔버스에서 프로세스 그룹을 마우스 오른쪽 버튼으로 다시 클릭하고 Version » :ui:`Revert Local Changes`를 선택하여 최신 커넥터 버전을 적용합니다.

  6. 변경 사항 목록을 검토하고 :ui:`Revert`를 선택합니다.

  7. 커넥터가 최신 버전으로 업그레이드되었는지 확인합니다. 이제 녹색 확인 표시가 표시됩니다. 프로세스 그룹의 오른쪽 하단에 있는 말풍선을 마우스로 가리켜 버전의 유효성을 검사할 수도 있습니다.