Openflow를 사용하여 데이터 플로우 만들기

이 항목에서는 Openflow에서 데이터 플로우를 만드는 프로세스에 대해 설명합니다.

전제 조건

Openflow 설정하기

절차

런타임 환경이 설정되었으면 간단한 데이터 파이프라인을 만들어 보겠습니다. 예를 들어, 지정된 스키마를 기반으로 레코드를 생성하고 SQL 쿼리를 기반으로 해당 레코드를 필터링한 다음 데이터를 Snowflake로 전송해 보겠습니다.

데이터 플로우를 구축하는 방법에 대한 자세한 설명은 Apache NiFi 설명서 를 참조하십시오.

  1. Openflow 애플리케이션을 엽니다. 비어 있을 가능성이 있는 큰 그리드 영역을 캔버스라고 하며 데이터 플로우를 구현하기 위해 만들 구성 요소의 홈입니다.

  2. 프로세스 그룹을 생성합니다. 페이지 상단의 도구 팔레트에서 프로세스 그룹 아이콘을 캔버스로 끌어다 놓습니다. 포인터를 릴리스하면 프로세스 그룹 만들기 팝업이 표시됩니다.

  3. 데이터 플로우의 이름(예: 플로우 예시)을 입력하고 Add 를 클릭합니다.

  4. 선택 사항: 방금 생성한 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 상황에 맞는 메뉴에서 Enter Group ` 을 선택합니다. 원하는 경우 프로세스 그룹을 두 번 클릭하면 됩니다. 이렇게 하면 캔버스의 최상위 수준에서 시각적으로 추상화할 수 있습니다.

  5. 프로세서를 추가합니다. 프로세서를 추가하려면 Processor 도구를 선택하고 캔버스로 드래그한 후 클릭을 릴리스합니다.

    Add Processor 대화 상자가 나타납니다.

  6. 목록에서 GenerateRecord ` 프로세서를 선택하고 Add 를 클릭합니다.

    이제 캔버스에 새로 추가된 프로세서가 표시됩니다.

    참고

    여러 프로세서를 추가할 수 있습니다.

  7. 다음 프로세서를 추가합니다. 이후 단계에서 구성됩니다.

    1. QueryRecord

    2. PutDatabaseRecord

  8. 프로세서를 구성합니다.

    프로세서를 두 번 클릭합니다. Edit Processor 대화 상자가 나타납니다.

    다음 속성을 수정했습니다.

    1. 설정

    2. 예약하기

    3. 속성

    4. 관계:

    5. 주석

  9. 프로세서 간에 연결을 생성합니다.

    1. 첫 번째 프로세서 위로 마우스를 가져갑니다. 프로세서 중앙에 화살표가 있는 원이 표시됩니다.

    2. 안쪽에 화살표가 있는 원을 클릭하고 포인터를 두 번째 프로세서 쪽으로 드래그합니다. 이렇게 하면 연결할 준비가 되지 않았음을 나타내는 빨간색 점선이 생성됩니다.

    3. 스프라이트를 두 번째 프로세서 위로 이동합니다.

      점선이 녹색으로 바뀌고 대상 프로세서 주위에 녹색 테두리가 표시됩니다.

    4. 마우스를 릴리스합니다. Create Connection 팝업 윈도우가 표시됩니다.

    5. From Processor 및 To Processor 이름에 유의하십시오. :ui: ‘Relationships` 섹션을 선택하고 Success 를 확인합니다.

    6. Add 를 클릭합니다. 새 연결이 생성됩니다.

    연결은 다음 프로세서가 트리거되어 이를 소비할 때까지 이를 보관하는 FlowFiles 의 큐에 의해 지원됩니다.

  10. SnowflakeConnectionService 컨트롤러 서비스를 플로우에 추가합니다.

  11. 컨트롤러 서비스를 편집하고 필수 필드를 채웁니다.

  12. Snowflake 계정에 로그인하여 데이터베이스를 생성합니다.

  13. 데이터베이스의 PUBLIC 스키마에서 표준 테이블을 생성합니다.

create table SAMPLE_DATA (
    name STRING,
    country STRING
)
Copy

  1. Openflow에서 플로우를 실행합니다.

  2. 데이터를 쿼리합니다.

언어: 한국어