Openflow Connectors 대시보드를 사용하여 커넥터 모니터링¶

커넥터 필터링¶

Openflow Connectors 대시보드는 다음 필터를 지원합니다.

Event table

모니터링할 Openflow 커넥터 이벤트 테이블입니다. 이 필터는 하나 이상의 Openflow 배포와 연결된 이벤트 테이블 및 기본 이벤트 테이블과 계정 이벤트 테이블을 표시합니다. 한 번에 하나의 이벤트 테이블만 선택할 수 있습니다. 이벤트 테이블 뷰도 지원됩니다.

이벤트 테이블은 Openflow를 설정할 때 지정됩니다.

팁

Openflow 배포와 관련된 이벤트 테이블을 보려면 DESCRIBE OPENFLOW DATA PLANE INTEGRATION 명령을 사용합니다. 이벤트 테이블 구성에 대한 자세한 내용은 Openflow - Snowflake 배포 설정 또는 Openflow - BYOC 설정 섹션을 참조하세요.

시간 프레임

이 필터를 사용하여 특정 시간 프레임 내 관련 커넥터를 식별합니다.

팁

커넥터 상태에 대한 최신 결과를 얻으려면 Last Hour 기간을 선택합니다.

Status

Healthy, Unhealthy 또는 All 커넥터에 대한 필터링을 활성화합니다.

Source

알려진 배포된 커넥터를 기반으로 소스 시스템별로 필터링할 수 있습니다. 필터는 커넥터에서 사용하는 소스만 표시합니다.

Deployment

Snowflake Openflow 배포별로 필터링할 수 있습니다.

이 필터는 OPENFLOW_DATAPLANE_ 접두사 뒤에 배포 ID가 오는 데이터 플레인 통합 이름을 표시합니다. 배포 ID를 찾으려면 Openflow로 이동하여 Deployments 탭을 선택한 후 View Details 를 선택합니다.

Runtime

Snowflake Openflow 런타임별로 필터링할 수 있습니다.

이 필터는 런타임 키를 표시합니다. 런타임 키를 UI의 Openflow 런타임 이름과 대조하려면 Openflow로 이동하여 Runtimes 탭을 선택한 후 View Details 를 선택하여 해당 키를 찾습니다.

Type

다음의 커넥터 유형별로 필터링할 수 있습니다. 데이터베이스, SaaS, 스트리밍, 비정형, 기타.

변경 데이터 캡처 커넥터¶

세부 정보 페이지에는 변경 데이터 캡처 구성에 포함된 각 테이블에 대한 다음 정보가 표시됩니다.

Table replication status

테이블은 Active 또는 Failed 복제 상태 중 하나일 수 있습니다. 복제 상태는 테이블에 대해 확인할 수 있는 최근의 원격 분석 이벤트를 기반으로 합니다. 테이블의 복제를 실패하게 만드는 이벤트가 발생하면 대시보드에서 바로 Failed 복제 상태가 표시됩니다. Failure Reason 메시지를 사용하여 문제를 식별합니다.

Error distribution

커넥터에 문제가 발생한 시점을 파악하여 소스 시스템, 커넥터 구성 또는 Snowflake 대상과 관련된 잠재적인 문제를 식별하는 데 도움이 됩니다.

Table name

커넥터를 통해 복제하도록 구성한 모든 테이블의 스키마 및 테이블 이름을 표시합니다. 목록은 커넥터의 Included Table Names 또는 Included Table Regex 구성 매개 변수와 일치합니다.

Replication status

각 테이블이 Active 복제 상태인지 Failed 복제 상태인지 표시합니다.

Replication phase

현재 테이블 복제 단계를 표시합니다. 커넥터에서 구성이 완료되면 테이블은 New 복제 단계로 들어가 Snapshot Load 단계를 진행하고 초기 로드를 수행하며, 개별 변경 데이터 캡처 이벤트가 처리되면 최종적으로 Incremental Replication 단계로 들어갑니다.

Last Ingested

선택한 시간 프레임 동안 대상 테이블에 마지막으로 삽입된 레코드의 타임스탬프를 표시합니다. 이 메트릭을 살펴볼 때는 레코드가 수집된 시점과 이벤트가 기록되어 쿼리할 수 있는 시점 사이에 짧은 지연이 발생할 수 있다는 점을 고려하세요.

Replication status, Replication phase 및 시간 프레임 필터를 사용하여 테이블 목록의 범위를 좁힐 수 있습니다.

모든 커넥터¶

Connector status

커넥터 상태를 표시합니다. 선택한 시간 프레임 동안 오류 메시지가 발생하지 않은 경우 Healthy 가 표시되고, 오류 메시지가 발생한 경우 Unhealthy 가 표시됩니다.

Error distribution

선택한 기간 동안 이 커넥터에 발생한 오류 수를 표시합니다.

Average throughput

선택한 커넥터에 대해 소스 시스템에서 데이터를 읽고 Snowflake로 수집하는 속도를 측정합니다.

• Average throughput » Ingested 메트릭은 선택한 커넥터가 데이터를 Snowflake로 수집하는 속도를 측정합니다.

• Average throughput » Read 메트릭은 선택한 커넥터가 소스 시스템에서 데이터를 읽는 속도를 측정합니다.

Total data ingested

선택한 커넥터가 선택한 기간 동안 Snowflake에 수집한 데이터의 양을 표시합니다. 이 메트릭을 사용하여 특정 기간 동안의 수집 변칙을 빠르게 식별합니다.

사용자 지정 흐름¶

Openflow 캔버스에 구축된 사용자 지정 흐름도 대시보드에서도 모니터링할 수 있지만, Openflow Git 통합을 사용하여 고객 Git 리포지토리에서 적극적으로 버전이 관리되고 있는 경우에만 가능합니다. 버전이 관리되지 않는 흐름은 대시보드에 표시되지 않습니다.

자세한 내용은 사용자 지정 흐름을 위한 버전 제어 섹션을 참조하십시오.

커넥터 오류 보기¶

선택한 시간 프레임에 커넥터에서 발생한 모든 오류를 보려면 먼저 » View Details 로 이동한 후 Issues 탭을 선택합니다.

오류 헤드라인에는 커넥터에서 발생한 오류 유형이 표시되며, 오류 내용에는 오류의 전체 스택 추적 정보가 제공됩니다.

커넥터 로그 보기¶

오류 메시지의 컨텍스트를 이해하기 위해 추가 커넥터 로그를 살펴볼 수도 있습니다. 선택한 커넥터의 모든 로그를 보려면 » View logs 를 선택합니다.

로그 탐색기를 연 후 필터를 변경하여 다양한 커넥터 또는 전체 런타임이나 배포에 대한 로그를 볼 수도 있습니다. 로그 탐색기는 데이터 플레인 ID, 런타임 키, 프로세스 그룹 ID와 같은 Openflow 전용 필터를 지원합니다.

Openflow 캔버스에 액세스¶

커넥터 문제를 식별하는 경우 Openflow 캔버스로 이동하여 문제를 해결해야 할 수 있습니다. 예를 들어, 일부 구성 매개 변수를 조정하거나 최신 커넥터 버전으로 업그레이드할 수 있습니다.

Openflow 캔버스에서 선택한 커넥터로 이동하려면 » Go to canvas 를 선택합니다.

대용량 웨어하우스 선택¶

화면의 오른쪽 상단 섹션에 있는 웨어하우스 선택기를 사용하여 쿼리를 실행할 다른 웨어하우스를 선택합니다.

Openflow 이벤트 테이블에서 클러스터링 설정¶

클러스터링 키를 사용하여 쿼리 중 마이크로 파티션의 불필요한 스캔을 방지하고 이러한 열을 참조하는 쿼리의 성능을 크게 가속화할 수 있습니다. 자세한 내용은 데이터 클러스터링이란 무엇입니까? 섹션을 참조하십시오.

다음 쿼리를 실행하여 자리 표시자를 Openflow 이벤트 테이블로 바꿉니다.

ALTER TABLE <database>.<schema>.<event_table_name>
  CLUSTER BY (
    DATE_TRUNC('HOUR', timestamp),
    RECORD_TYPE,
    CAST(record_attributes:"metricNameHash" AS STRING)
  );

쿼리 시간 프레임 줄이기¶

필터에서 더 작은 시간 프레임을 선택하면 스캔하는 데이터가 줄어들고 쿼리 성능이 빨라집니다. 최상의 성능을 얻거나 커넥터 상태와 성능에 대한 최신 뷰를 보려면 Last Hour 필터를 사용합니다.