스트림 및 작업 소개

Snowflake는 스트림과 작업을 사용하여 연속 데이터 파이프라인을 지원합니다.

스트림:

스트림 오브젝트는 삽입 및 기타 데이터 조작 언어(DML) 변경 등 테이블(예: 스테이징 테이블)에 대한 변경 데이터 캡처(CDC) 정보의 델타를 기록합니다. 스트림을 사용하면 두 트랜잭션 시점 간에 행 수준에서 테이블 변경 사항을 쿼리하고 사용할 수 있습니다.

연속 데이터 파이프라인에서 테이블 스트림은 연속 데이터 로딩을 사용하여 비즈니스 애플리케이션의 데이터로 스테이징 테이블 및 모든 다운스트림 테이블이 채워지고 SQL 문을 사용하여 추가 처리를 위해 준비되는 시점을 기록합니다.

자세한 내용은 스트림 소개 섹션을 참조하십시오.

작업:

태스크 오브젝트는 저장 프로시저 호출을 포함할 수 있는 SQL 문을 실행합니다. 작업은 예약에 따라 또는 데이터 도착과 같이 정의한 트리거에 따라 실행할 수 있습니다. 작업 그래프를 사용하여 작업을 서로 연결하고 방향성 비순환 그래프(DAGs)를 정의하여 보다 복잡한 주기적 처리를 지원할 수 있습니다. 자세한 내용은 작업 소개 및 작업 그래프를 사용한 작업 종속성 관리 섹션을 참조하십시오.

작업을 테이블 스트림과 결합하면 새 데이터나 변경된 데이터를 지속적으로 처리할 수 있는 편리하고 강력한 방법이 됩니다. 작업은 스트림이 SYSTEM$STREAM_HAS_DATA 를 사용하여 표시되는 새 행 또는 변경된 행을 변환할 수 있습니다. 작업이 실행될 때마다 변경 데이터를 소비하거나 변경 데이터가 없는 경우 현재 실행을 건너뛸 수 있습니다.

다른 연속 데이터 파이프라인 기능은 다음을 참조하십시오.

언어: 한국어