Introduction to streams and tasks

Snowflake는 스트림과 작업을 사용하여 연속 데이터 파이프라인을 지원합니다.

스트림:

스트림 오브젝트는 삽입 및 기타 데이터 조작 언어(DML) 변경 등 테이블(예: 스테이징 테이블)에 대한 변경 데이터 캡처(CDC) 정보의 델타를 기록합니다. 스트림을 사용하면 두 트랜잭션 시점 간에 행 수준에서 테이블 변경 사항을 쿼리하고 사용할 수 있습니다.

연속 데이터 파이프라인에서 테이블 스트림은 연속 데이터 로딩을 사용하여 비즈니스 애플리케이션의 데이터로 스테이징 테이블 및 모든 다운스트림 테이블이 채워지고 SQL 문을 사용하여 추가 처리를 위해 준비되는 시점을 기록합니다.

자세한 내용은 Introduction to streams 섹션을 참조하십시오.

작업:

A task object runs a SQL statement, which can include calls to stored procedures. Tasks can run on a schedule or based on a trigger that you define, such as the arrival of data. You can use task graphs to chain tasks together, defining directed acyclic graphs (DAGs) to support more complex periodic processing. For more information, see 작업 소개 and 작업 그래프로 작업 시퀀스 생성하기.

작업을 테이블 스트림과 결합하면 새 데이터나 변경된 데이터를 지속적으로 처리할 수 있는 편리하고 강력한 방법이 됩니다. 작업은 스트림이 SYSTEM$STREAM_HAS_DATA 를 사용하여 표시되는 새 행 또는 변경된 행을 변환할 수 있습니다. 작업이 실행될 때마다 변경 데이터를 소비하거나 변경 데이터가 없는 경우 현재 실행을 건너뛸 수 있습니다.

다른 연속 데이터 파이프라인 기능은 다음을 참조하십시오.