클라우드 메시징을 사용한 연속 데이터 로딩 자동화하기¶
자동화된 데이터 로드는 클라우드 저장소에 대한 이벤트 알림을 활용하여 Snowpipe에 로드할 새 데이터 파일이 수신되었음을 알립니다. Snowpipe는 지정된 파이프 오브젝트에 정의된 매개 변수를 기반으로 연속적인 서버리스 방식으로 대상 테이블에 로드되는 큐에 파일을 복사합니다.
참고
자동화된 Snowpipe는 이벤트 알림을 사용하여 새 파일이 클라우드 저장소의 모니터링되는 외부 스테이지에 도착하여 로딩할 준비가 되면 이를 확인합니다. 알림은 클라우드 저장소 이벤트를 식별하며 파일 이름 목록이 포함됩니다. 파일의 실제 데이터는 포함되지 않습니다.
파이프가 일시 중지되는 경우, 파이프에 수신된 이벤트 메시지에서는 제한적인 보존 기간이 시작됩니다. 이 기간은 기본적으로 14일입니다. 파이프가 14일을 초과하여 일시 중지되면 부실한 것으로 간주됩니다.
파이프의 일시 중지 기간 동안 수신된 이벤트 알림은 제한적인 기간(14일) 동안만 유지됩니다. 각 알림이 이 기간의 끝에 도달하면 Snowflake는 내부 메타데이터에서 알림을 삭제하도록 예약합니다. 파이프가 나중에 재게되면 Snowpipe는 14일 이전의 알림을 처리하기 위해 최선을 다합니다. Snowflake는 이러한 오래된 알림이 처리된다고 보장할 수 없습니다.
부실 파이프에 대한 내용은 Snowpipe 관리하기 를 참조하십시오.
다음 테이블은 계정을 호스팅하는 클라우드 플랫폼 을 기준으로 클라우드 저장소 이벤트 알림을 사용하여 외부 스테이지의 데이터를 Snowflake 계정으로 자동 로딩하는 데 지원되는 클라우드 저장소 서비스를 나타냅니다.
Snowflake 계정 호스트 |
Amazon S3 |
Google Cloud Storage |
Microsoft Azure Blob 저장소 |
Microsoft Data Lake Storage Gen2 |
Microsoft Azure 범용 v2 |
|---|---|---|---|---|---|
Amazon Web Services |
✔ |
✔ |
✔ |
✔ |
✔ |
Google Cloud |
✔ |
✔ |
✔ |
✔ |
✔ |
Microsoft Azure |
✔ |
✔ |
✔ |
✔ |
✔ |
중요
비용, 이벤트 노이즈, 대기 시간을 줄이기 위해 Snowpipe에 대해 클라우드 이벤트 필터링을 사용하는 것이 좋습니다. 각 클라우드 공급자의 이벤트 필터링 구성에 대한 자세한 내용은 다음 페이지를 참조하십시오.
다음 항목: