클라우드 메시징을 사용한 연속 데이터 로딩 자동화하기¶
자동화된 데이터 로드는 클라우드 저장소에 대한 이벤트 알림을 활용하여 Snowpipe에 로드할 새 데이터 파일이 수신되었음을 알립니다. Snowpipe는 지정된 파이프 오브젝트에 정의된 매개 변수를 기반으로 연속적인 서버리스 방식으로 대상 테이블에 로드되는 큐에 파일을 복사합니다.
참고
자동화된 Snowpipe는 이벤트 알림을 사용하여 모니터링되는 클라우드 저장소에 새 파일이 수신되고 로드할 수 있는 시점을 결정합니다. 알림은 클라우드 저장소 이벤트를 식별하며 파일 이름 목록이 포함됩니다. 파일의 실제 데이터는 포함되지 않습니다.
파이프가 일시 중지되는 경우, 파이프에 수신된 이벤트 메시지에서는 제한적인 보존 기간이 시작됩니다. 이 기간은 기본적으로 14일입니다. 파이프가 14일을 초과하여 일시 중지되면 부실한 것으로 간주됩니다.
파이프의 일시 중지 기간 동안 수신된 이벤트 알림은 제한적인 기간(14일) 동안만 유지됩니다. 각 알림이 이 기간의 끝에 도달하면 Snowflake는 내부 메타데이터에서 알림을 삭제하도록 예약합니다. 파이프가 나중에 재게되면 Snowpipe는 14일 이전의 알림을 처리하기 위해 최선을 다합니다. Snowflake는 이러한 오래된 알림이 처리된다고 보장할 수 없습니다.
부실 파이프에 대한 내용은 Snowpipe 관리하기 를 참조하십시오.
다음 테이블은 계정을 호스팅하는 클라우드 플랫폼 을 기반으로 클라우드 저장소 이벤트 알림을 사용하여 Snowflake 계정에 데이터를 자동으로 로드하기 위해 지원되는 클라우드 저장소 서비스를 나타냅니다.
Snowflake 계정 호스트 |
Amazon S3 |
Google Cloud Storage |
Microsoft Azure Blob 저장소 |
Microsoft Data Lake Storage Gen2 |
Microsoft Azure 범용 v2 |
|---|---|---|---|---|---|
Amazon Web Services |
✔ |
✔ |
✔ |
✔ |
✔ |
Google Cloud Platform |
✔ |
✔ |
✔ |
✔ |
✔ |
Microsoft Azure |
✔ |
✔ |
✔ |
✔ |
✔ |
중요
비용, 이벤트 노이즈, 대기 시간을 줄이기 위해 Snowpipe에 대해 클라우드 이벤트 필터링을 사용하는 것이 좋습니다. 각 클라우드 공급자의 이벤트 필터링 구성에 대한 자세한 내용은 다음 페이지를 참조하십시오.
다음 항목: