Snowpipe Streaming Classic 비용¶
Snowpipe Streaming의 서버리스 컴퓨팅 모델을 사용하면 사용자는 가상 웨어하우스를 관리할 필요 없이 어떤 데이터 볼륨이라도 스트리밍할 수 있습니다. 대신, Snowflake가 컴퓨팅 리소스를 제공 및 관리하여 현재 Snowpipe Streaming 로드에 따라 용량을 자동으로 확장하거나 감소합니다.
Snowpipe Streaming Classic의 경우, 서버리스 컴퓨팅 및 활성 클라이언트 스트림 수집이 사용하는 초당 시간을 기준으로 계정에 요금이 부과됩니다. 다음 사항에 유의하십시오.
파일 마이그레이션은 스트림 수집에서 비동기적으로 이루어집니다.
클러스터링 또는 기타 DML 작업이 파일 마이그레이션보다 먼저 수행될 수 있습니다.
파일 마이그레이션이 항상 발생하는 것은 아니므로 컴퓨팅 비용이 절감될 수 있습니다.
Snowflake 관리 Apache Iceberg™ 테이블의 경우 파일 마이그레이션은 필요한 경우 압축된 새 Parquet 파일을 생성하기 위해 Iceberg 테이블 유지 관리와 유사하게 작동합니다.
자세한 내용은 Snowflake 서비스 사용 테이블 의 “서버리스 기능 크레딧 테이블”을 참조하십시오.
Snowpipe Streaming 요금 추정하기¶
Snowpipe Streaming 로드는 매우 다양한 요소로 구분되므로, Snowflake가 샘플 비용을 제공하는 것은 매우 어렵습니다. 레코드 크기, 레코드 수, 데이터 타입 등은 파일 마이그레이션을 위한 컴퓨팅 리소스 사용에 영향을 줄 수 있습니다. 클라이언트 요금은 초 단위를 기준으로 Snowflake에 데이터를 능동적으로 기록하는 클라이언트 수에 따라서만 결정됩니다.
그러므로 일반적인 스트리밍 수집 로드를 수행하여 실험을 통해 향후 요금을 추정하는 것이 좋습니다. 예상 비용과 함께 스트리밍 수집 실험 샘플을 보려면 이 블로그 게시물 을 참조하십시오.
임시 파일 저장소 및 청구¶
Snowpipe Streaming API는 사용자가 파일을 명시적으로 스테이징할 필요 없이 Snowflake 테이블에 직접 행을 쓰도록 설계되었지만, Snowpipe Streaming Classic에서 Snowflake의 내부 프로세스는 데이터의 임시 버퍼링을 위해 투명한 내부 스테이지를 사용합니다. 클래식 아키텍처 SDK를 사용한 Snowpipe Streaming은 중간 파일을 생성하여 이 내부 스테이지에 업로드한 후 Snowflake의 네이티브 파일 형식으로 변환합니다.
Snowflake는 내부 스테이지에서 이러한 임시 파일이 사용하는 저장소에 대해 요금을 청구합니다. 이 저장소 비용은 Snowpipe Streaming 서버리스 컴퓨팅 비용과 별개이며 Snowflake 청구서의 일반 ‘저장소 비용’ 아래에 표시됩니다.
내부 스테이지에서 이러한 임시 파일의 보존 기간은 대상 테이블의 데이터 보존 시간(또는 특정 테이블 보존이 설정되지 않은 경우 계정 수준 보존)과 직접적으로 연결됩니다. Snowflake는 정의된 Time Travel 윈도우를 벗어나면 이러한 파일을 자동으로 삭제합니다. 일반적으로, 이러한 삭제는 데이터의 보존 기간이 종료된 후 1일 이내에 발생합니다. 사용자는 이러한 내부 스테이지 파일에 직접 액세스하거나 볼 수 없습니다.
Snowpipe Streaming을 사용하여 테이블 복제하기¶
사용자가 클래식 아키텍처를 사용하는 Snowpipe Streaming을 통해 능동적으로 데이터를 수신하는 테이블을 복제하는 경우 더 높은 저장소 비용이 발생할 수 있습니다. 이 추가 비용은 기본 데이터 파일의 중복으로 인한 것이 아닙니다. Snowflake는 제로 카피 복제를 수행합니다. 하지만 전송 중인 데이터(클래식 아키텍처 SDK를 사용하여 Snowpipe Streaming에서 처리되고 일시적으로 내부 스테이지에 저장되었지만 아직 대상 테이블에 완전히 커밋되지 않은 데이터)의 경우 기존 테이블과 복제본 모두에 대한 파일 마이그레이션이 필요하기 때문에 비용이 증가할 수 있습니다. 임시 파일의 이러한 이중 처리로 인해 파일 마이그레이션 사용량이 증가하고 저장소 사용량이 증가합니다. 이 추가 비용은 일반적으로 최대 약 5분 분량의 임시 파일을 반영하는 매우 작은 수준이지만, 시스템에서 이러한 마이그레이션 지연이 발생하는 경우 처리량이 매우 높아져 비용이 더 커질 수 있습니다. 이러한 중복으로 인해 저장소 사용량이 증가합니다.
반대로, 고성능 아키텍처를 사용하는 Snowpipe Streaming은 스트리밍 데이터를 능동적으로 수신하는 테이블에 대해 진정한 제로 카피 복제를 제공합니다. 고성능 아키텍처에서는 복제 작업이 표준 Snowflake 테이블 복제본처럼 동작합니다. 즉, 복제 작업 후에 작성된 새 데이터만 추가 저장소를 사용합니다. 복제 시점에 전송 중인 데이터에는 이러한 이중 마이그레이션이 적용되지 않습니다. 결과적으로 스트리밍 테이블에 대한 비용 효율적인 복제의 이점을 누릴 수 있습니다.
계정의 데이터 로드 내역 보기¶
계정 관리자(ACCOUNTADMIN 역할의 사용자) 또는 MONITOR USAGE 전역 권한이 부여된 역할을 보유한 사용자는 SQL 명령을 사용하여 지정된 날짜 범위 내에서 Snowflake 계정에 청구된 크레딧을 확인할 수 있습니다. 다음 뷰를 사용하여 Snowflake 테이블로 마이그레이션된 데이터의 기록, Snowpipe Streaming을 사용하여 데이터를 Snowflake 테이블로 로드하는 데 소요된 시간 및 소비된 크레딧을 쿼리할 수 있습니다.
컴퓨팅 비용과 클라이언트 비용을 모두 포함한 총 Snowpipe Streaming 비용을 보려면 SERVICE_TYPE 이 SNOWPIPE_STREAMING 으로 설정된 경우 미터링 기록을 쿼리합니다.
총 Snowpipe Streaming 비용 쿼리에 대한 자세한 내용은 SQL 예제 섹션을 참조하십시오.
클라이언트 수집 및 마이그레이션 컴퓨팅에 대한 자세한 분석을 보려면 다음 뷰를 쿼리할 수 있습니다.