2024년 11월 15일 — Apache Iceberg™ 테이블: 효율적인 대량 로딩, 연속 수집 및 데이터 스트리밍 — 일반 공급¶

이번 릴리스를 통해, Snowflake는 다음과 같은 기능을 일반 공급으로 제공합니다. 이 기능은 효율적인 대량 로딩, 연속 수집, 그리고 Snowflake가 관리하는 Iceberg 테이블로의 데이터 스트림을 지원합니다.

이제 COPY INTO <table>, Snowpipe, Snowpipe Streaming과 같은 동일한 핵심 Snowflake 수집 기능을 사용하여 표준 Snowflake 테이블과 Iceberg 테이블 모두에 데이터를 로딩할 수 있습니다.

자세한 내용은 Apache Iceberg™ 테이블에 데이터 로드하기 섹션을 참조하십시오.

COPY INTO <table> 및 Snowpipe 연속 파일 수집¶

다음 LOAD_MODE 옵션과 COPY INTO <테이블> 명령 및 Snowpipe 자동 로딩 을 사용하여 파일에서 Snowflake가 관리하는 Iceberg 테이블로 데이터를 로딩할 수 있습니다.

FULL_INGEST: 지원되는 모든 파일 형식에서 데이터를 로딩하고, 검증된 Iceberg 호환 Parquet로 변환하며, 선택적으로 로딩하기 전에 데이터를 변환하거나 필터링할 수 있습니다.
ADD_FILES_COPY: 서버 측에서 테이블의 기본 위치로 파일 복사를 수행하고 파일을 테이블에 빠르게 등록하여 Iceberg와 호환되는 Parquet 데이터 파일의 데이터를 로딩합니다.

Snowpipe Streaming¶

Snowflake Ingest SDK 버전 3.0.0 이상에서는 Snowpipe Streaming을 통해 Snowflake가 관리하는 Iceberg 테이블로 행을 스트리밍할 수 있습니다. 이 기능을 사용하려면 profile.json 파일에서 ENABLE_ICEBERG_STREAMING=true 속성을 설정합니다.

자세한 내용은 Apache Iceberg™ 테이블에 데이터 로드하기 섹션을 참조하십시오.