카탈로그 콘텐츠 구성하기¶

중요

Snowflake Open Catalog에서 테이블을 제거하지 않고 삭제한 경우 삭제한 테이블과 이름 및 위치가 같은 새 테이블을 생성하지 마십시오. 이렇게 하면 액세스 권한이 없어야 하는 사용자가 원래 테이블의 데이터에 액세스할 수 있습니다. 예를 들어, 저장소 디렉터리 위치가 //Schema1/Table1 인 MyCatalogTable1 을 삭제하지만 제거하지 않는 경우 동일한 Table1 저장소 디렉터리 내에 Table1 을 새로 생성하지 마십시오. 테이블을 제거하지 않고 삭제하면 해당 데이터는 외부 클라우드 저장소에 유지됩니다.

중요

카탈로그에 대해 정의된 액세스 권한이 올바르게 적용되도록 하려면 다음 조건을 충족해야 합니다.

• 디렉터리에는 단일 테이블에 속한 데이터 파일만 포함됩니다.

• 디렉터리 계층 구조는 카탈로그의 네임스페이스 계층 구조와 일치합니다.

카탈로그에 다음 항목이 포함된 경우를 예로 들겠습니다.

• 최상위 네임스페이스 namespace1

• 중첩된 네임스페이스 namespace1a

• 중첩된 네임스페이스 namespace1a 아래에 그룹화된 customers 테이블

• 중첩된 네임스페이스 namespace1a 아래에 그룹화된 orders 테이블

카탈로그의 디렉터리 계층 구조는 다음과 같아야 합니다.

• /namespace1/namespace1a/customers/<files for the customers table *only*>

• /namespace1/namespace1a/orders/<files for the orders table *only*>

이러한 조건은 내부 카탈로그와 외부 카탈로그 모두에 적용되며, 여기에는 Snowflake가 관리하는 Apache Iceberg™ 테이블이 포함된 외부 카탈로그가 포함됩니다. 내부 카탈로그에서 테이블을 만들 때 카탈로그 열기에서는 기존 테이블의 디렉터리 또는 하위 디렉터리 내에 테이블을 만들 수 없습니다. 외부 카탈로그에서 Snowflake 관리 Iceberg 테이블을 생성하는 경우 Open Catalog는 디렉터리 위치가 중첩되는 것을 금지하지 않습니다. 따라서 이러한 테이블을 만들 때 BASE_LOCATION 매개 변수를 사용하여 각 테이블의 고유한 상위 디렉터리를 지정하십시오. 자세한 내용은 CREATE ICEBERG TABLE (Snowflake as the Iceberg 카탈로그)을 참조하십시오.

내부 및 외부 카탈로그에 대한 자세한 내용은 카탈로그 유형 섹션을 참조하십시오.

spark.sql("use catalog1").show()
spark.sql("CREATE NAMESPACE namespace1")

spark.catalog.setCurrentCatalog("catalog1")
spark.sql("use catalog1").show()
spark.sql("CREATE NAMESPACE namespace1.namespace1a")

spark.sql("use catalog1").show()
spark.sql ("use namespace1.namespace1a")
spark.sql("CREATE OR REPLACE TABLE customers (id int, custnum int) using iceberg")

spark.sql("use catalog1").show()
spark.sql ("use namespace1.namespace1a")
spark.sql("INSERT INTO customers VALUES (123,456)")