Snowflake Open Catalog의 비공개 연결 엔드포인트 관리: AWS¶
Snowflake Open Catalog 계정의 카탈로그 데이터가 Amazon Simple Storage Service(Amazon S3) 저장소 버킷에 저장된 경우, 아웃바운드 네트워크 트래픽을 위한 비공개 연결을 설정하려면 다음 단계를 따르세요.
Open Catalog 계정에 대한 비공개 연결을 활성화하려면, 일반적으로 이 항목의 설정 단계를 한 번만 완료하면 됩니다. 그런 다음, Open Catalog 계정의 각 카탈로그에 대해 아웃바운드 비공개 연결을 활성화합니다.
예를 들어, 설정 단계를 완료한 후 나중에 새 catalog1
카탈로그를 생성하는 경우, 일반적으로 catalog1
에 대한 아웃바운드 비공개 연결만 활성화하면 됩니다. 카탈로그에 대한 비공개 연결을 활성화하는 방법은 카탈로그에 대한 아웃바운드 비공개 연결 활성화 섹션을 참조하세요. 그러나 catalog1
에서 버킷 정책을 업데이트하지 않은 저장소 버킷을 사용하는 경우, 해당 버킷에 대해서도 버킷 정책 업데이트가 필요합니다. 버킷 정책을 업데이트하면 해당 버킷의 네트워크 액세스를 비공개 연결 엔드포인트로 제한합니다.
전제 조건¶
Open Catalog 계정과 외부 클라우드 저장소는 모두 동일한 AWS 리전에서 호스팅되어야 합니다.
Iceberg 테이블이 저장된 AWS 저장소 버킷의 버킷 정책을 수정할 수 있도록 AWS에서 IAM 권한이 필요합니다. 자세한 내용은 AWS 설명서의 Amazon S3 버킷 정책 섹션을 참조하세요.
귀하의 서드 파티 쿼리 엔진 또는 Snowflake 엔진은 AWS PrivateLink 또는 S3 게이트웨이 엔드포인트를 통해 귀하의 저장소 버킷에 액세스할 수 있어야 합니다. 자세한 내용은 AWS 설명서의 인터페이스 엔드포인트 구성 섹션을 참조하세요. 그렇지 않으면 아웃바운드 비공개 연결을 활성화할 경우 엔진은 버킷에 저장된 테이블을 읽거나 쓸 수 없지만, Open Catalog는 버킷에 메타데이터를 읽거나 쓸 수 있습니다.
계정에 대한 비공개 연결 설정¶
Open Catalog 계정에 대한 비공개 연결을 설정하려면 다음 단계를 따르세요.
1단계: Open Catalog용 Snowflake CLI 연결 생성¶
Open Catalog에서 비공개 연결을 설정하려면 Open Catalog용 Snowflake CLI 연결이 필요합니다. 이 연결을 생성하려면 다음 단계를 따르세요. Snowflake CLI가 아직 설치되어 있지 않다면, Snowflake CLI 설치 섹션을 참조하세요.
시작하기 전에¶
Open Catalog용 Snowflake CLI 연결을 생성하려면 전체 Open Catalog 계정 식별자가 필요합니다. 계정 식별자에는 Snowflake 조직 이름과 Open Catalog 계정 이름이 포함됩니다. 예를 들어, <orgname> 또는<my-snowflake-open-catalog-account-name>
입니다.
Snowflake 조직 이름(
<orgname>
)을 확인하려면계정의 조직 및 계정 이름 찾기<https://docs.snowflake.com/en/user-guide/admin-account-identifier.html#label-account-name-find>
_ 섹션을 참조하세요.Snowflake Open Catalog 계정 이름(
<my-snowflake-open-catalog-account-name>
)을 확인하려면Snowflake Open Catalog 계정의 계정 이름 찾기<https://other-docs.snowflake.com/en/opencatalog/find-account-name>
_ 섹션을 참조하세요.
중요
이 연결을 생성하려면 서비스 관리자 권한을 가진 Open Catalog 사용자여야 합니다. 서비스 관리자 권한에 대한 정보는 서비스 관리자 역할 섹션을 참조하세요.
Snowflake Open Catalog용 Snowflake CLI 연결 추가¶
비공개 연결을 활성화하려는 Snowflake Open Catalog 계정에 대한 연결을 추가하세요.
다음 값을 사용하여
연결을 추가<https://docs.snowflake.com/en/developer-guide/snowflake-cli/connecting/configure-connections#add-a-connection>
_하세요. 다른 모든 매개 변수에 대해서는 Enter 키를 눌러 해당 매개 변수의 값 지정을 건너뜁니다.연결 구성 매개 변수
값
이 연결의 이름
연결에 대한 이름을 지정합니다(예:
myopencatalogconnection
).계정 이름
다음 형식으로 Snowflake 조직 이름을 지정한 후 Open Catalog 계정 이름을 입력합니다.
<orgname>-<my-snowflake-open-catalog-account-name>
.예:
ABCDEFG-MYACCOUNT1
.이 이름들을 찾으려면
시작하기 전에
_ 섹션을 참조하세요.사용자 이름
Open Catalog용 사용자 이름을 지정합니다(예:
jsmith
).비밀번호[선택 사항]
Open Catalog 연결을 생성할 때 이 매개 변수는 선택 사항이 아닙니다.
Open Catalog의 비밀번호를 입력합니다(예:
MyPassword123456789
).연결의 역할[선택 사항]
Open Catalog 연결을 생성할 때 이 매개 변수는 선택 사항이 아닙니다.
POLARIS_ACCOUNT_ADMIN
을 반드시 입력해야 합니다.
Snowflake CLI 연결 테스트¶
CLI 연결을 테스트하려면 다음 예시를 따라
myopencatalogconnection
의 연결을 테스트하세요.snow connection test -c myopencatalogconnection
응답은 다음과 같아야 합니다.
+------------------------------------------------------------------------------+ | key | value | |----------------------------+-------------------------------------------------| | Connection name | myopencatalogconnection | | Status | OK | | Host | ABCDEFG-MYACCOUNT1.snowflakecomputing.com | | Account | ABCDEFG-MYACCOUNT1 | | User | jsmith | | Role | POLARIS_ACCOUNT_ADMIN | | Database | not set | | Warehouse | not set | +------------------------------------------------------------------------------+
Snowflake Open Catalog용 Snowflake CLI 연결을 기본값으로 설정¶
사용 중인 연결에 항상 필요한 POLARIS_ACCOUNT_ADMIN 역할이 부여되도록 하려면, Open Catalog용으로 생성한 Snowflake CLI 연결을 기본 연결로 설정할 수 있습니다. 기본 연결에 대한 자세한 내용은 기본 연결 설정<https://docs.snowflake.com/en/developer-guide/snowflake-cli/connecting/configure-connections#set-the-default-connection>
_ 섹션을 참조하세요.
다음 예시를 따라
myopencatalogconnection
연결을 기본값으로 설정합니다.snow connection set-default myopencatalogconnection
올바른 사용자 및 역할을 사용하고 있는지 확인하려면 다음을 실행합니다.
snow sql -q "Select current_user(); select current_role();"
응답은 귀하의 Open Catalog 사용자 이름을 반환해야 하며, CURRENT ROLE은 POLARIS_ACCOUNT_ADMIN이어야 합니다.
+----------------+ | CURRENT_USER() | |----------------| | JSMITH | +----------------+ select current_role(); +-----------------------+ | CURRENT_ROLE() | |-----------------------| | POLARIS_ACCOUNT_ADMIN | +-----------------------+
2단계: 비공개 연결 엔드포인트 프로비저닝¶
Open Catalog에서 Snowflake CLI 연결을 사용하여 다음 시스템 함수를 호출합니다.
저장소 버킷에 대한 비공개 연결 엔드포인트를 프로비저닝하려면 SYSTEM$PROVISION_PRIVATELINK_ENDPOINT 시스템 함수를 호출하세요.
비공개 연결 엔드포인트가 사용 준비가 되었는지 확인하려면 SYSTEM$GET_PRIVATELINK_ENDPOINTS_INFO 시스템 함수를 호출하세요.
지침은 Snowflake 설명서의 비공개 연결 엔드포인트 프로비저닝 섹션을 참조하세요. 참고로, 이 지침은 Snowflake Open Catalog 계정이 아닌 Snowflake 계정을 대상으로 합니다. 그러나 Open Catalog에서도 동일한 절차를 따릅니다.
중요
지침에 언급된 ACCOUNTADMIN 역할 대신 POLARIS_ACCOUNT_ADMIN 역할을 사용해야 합니다.
설정한 기본 Snowflake CLI 연결에 POLARIS_ACCOUNT_ADMIN 역할이 부여되지 않은 경우, 명령에
USE ROLE POLARIS_ACCOUNT_ADMIN;
문을 포함해야 합니다.명령에서
$
바로 앞에 슬래시를 삽입하여 이스케이프 처리해야 합니다. 예:snow sql -q "SELECT SYSTEM\$GET_PRIVATELINK_CONFIG();"
.
참고
이 비공개 연결 엔드포인트를 프로비저닝하여 Open Catalog 계정이 호스팅되는 동일한 AWS 리전에 위치한 모든 저장소 버킷에 대한 액세스 권한을 부여할 수 있습니다. 그러나 다른 리전에 위치한 버킷에 대한 액세스 권한 부여에는 사용할 수 없습니다.
예: 비공개 연결 엔드포인트 프로비저닝¶
다음 예제는 Amazon S3에 대한 외부 액세스 권한을 가진 PrivateLink를 생성하여 us-west-2
리전의 엔드포인트를 구성합니다.
SELECT SYSTEM$PROVISION_PRIVATELINK_ENDPOINT(
'com.amazonaws.us-west-2.s3',
'*.s3.us-west-2.amazonaws.com'
);
3단계: 버킷 정책 업데이트¶
이전 단계에서 생성한 비공개 연결 엔드포인트로 저장소 버킷에 대한 네트워크 액세스를 제한하려면, AWS에서 저장소 버킷의 버킷 정책을 업데이트하세요. 자세한 지침은 AWS 설명서의 특정 VPCendpoint에 대한 액세스 제한 섹션을 참조하세요. 버킷 정책의 <vpce-id>
에 대해, 이전 단계에서 생성한 비공개 연결 엔드포인트의 ID를 지정하세요.
필요한 경우, Open Catalog에 연결하려는 추가 버킷에 대해 이 단계를 반복하세요.
중요
버킷을 추가한 후 브라우저에서 해당 버킷 및 버킷 정책에 액세스할 수 있도록 버킷 정책에 필요한 권한이 포함되어 있는지 확인하세요. 그렇지 않으면 버킷 정책을 업데이트한 후 브라우저에서 버킷이나 버킷 정책에 액세스할 수 없게 됩니다.
이 예시 버킷 정책을 사용하면 브라우저에서 버킷 및 버킷 정책에 액세스할 수 있습니다.
{
"Version": "2012-10-17",
"Id": "Policy1234567890123",
"Statement": [
{
"Sid": "Deny public access",
"Effect": "Deny",
"Principal": "*",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion",
"s3:PutObject",
"s3:DeleteObject",
"s3:DeleteObjectVersion",
],
"Resource": [
"arn:aws:s3:::my-bucket",
"arn:aws:s3:::my-bucket/*"
],
"Condition": {
"StringNotLike": {
"aws:SourceVpc": "vpc-*"
}
}
},
{
"Sid": "Access-to-specific-VPCE-only",
"Effect": "Deny",
"Principal": "*",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion",
"s3:PutObject",
"s3:DeleteObject",
"s3:DeleteObjectVersion",
],
"Resource": [
"arn:aws:s3:::my-bucket",
"arn:aws:s3:::my-bucket/*"
],
"Condition": {
"StringNotEquals": {
"aws:SourceVpce": "vpce-xxxxxxxxxxx"
}
}
}
]
}
카탈로그에 대한 아웃바운드 비공개 연결 활성화¶
이 섹션에서는 Open Catalog 계정의 카탈로그에 대한 아웃바운드 비공개 연결을 활성화하는 방법을 설명합니다.
1단계: 비공개 연결 활성화¶
새 카탈로그 또는 기존 카탈로그에 대해 비공개 연결을 활성화할 수 있습니다.
새 카탈로그에 대한 비공개 연결 활성화¶
Amazon Simple Storage Service(Amazon S3)를 사용하여 카탈로그 생성의 지침을 따르세요. 카탈로그에 대해 Private Link 토글이 활성화됨 상태인지 확인하세요.
참고
카탈로그 테이블이 저장된 버킷의 버킷 정책을 아직 업데이트하지 않았다면, 버킷 정책 업데이트 섹션을 참조하세요. 버킷 정책을 업데이트하면 저장소 버킷에 대한 네트워크 액세스를 비공개 연결 엔드포인트로 제한합니다.
기존 카탈로그에 대한 비공개 연결 활성화¶
Open Catalog에 로그인합니다.
탐색 메뉴에서 카탈로그를 선택합니다.
카탈로그 목록에서 비공개 연결을 사용하도록 설정할 카탈로그를 선택합니다.
카탈로그 세부 정보 탭에서 PrivateLink 토글을 활성화됨으로 설정합니다.
2단계: 쿼리 엔진을 사용하여 테이블 생성¶
쿼리 엔진이 AWS PrivateLink를 통해 카탈로그에 연결되어 있는지 확인하려면, 쿼리 엔진을 사용하여 테이블을 생성하고 해당 테이블에 데이터를 삽입하세요. 테이블에 데이터를 삽입할 수 없다면, 쿼리 엔진에 대해 AWS PrivateLink를 구성하지 않았을 수 있습니다.
문제 해결하기¶
이 섹션에서는 네트워크 트래픽의 아웃바운드 비공개 연결 관련 문제에 대한 문제 해결 방법을 제공합니다.
Open Catalog에서 테이블의 스키마를 볼 수 없음¶
증상
Open Catalog에서 카탈로그 내 테이블(예: catalog1
)을 선택했지만 다음 오류 메시지가 표시됩니다. “No permissions to access this resource.”
원인
AWS에서 네트워크 트래픽을 VPC 엔드포인트를 통해 라우팅하도록 버킷 정책을 성공적으로 업데이트했습니다. 그러나 Open Catalog에서는 이 카탈로그에 대한 비공개 연결을 활성화하지 않았으므로 Open Catalog가 해당 버킷에 액세스할 수 없습니다.
해결책
카탈로그에 대한 비공개 연결을 활성화합니다(예: catalog1
). 자세한 내용은 카탈로그에 대한 비공개 연결 활성화 섹션을 참조하세요.
SYSTEM$PROVISION_PRIVATELINK_ENDPOINT 명령 실행 시 ‘Business Critical’ 오류 발생¶
증상
Snowflake CLI 연결에서 SYSTEM\$PROVISION_PRIVATELINK_ENDPOINT
명령을 실행했으나 다음 오류 메시지와 함께 실패했습니다. “Business Critical or higher edition is required for this operation. Please upgrade to the valid edition and then retry.”
원인
귀하의 Open Catalog 계정의 에디션은 Business Critical이 아닙니다.
아웃바운드 네트워크 트래픽에 대한 비공개 연결을 활성화하려면(비공개 연결 엔드포인트 프로비저닝 포함), Snowflake Open Catalog 계정의 에디션이 Business Critical이어야 합니다.
해결책
Open Catalog 계정을 Business Critical로 업그레이드하는 데 도움이 필요하면 Snowflake 지원에 문의하세요.