Azure Private LinkとSnowflakeOpen Catalog¶

このトピックでは、インバウンドプライベート接続を使用して、SnowflakeOpen Catalogアカウントをクエリエンジンに直接接続するようにAzure Private Linkを構成する方法について説明します。

前提条件¶

Snowflake Open CatalogアカウントがAzureでホストされている。
Open Catalogアカウントのプライベート接続 URL を使用して DNS サービスを構成するために必要な権限を持っている。

ステップ1：Open Catalogアカウント設定の取得¶

Azure Private Linkを使用してOpen Catalogへのアクセスを構成するために、次の設定を取得します。

Snowflakeオープンカタログにサインインします。
ナビゲーションメニューで設定を選択します。
設定ページで、次の設定の値をテキストエディターにコピーします。
- PrivateLinkアカウントURL
- リージョンレス PrivateLink アカウント URL
- PrivateLink OCSP URL
- リージョンレス PrivateLink OCSP URL
- Private Linkサービス ID

これらの値は、Azure Private Linkを使用したOpen Catalogへのアクセスの構成、Azure Private Linkを介したOpen Catalogへの接続を実行するときに貼り付けます。

各設定の説明については、SnowflakeドキュメントのSYSTEM$GET_PRIVATELINK_CONFIG システム関数の戻り値をご参照ください。このトピックでは、アカウント設定の名前は JSON format。

注釈

該当する場合、説明はSnowflakeアカウントを参照していますが、値は実際にはSnowflake Open Catalogアカウント用であることに注意してください。たとえば、 privatelink-account-url はです URL SnowflakeOpen Catalogアカウントの。

オプション：でこれらの値を取得するには JSON 形式、Snowflake の作成 CLI Open Catalogの接続を呼び出します。 SYSTEM$GET_PRIVATELINK_CONFIG システム関数。

ステップ2：Azure Private Linkを使用したOpen Catalogへのアクセスの構成¶

注意

このセクションでは、 VNet 環境を設定するためのOpen Catalog固有の詳細のみを説明します。また、必要なファイアウォールの更新、および DNS 記録の実際の構成に対して、Snowflakeは責任を負いません。これらの構成タスクのいずれかで問題が発生した場合は、Microsoftのサポートに直接お問い合わせください。

このセクションでは、Azure Private Linkを使用して VNet をOpen Catalog VNet に接続する方法について説明します。

手順を完了するには、Azure CLI またはAzure PowerShell を使用する必要があります。インストールのヘルプについては、MicrosoftドキュメントのAzure CLIまたはAzure PowerShellをご参照ください。

Azure Private Linkを使用してSnowflake Open Catalogに接続を開始した後、Azure Portalで接続の承認状態を確認できます。

プライベートエンドポイントを作成する¶

注釈

すでにSnowflakeアカウントのプライベートエンドポイントを作成し、そのアカウントがOpen Catalogアカウントと同じ展開にある場合は、Open Catalogアカウントの新しいプライベートエンドポイントを作成する必要はありません。オプションで、このステップを省略できます。

Azureアカウントの詳細を取得します。次の例では、Azure CLI の az account list コマンドを使用しています。

Name     CloudName   SubscriptionId                        State    IsDefault
-------  ----------  ------------------------------------  -------  ----------
MyCloud  AzureCloud  13c...                                Enabled  True

Copy

Azure Portalで、Private Link を検索し、結果の Private Link を選択します。
プライベートエンドポイント をクリックし、追加をクリックします。
基本タブで、環境の サブスクリプション、リソースグループ、名前、リージョン フィールドを入力し、次へ：リソースをクリックします。
リソース タブの 接続方法 で、リソース ID またはエイリアスごとにAzureリソースに接続するを選択します。
リソース ID またはエイリアスで、プライベート接続用Open Catalogアカウント設定を取得するで取得した Private Link Service ID の値を入力します。

エイリアス値に関するエラーメッセージが表示された場合は、Snowflakeサポートにリソース ID 値について問い合わせ、その値を使用してこの手順を繰り返します。

プライベートエンドポイントが承認されると、Private Link Centerページのプライベートエンドポイントセクションの CONNECTIONSTATE には、値 保留中 が表示されます。次のプロシージャで認証が完了すると、この値は 承認済み に変更されます。

インバウンドプライベート接続を有効にする¶

この手順では、Open CatalogアカウントのAzure Private Linkを有効にします。この構成により、クエリエンジンはプライベート接続を介してOpen Catalogに接続できます。プライベートエンドポイントリソース ID、サブスクリプション ID、およびフェデレーションユーザーのアクセス認証情報を含むフェデレーショントークン値が必要です。

アカウントが承認されていることを確認する¶

以下の手順に従って、Open CatalogアカウントがSnowflake Open Catalogサービスへのプライベート接続を承認されているかどうかを確認します。

Snowflakeオープンカタログにサインインします。
ナビゲーションメニューで設定を選択します。
取得を選択します。
「Private Link認証を取得」ダイアログで、アカウントを確認する。
1. ID フィールドには、プライベートエンドポイントリソース ID を入力します。この値は、インバウンドプライベート接続を有効にするときに取得します。
2. フェデレーショントークン フィールドに、フェデレーショントークンの値を入力します。この値は、インバウンドプライベート接続を有効にするときに取得します。
3. 保存を選択します。アカウントが承認されているかどうかを示すメッセージが表示されます。

DNS を設定する¶

Open Catalogへのリクエストすべては、プライベートエンドポイントを介してルーティングする必要があります。Open Catalogアカウントと OCSP URLs プライベートエンドポイントのプライベート IP アドレスに解決するには、DNS を更新します。

エンドポイント IP アドレスを取得するには、Azureポータルの検索バーに、作成したプライベートエンドポイントの名前を入力します。
ネットワークインターフェイスの結果を選択します。
プライベート IP アドレスの値をコピーします。
DNS を構成してプライベート接続用Open Catalogアカウント設定から適切なエンドポイント値がプライベート IP アドレスに解決されるようにします。

ステップ3：Azure Private Linkを介したOpen Catalogへの接続¶

サービス接続を登録し、Azure Private Linkを介してクエリエンジンをOpen Catalogに接続するには、次のコードを使用します。

import pyspark
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('iceberg_lab') \
  .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'opencatalog') \
  .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
  .config('spark.sql.catalog.opencatalog.type', 'rest') \
  .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
  .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
  .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
  .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
  .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
  .getOrCreate()

Copy

パラメーター¶

注釈

を設定していることを確認してください DNS に指定した値と一致するサービス <open_catalog_account_identifier>.

パラメーター	説明
`<catalog_name>`	接続先のカタログ名を指定します。重要: <catalog_name> は大文字と小文字を区別します。
`<maven_coordinate>`	外部クラウドストレージプロバイダーのMaven座標を指定します。 S3: software.amazon.awssdk:bundle:2.20.160 クラウドストレージ（Google）: org.apache.iceberg:iceberg-gcp-bundle:1.5.2 Azure: org.apache.iceberg:iceberg-azure-bundle:1.5.2 このパラメーターが表示されない場合は、コードサンプルに正しい値がすでに指定されています。
`<client_id>`	サービスプリンシパルが使用するクライアント ID を指定します。新しいサービス接続を構成したときにコピーした ID クライアントを入力してください。
`<client_secret>`	サービスプリンシパルが使用するクライアントシークレットを指定します。新しいサービス接続を構成したときにコピーしたシークレットを入力します。
`<open_catalog_privatelink_account_url>`	AWS PrivateLink またはAzure Private Linkを使用して、Snowflakeアカウントに接続するための URL を指定します。 Open Catalogアカウント設定を取得したときにコピーした、以下の値のいずれかを入力します。 PrivateLink アカウント URL リージョンレス PrivateLink アカウント URL Open Catalogアカウント設定の取得の詳細については、Open Catalogアカウントがホストされているクラウドプラットフォームの手順をご参照ください。 AWS Azure
`<principal_role_name>`	サービスプリンシパルに付与されるプリンシパルロールを指定します。このプリンシパルロールを表示するには、Open Catalogで、接続ページを選択し、サービス接続を選択し、プリンシパル詳細ダイアログで、プリンシパルロールをご参照ください。**

ステップ4（オプション）：Snowflakeのカタログ統合を作成する¶

Snowflakeを使用してOpen Catalogの管理テーブルをクエリする場合は、プライベート IP アドレスを使用するSnowflakeのカタログを作成してください。このカタログ統合を作成するには、SnowflakeアカウントがOpen Catalogアカウントと同じ展開にある必要があります。

例については、 例：をご参照ください。Snowflakeドキュメントのプライベート IP アドレス <https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_を使用するカタログ統合。

注釈

Snowflake Open Catalog UI のプライベート接続を構成することもできます。この構成は、Open Catalogアカウントのプライベート接続の構成と組み合わせて、パブリックのインターネットではなく、プライベート接続を介してOpen Catalog UI にアクセスできます。

このアクセスを構成するには、SnowflakeOpen Catalog UI のプライベート接続の構成をご参照ください。