AWS PrivateLink und Snowflake Open Catalog¶

Voraussetzungen¶

• Ihr Snowflake Open Catalog-Konto wird auf AWS gehostet.

• Sie haben die erforderlichen Berechtigungen, um Ihren AWS-DNS-Service mit der URL der privaten Konnektivität für Ihr Open Catalog-Konto zu konfigurieren. Eine Anleitung dazu finden Sie unter Konfigurieren des AWS-DNS-Service (Route 53) für den Zugriff auf Snowflake über einen PrivateLink in the Snowflake Community.

Schritt 1: AWS PrivateLink aktivieren¶

In diesem Verfahren aktivieren Sie AWS PrivateLink für Ihr Open Catalog-Konto. Diese Konfiguration ermöglicht es der Abfrage-Engine, sich über private Konnektivität mit Open Catalog zu verbinden. Sie benötigen den 12-stelligen Bezeichner für Ihr Amazon Web Services-Konto (AWS) sowie den Wert des Verbundtokens, der die Zugriffsanmeldeinformationen für einen Verbundbenutzer enthält.

1. Um den Wert des Verbundtokens zu erhalten, führen Sie den folgenden Befehl über die AWS CLI aus, und kopieren Sie den Wert in einen Texteditor:

   aws sts get-federation-token --name sam
   

   Copy

2. Melden Sie sich bei Snowflake Open Catalog an.

3. Wählen Sie im Navigationsmenü die Option Settings.

4. Wählen Sie Authorize.

5. Aktivieren Sie im Dialogfeld Authorize Private Link private Konnektivität für Ihr Konto:

   1. Geben Sie im Feld ID den 12-stelligen Bezeichner für Ihr Amazon Web Services-Konto (AWS) ein.

   2. Geben Sie unter Federated token den Wert des Verbundtokens ein, den Sie in einen Texteditor kopiert haben.

   3. Wählen Sie Save.

Schritt 2: Überprüfen, ob Ihr Konto autorisiert ist¶

Um zu überprüfen, ob Ihr Open Catalog-Konto für private Konnektivität zum Snowflake Open Catalog-Service autorisiert ist, gehen Sie wie folgt vor:

1. Melden Sie sich bei Snowflake Open Catalog an.

2. Wählen Sie im Navigationsmenü die Option Settings.

3. Wählen Sie Get.

4. Verifizieren Sie im Autorisierungsdialog „Get Private Link“ Ihr Konto:

   1. Geben Sie im Feld ID den 12-stelligen Bezeichner für Ihr Amazon Web Services-Konto (AWS) ein.

   2. Geben Sie in das Feld Federated token den Wert des Verbundtokens ein. Sie haben diesen Wert abgerufen, als Sie AWS PrivateLink aktivierten.

   3. Wählen Sie Save. Es erscheint eine Meldung, die angibt, ob Ihr Konto autorisiert ist.

Schritt 3: Einstellungen Ihres Open Catalog-Kontos abrufen¶

Rufen Sie diese Einstellungen ab, die Sie später benötigen, um einen VPC-Endpunkt und Ihr VPC-Netzwerk zu erstellen und zu konfigurieren.

1. Melden Sie sich bei Snowflake Open Catalog an.

2. Wählen Sie im Navigationsmenü die Option Settings.

3. Kopieren Sie auf der Seite „Settings“ die Werte für die folgenden Einstellungen in einen Texteditor:

   • URL des PrivateLink-Kontos

   • Regionslose URL des PrivateLink-Kontos

   • PrivateLink OCSP URL

   • Regionslose URL des PrivateLink-OCSP

   • VPCE-Service-ID

Sie fügen diese Werte ein, wenn Sie einen VPC-Endpunkt (VPCE) erstellen und konfigurieren, Ihr VPC-Netzwerk konfigurieren und sich mit Open Catalog über AWS PrivateLink verbinden.

Eine Beschreibung der einzelnen Einstellungen finden Sie unter Rückgabewerte für die Systemfunktion SYSTEM$GET_PRIVATELINK_CONFIG in der Snowflake-Dokumentation. Im Rahmen dieses Themas sind die Namen der Kontoeinstellungen im JSON-Format.

Schritt 4: VPC-Endpunkt erstellen und konfigurieren¶

In diesem Verfahren erstellen und konfigurieren Sie einen entsprechenden VPC-Endpunkt (VPCE) in Ihrer AWS-VPC-Umgebung.

Eine Anleitung finden Sie unter VPC-Endpunkt (VPCE) erstellen und konfigurieren in der Snowflake-Dokumentation, beginnend mit Schritt 2.

Schritt 5: VPC-Netzwerk konfigurieren¶

Um Ihr VPC-Netzwerk zu konfigurieren, erstellen Sie CNAME-Datensätze in Ihrem DNS-Service, um die entsprechenden Endpunktwerte aus Ihren Open Catalog-Kontoeinstellungen für private Konnektivität in den DNS-Namen Ihres VPC Endpunkts aufzulösen.

Anweisungen finden Sie unter VPC-Netzwerk konfigurieren in der Snowflake-Dokumentation. Denken Sie daran, dass diese Anweisungen für Snowflake gelten, sodass einige der darin genannten Features nicht für Open Catalog anwendbar sind. Beispiel: regionless-snowsight-privatelink-url gilt für Snowsight, das in Open Catalog nicht unterstützt wird.

Weitere Unterstützung bei der DNS-Konfiguration erhalten Sie von Ihrem internen AWS-Administrator.

Schritt 6: Verbindung zu Open Catalog über AWS PrivateLink herstellen¶

• Um eine Dienstverbindung zu registrieren und Ihre Abfrage-Engine über AWS PrivateLink mit Snowflake Open Catalog zu verbinden, verwenden Sie den folgenden Code:

  import pyspark
  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName('iceberg_lab') \
    .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
    .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
    .config('spark.sql.defaultCatalog', 'opencatalog') \
    .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
    .config('spark.sql.catalog.opencatalog.type', 'rest') \
    .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
    .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
    .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
    .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
    .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
    .getOrCreate()
  

  Copy

Schritt 7 (optional): Eine Katalog-Integration für Snowflake erstellen¶

Wenn Sie Snowflake nutzen, um von Open Catalog verwaltete Tabellen abzufragen, erstellen Sie einen Katalog für Snowflake, der eine private IP-Adresse verwendet. Um diese Katalogintegration zu erstellen, muss sich Ihr Snowflake-Konto in derselben Bereitstellung wie Ihr Open Catalog-Konto befinden.

Ein Beispiel finden Sie unter Beispiel: Katalogintegration, die eine private IP-Adresse verwendet <https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_ in der Snowflake-Dokumentation.