Katalogintegration für Iceberg-Tabellen konfigurieren¶

Beispiel: Katalogintegration für Iceberg-Dateien im Objektspeicher erstellen¶

Mit der folgenden Beispielanweisung wird eine Katalogintegration für Iceberg-Metadaten erstellt, die sich an einem externen Cloudspeicherort befinden, indem OBJECT_STORE als CATALOG_SOURCE-Wert festgelegt wird.

CREATE OR REPLACE CATALOG INTEGRATION icebergCatalogInt
  CATALOG_SOURCE=OBJECT_STORE
  TABLE_FORMAT=ICEBERG
  ENABLED=TRUE;

Nachdem Sie eine Katalogintegration erstellt haben, können Sie eine Iceberg-Tabelle erstellen.

Schritt 1: Zugriffsberechtigungen für den AWS Glue-Datenkatalog konfigurieren¶

Als bewährte Methode sollten Sie für den Zugriff auf den Glue-Datenkatalog eine neue IAM-Richtlinie für Snowflake erstellen. Sie können dann die Richtlinie in die IAM-Rolle einbinden und die von AWS für diese Rolle generierten Sicherheitsanmeldeinformationen verwenden, um auf Dateien im Katalog zuzugreifen. Eine Anleitung dazu finden Sie unter Erstellen von IAM-Richtlinien und Ändern von Rollenberechtigungsrichtlinien im AWS-Benutzerhandbuch für die Identitäts- und Zugriffsverwaltung.

Snowflake benötigt mindestens die folgenden Berechtigungen für den Glue-Datenkatalog, um über Tabellen auf Informationen zuzugreifen.

• glue:GetTable

• glue:GetTables

Die folgende Beispielrichtlinie (im JSON-Format) bietet die erforderlichen Berechtigungen für den Zugriff auf alle Tabellen in einer bestimmten Datenbank.

{
   "Version": "2012-10-17",
   "Statement": [
      {
         "Sid": "AllowGlueCatalogTableAccess",
         "Effect": "Allow",
         "Action": [
            "glue:GetTable",
            "glue:GetTables"
         ],
         "Resource": [
            "arn:aws:glue:*:<accountid>:table/*/*",
            "arn:aws:glue:*:<accountid>:catalog",
            "arn:aws:glue:*:<accountid>:database/<database-name>"
         ]
      }
   ]
}

Schritt 2: Katalogintegration in Snowflake erstellen¶

Erstellen Sie mit dem Befehl CREATE CATALOG INTEGRATION eine Katalogintegration für den Glue-Datenkatalog.

Im folgenden Beispiel wird eine Katalogintegration erstellt, die eine AWS Glue-Katalogquelle verwendet. Das Beispiel gibt einen Wert für den optionalen Parameter GLUE_REGION an.

CREATE CATALOG INTEGRATION glueCatalogInt
   CATALOG_SOURCE=GLUE
   CATALOG_NAMESPACE='my.catalogdb'
   TABLE_FORMAT=ICEBERG
   GLUE_AWS_ROLE_ARN='arn:aws:iam::123456789012:role/myGlueRole'
   GLUE_CATALOG_ID='123456789012'
   GLUE_REGION='us-east-2'
   ENABLED=TRUE;

Schritt 3: AWS-IAM-Benutzer und externe ID für Ihr Snowflake-Konto abrufen¶

Um Informationen zu dem AWS-IAM-Benutzer und die externe ID abzurufen, die für Ihr Snowflake-Konto erstellt wurden, als Sie die Katalogintegration erstellt haben, führen Sie den Befehl DESCRIBE CATALOG INTEGRATION aus. Sie geben diese Informationen im nächsten Abschnitt an AWS weiter, um eine Vertrauensstellung einzurichten.

Der folgende Beispielbefehl beschreibt die im vorherigen Schritt erstellte Katalogintegration:

DESCRIBE CATALOG INTEGRATION glueCatalogInt;

Notieren Sie die folgenden Werte:

Wert	Beschreibung
GLUE_AWS_IAM_USER_ARN	Der AWS-IAM-Benutzer, der für Ihr Snowflake-Konto erstellt wurde, in diesem Beispiel arn:aws:iam::123456789001:user/abc1-b-self1234. Snowflake stellt genau einen IAM-Benutzer für Ihr gesamtes Snowflake-Konto bereit. Alle Glue-Katalogintegrationen in Ihrem Konto verwenden diesen IAM-Benutzer.
GLUE_AWS_EXTERNAL_ID	Die externe ID, die zum Herstellen einer vertrauenswürdigen Beziehung erforderlich ist.

Diese Werte werden Sie im nächsten Abschnitt angeben.

Schritt 4: IAM-Benutzerberechtigungen für den Zugriff auf den AWS Glue-Datenkatalog erteilen¶

Aktualisieren Sie die Vertrauensrichtlinie für die gleiche IAM-Rolle, die Sie beim Erstellen der Katalogintegration mit dem ARN angegeben haben (GLUE_AWS_ROLE_ARN). Fügen Sie die Werte, die Sie sich in Schritt 3: AWS-IAM-Benutzer und externe ID für Ihr Snowflake-Konto abrufen notiert haben, der Vertrauensrichtlinie hinzu.

Eine Anleitung dazu finden Sie unter Ändern einer Vertrauensrichtlinie.

Das folgende Beispiel einer Vertrauensrichtlinie zeigt, wo die Werte GLUE_AWS_IAM_USER_ARN und GLUE_AWS_EXTERNAL_ID angegeben werden müssen:

{
   "Version": "2012-10-17",
   "Statement": [
      {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
         "AWS": "<glue_iam_user_arn>"
      },
      "Action": "sts:AssumeRole",
      "Condition": {
         "StringEquals": {
            "sts:ExternalId": "<glue_aws_external_id>"
         }
      }
      }
   ]
}

Wobei:

• glue_iam_user_arn ist der Wert GLUE_IAM_USER_ARN, den Sie erfasst haben.

• glue_aws_external_id ist der Wert GLUE_AWS_EXTERNAL_ID, den Sie erfasst haben.

Nächste Schritte¶

Nachdem Sie eine Katalogintegration für AWS Glue konfiguriert haben, können Sie mit Erstellen Sie eine Iceberg-Tabelle mit AWS Glue als Katalog fortfahren.

Um die Tabelle zu aktualisieren und sie mit Änderungen in AWS Glue synchron zu halten, verwenden Sie eine ALTER ICEBERG TABLE … REFRESH-Anweisung. Weitere Informationen dazu finden Sie unter Metadaten einer Iceberg-Tabelle aktualisieren, die AWS Glue als Katalog verwendet.

Beispiel¶

Mit der folgenden Anweisung wird eine Katalogintegration (shared_catalog_integration) für eine Datenbank namens my_database_1 festgelegt:

ALTER DATABASE my_database_1
  SET CATALOG = 'shared_catalog_integration';

Nachdem Sie eine Katalogintegration auf Datenbankebene festgelegt haben, können Sie eine Iceberg-Tabelle in dieser Datenbank erstellen, ohne eine Katalogintegration angeben zu müssen. Mit der folgenden Anweisung wird eine Iceberg-Tabelle aus Metadaten im Objektspeicher in my_database_1 erstellt, die die für die Datenbank festgelegte Standard-Katalogintegration (shared_catalog_integration) verwendet.

CREATE ICEBERG TABLE my_iceberg_table
   EXTERNAL_VOLUME='my_external_volume'
   METADATA_FILE_PATH='path/to/metadata/v1.metadata.json';