Automatisches Aktualisieren externer Tabellen für Amazon S3¶
Unter diesem Thema finden Sie Anweisungen zum Erstellen externer Tabellen und zum automatischen Aktualisieren der Metadaten externer Tabellen mithilfe von Amazon SQS (Simple Queue Service)-Benachrichtigungen für einen S3-Bucket. Diese Operation synchronisiert die Metadaten mit dem neuesten Satz zugeordneter Dateien im externen Stagingbereich und Pfad, d. h.:
Neue Dateien im Pfad werden zu den Tabellenmetadaten hinzugefügt.
Änderungen an Dateien im Pfad werden in den Tabellenmetadaten aktualisiert.
Dateien, die sich nicht mehr im Pfad befinden, werden aus den Tabellenmetadaten entfernt.
Bemerkung
Dieses Feature ist auf Snowflake-Konten auf AWS beschränkt.
Um die unter diesem Thema beschriebenen Aufgaben auszuführen, müssen Sie eine Rolle verwenden, die über die Berechtigungen CREATE STAGE und CREATE EXTERNAL TABLE für ein Schema verfügt.
Außerdem benötigen Sie Administratorzugriff auf AWS. Wenn Sie kein AWS-Administrator sind, bitten Sie Ihren AWS-Administrator, die erforderlichen Schritte zum Konfigurieren von AWS-Ereignisbenachrichtigungen auszuführen.
Snowflake empfiehlt, nur unterstützte Ereignisse für externe Tabelle zu senden, um Kosten, Ereignisrauschen und Latenz zu reduzieren.
Unter diesem Thema:
Einschränkungen der automatischen Aktualisierung externer Tabellen mit Amazon SQS¶
Kunden von Virtual Private Snowflake (VPS) und AWS PrivateLink: Amazon SQS wird von AWS derzeit nicht als VPC-Endpunkt unterstützt. Obwohl AWS-Dienste innerhalb einer VPC (einschließlich VPS) mit SQS kommunizieren können, befindet sich dieser Datenverkehr nicht innerhalb der VPC und wird daher nicht durch die VPC geschützt.
SQS-Benachrichtigungen informieren Snowflake, wenn neue Dateien in überwachten S3-Buckets eintreffen und ladebereit sind. SQS-Benachrichtigungen enthalten das S3-Ereignis und eine Liste der Dateinamen. Sie enthalten nicht die tatsächlich in den Dateien vorliegenden Daten.
Unterstützung von Cloudplattformen¶
Das Auslösen automatisierter Aktualisierungen von externen Metadaten unter Verwendung von S3-Ereignismeldungen wird nur von Snowflake-Konten unterstützt, die auf Amazon Web Services (AWS) gehostet werden:
Konfigurieren des sicheren Zugriffs auf Cloudspeicher¶
Bemerkung
Wenn Sie bereits den sicheren Zugriff auf den S3-Bucket konfiguriert haben, in dem Ihre Datendateien gespeichert sind, können Sie diesen Abschnitt überspringen.
In diesem Abschnitt wird beschrieben, wie Sie mit Speicherintegrationen dafür sorgen können, dass Snowflake Daten aus einem Amazon S3-Bucket lesen und in einen S3-Bucket schreiben kann, auf den in einem externen (d. h. S3) Stagingbereich verwiesen wird. Integrationen sind benannte First-Class-Snowflake-Objekte, bei denen keine expliziten Cloudanbieter-Anmeldeinformationen wie geheime Schlüssel oder Zugriffstoken übergeben werden müssen. Integrationsobjekte speichern eine AWS Identity and Access Management (IAM)-Benutzer-ID. Ein Administrator in Ihrem Unternehmen gewährt die Integrationsberechtigungen für IAM-Benutzer im AWS-Konto.
Eine Integration kann auch Buckets (und optionale Pfade) auflisten, um so die Speicherorte zu beschränken, die von Benutzern beim Erstellen der von der Integration verwendeten externen Stagingbereiche angeben werden können.
Bemerkung
Zum Ausführen der Anweisungen unter diesem Thema sind Berechtigungen in AWS zum Erstellen und Verwalten von IAM-Richtlinien und -Rollen erforderlich. Wenn Sie kein AWS-Administrator sind, bitten Sie Ihren AWS-Administrator, diese Aufgaben auszuführen.
Beachten Sie, dass derzeit der Zugriff auf S3-Speicher in Regionen für Regierungsbehörden über eine Speicherintegration auf Snowflake-Konten beschränkt ist, die auf AWS in derselben Region gehostet werden. Der Zugriff auf Ihren S3-Speicher von einem Konto, das außerhalb der Region der Regierungsbehörden gehostet wird, wird unter Verwendung direkter Anmeldeinformationen aber unterstützt.
Die folgende Abbildung zeigt den Integrationsablauf für einen S3-Stagingbereich:
Ein externer (d. h. S3) Stagingbereich verweist in seiner Definition auf ein Speicherintegrationsobjekt.
Snowflake ordnet die Speicherintegration automatisch einem für Ihr Konto erstellten S3-IAM-Benutzer zu. Snowflake erstellt einen einzelnen IAM-Benutzer, auf den von allen S3-Speicherintegrationen in Ihrem Snowflake-Konto verwiesen wird.
Ein AWS-Administrator in Ihrem Unternehmen gewährt dem IAM-Benutzer die Berechtigung, auf den in der Stagingbereichsdefinition angegebenen Bucket zuzugreifen. Beachten Sie, dass viele externe Stagingbereichsobjekte auf unterschiedliche Buckets und Pfade verweisen und dieselbe Speicherintegration zur Authentifizierung verwenden können.
Wenn ein Benutzer Daten aus einem oder in einen Stagingbereich lädt, überprüft Snowflake erst die Berechtigungen, die dem IAM-Benutzer für den Bucket erteilt wurden, bevor Zugriff gewährt oder verweigert wird.
Bemerkung
Diese Option wird dringend empfohlen, um beim Zugriff auf Cloudspeicher keine IAM-Anmeldeinformationen angeben zu müssen. Weitere Speicherzugriffsoptionen finden Sie unter Konfigurieren des sicheren Zugriffs auf Amazon S3.
Unter diesem Thema:
Schritt 1: Zugriffsberechtigungen für den S3-Bucket konfigurieren¶
Anforderungen an die AWS-Zugriffssteuerung¶
Snowflake benötigt die folgenden Berechtigungen für einen S3-Bucket und -Ordner, um auf Dateien im Ordner (und in Unterordnern) zugreifen zu können:
s3:GetBucketLocation
s3:GetObject
s3:GetObjectVersion
s3:ListBucket
Als Best Practice empfiehlt Snowflake für den Zugriff von Snowflake auf den S3-Bucket die Erstellung einer IAM-Richtlinie. Sie können dann die Richtlinie an die Rolle anhängen und die von AWS für die Rolle generierten Sicherheitsanmeldeinformationen verwenden, um auf Dateien im Bucket zuzugreifen.
Erstellen einer IAM-Richtlinie¶
Die folgende schrittweise Anleitung beschreibt, wie Sie über Ihre AWS-Managementkonsole die Zugriffsberechtigungen für Snowflake für den Zugriff auf einen S3-Bucket konfigurieren.
Anmelden bei der AWS-Managementkonsole.
Wählen Sie auf dem Startseiten-Dashboard die Option Identity & Access Management (IAM) aus:
Wählen Sie im linken Navigationsbereich Account settings aus.
Erweitern Sie die Security Token Service Regions-Liste, suchen Sie die AWS-Region, die der Region entspricht, in der sich Ihr Konto befindet, und wählen Sie Activate, wenn der Status Inactive ist.
Wählen Sie im linken Navigationsbereich Policies aus.
Klicken Sie auf Create Policy:
Klicken Sie auf die Registerkarte JSON.
Fügen Sie ein Richtliniendokument hinzu, das Snowflake den Zugriff auf den S3-Bucket und -Ordner ermöglicht.
Die folgende Richtlinie (im JSON-Format) gibt Snowflake die erforderlichen Berechtigungen zum Laden oder Entladen von Daten über einen einzigen Bucket- und Ordnerpfad.
Kopieren Sie den Text, und fügen Sie ihn in den Richtlinieneditor ein:
Bemerkung
Stellen Sie sicher, dass
bucket
undprefix
durch Ihren tatsächlichen Bucket-Namen bzw. Ihr Ordnerpfad-Präfix ersetzt wurden.Die Amazon Resource Names (ARN) für Buckets in Regionen für Regierungsbehörden haben das Präfix
arn:aws-us-gov:s3:::
.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": "arn:aws:s3:::<bucket>/<prefix>/*" }, { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Resource": "arn:aws:s3:::<bucket>", "Condition": { "StringLike": { "s3:prefix": [ "<prefix>/*" ] } } } ] }
Bemerkung
Durch Setzen der Bedingung
"s3:prefix":
auf entweder["*"]
oder["<Pfad>/*"]
wird Zugriff auf alle Präfixe im angegebenen Bucket bzw. Pfad im Bucket gewährt.Beachten Sie, dass AWS-Richtlinien eine Vielzahl von unterschiedlichen Sicherheitsanwendungsfällen unterstützen.
Klicken Sie auf Review policy.
Geben Sie den Richtliniennamen (z. B.
snowflake_access
) und eine optionale Beschreibung ein. Klicken Sie auf Create policy.
Schritt 2: IAM-Rolle in AWS erstellen¶
Um die Zugriffsberechtigungen für Snowflake in der AWS-Managementkonsole zu konfigurieren, gehen Sie wie folgt vor:
Melden Sie sich bei der AWS Management Console an.
Wählen Sie im Startseiten-Dashboard die Option Identity & Access Management (IAM) aus:
Wählen Sie im linken Navigationsbereich Roles aus.
Wählen Sie Create role aus.
Wählen Sie Another AWS account als vertrauenswürdigen Entitätstyp aus.
Geben Sie im Feld Account ID vorläufig Ihre eigene AWS-Konto-ID ein. Später werden Sie die Vertrauensstellung ändern und Snowflake Zugriff gewähren.
Wählen Sie die Option Require external ID aus. Eine externe ID wird verwendet, um einer dritten Partei wie Snowflake Zugriff auf Ihre AWS-Ressourcen (wie S3-Buckets) zu gewähren.
Geben Sie eine Platzhalter-ID ein, z. B.
0000
. In einem späteren Schritt werden Sie die Vertrauensstellung für Ihre IAM-Rolle ändern und die externe ID Ihrer Speicherintegration angeben.Wählen Sie Next aus.
Wählen Sie die Richtlinie aus, die Sie in Schritt 1: Zugriffsberechtigungen für den S3-Bucket konfigurieren (unter diesem Thema) erstellt haben.
Wählen Sie Next aus.
Geben Sie einen Namen und eine Beschreibung für die Rolle ein, und wählen Sie Create role aus.
Sie haben nun eine IAM-Richtlinie für einen Bucket erstellt, eine IAM-Rolle erstellt und die Richtlinie an die Rolle angehängt.
Notieren Sie den Wert von Role ARN, der auf der Übersichtsseite der Rolle angegeben ist. Im nächsten Schritt erstellen Sie eine Snowflake-Integration, die auf diese Rolle verweist.
Bemerkung
Snowflake speichert die temporären Anmeldeinformationen im Cache für einen Zeitraum, der die Ablaufzeit von 60 Minuten nicht überschreiten darf. Wenn Sie den Zugriff von Snowflake widerrufen, sind Benutzer vor Ablauf des Cache möglicherweise in der Lage, die am Cloudspeicherort befindlichen Dateien aufzulisten und auf die Daten zuzugreifen.
Schritt 3: Cloud Storage-Integration in Snowflake erstellen¶
Erstellen Sie mit dem Befehl CREATE STORAGE INTEGRATION eine Speicherintegration. Eine Speicherintegration ist ein Snowflake-Objekt, in dem ein für Ihren S3-Cloudspeicher generierter IAM-Benutzer (Identitäts- und Zugriffsverwaltung) zusammen mit einem optionalen Satz zulässiger oder blockierter Speicherorte (d. h. Buckets) gespeichert wird. Cloudanbieter-Administratoren in Ihrer Organisation erteilen dem generierten Benutzer Berechtigungen für die Speicherorte. Dank dieser Option müssen Benutzer beim Erstellen von Stagingbereichen oder beim Laden von Daten keine Anmeldeinformationen eingeben.
Eine einzelne Speicherintegration kann mehrere externe (d. h. S3) Stagingbereiche unterstützen. Die URL in der Stagingbereichsdefinition muss mit den für den Parameter STORAGE_ALLOWED_LOCATIONS angegebenen S3-Buckets (und optionalen Pfaden) übereinstimmen.
Bemerkung
Dieser SQL-Befehl kann nur von Kontoadministratoren (Benutzer mit der Rolle ACCOUNTADMIN) oder von Rollen mit der globalen Berechtigung CREATE INTEGRATION ausgeführt werden.
CREATE STORAGE INTEGRATION <integration_name>
TYPE = EXTERNAL_STAGE
STORAGE_PROVIDER = 'S3'
ENABLED = TRUE
STORAGE_AWS_ROLE_ARN = '<iam_role>'
STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
[ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]
Wobei:
integration_name
ist der Name der neuen Integration.iam_role
ist der Amazon Resource Name (ARN) der Rolle, die Sie in Schritt 2: IAM-Rolle in AWS erstellen (unter diesem Thema) erstellt haben.bucket
ist der Name eines S3-Buckets, in dem Ihre Datendateien gespeichert sind (z. B.mybucket
). Die erforderlichen Parameter STORAGE_ALLOWED_LOCATIONS und STORAGE_BLOCKED_LOCATIONS beschränken bzw. blockieren den Zugriff auf diese Buckets, wenn Stagingbereiche, die auf diese Integration verweisen, erstellt oder geändert werden.path
ist ein optionaler Pfad, mit dem Sie Objekte im Bucket genauer steuern können.
Das folgende Beispiel erstellt eine Integration, die den Zugriff auf alle Buckets im Konto erlaubt, aber den Zugriff auf die definierten sensitivedata
-Ordner blockiert.
Zusätzliche externe Stagingbereiche, die diese Integration ebenfalls verwenden, können auf die zulässigen Buckets und Pfade verweisen:
CREATE STORAGE INTEGRATION s3_int TYPE = EXTERNAL_STAGE STORAGE_PROVIDER = 'S3' ENABLED = TRUE STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole' STORAGE_ALLOWED_LOCATIONS = ('*') STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');
Bemerkung
Optional können Sie den Parameter STORAGE_AWS_EXTERNAL_ID verwenden, um Ihre eigene externe ID anzugeben. Sie können diese Option wählen, um dieselbe externe ID für mehrere externe Volumes und/oder Speicherintegrationen zu verwenden.
Schritt 4: AWS-IAM-Benutzer für Ihr Snowflake-Konto abrufen¶
Um den ARN des IAM-Benutzers abzurufen, der für Ihr Snowflake-Konto automatisch erstellt wurde, verwenden Sie den Befehl DESCRIBE INTEGRATION.
DESC INTEGRATION <integration_name>;
Wobei:
integration_name
ist der Name der Integration, die Sie in Schritt 3: Cloud Storage-Integration in Snowflake erstellen (unter diesem Thema) erstellt haben.
Beispiel:
DESC INTEGRATION s3_int; +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+ | property | property_type | property_value | property_default | +---------------------------+---------------+--------------------------------------------------------------------------------+------------------| | ENABLED | Boolean | true | false | | STORAGE_ALLOWED_LOCATIONS | List | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/ | [] | | STORAGE_BLOCKED_LOCATIONS | List | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/ | [] | | STORAGE_AWS_IAM_USER_ARN | String | arn:aws:iam::123456789001:user/abc1-b-self1234 | | | STORAGE_AWS_ROLE_ARN | String | arn:aws:iam::001234567890:role/myrole | | | STORAGE_AWS_EXTERNAL_ID | String | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq= | | +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
Notieren Sie sich die Werte der folgenden Eigenschaften:
Eigenschaft
Beschreibung
STORAGE_AWS_IAM_USER_ARN
Der AWS-IAM-Benutzer, der für Ihr Snowflake-Konto erstellt wurde, in diesem Beispiel
arn:aws:iam::123456789001:user/abc1-b-self1234
. Snowflake stellt genau einen IAM-Benutzer für Ihr gesamtes Snowflake-Konto bereit. Alle S3-Speicherintegrationen in Ihrem Konto verwenden diesen IAM-Benutzer.STORAGE_AWS_EXTERNAL_ID
Die externe ID, die Snowflake verwendet, um eine Vertrauensstellung mit AWS einzurichten. Wenn Sie beim Erstellen der Speicherintegration keine externe ID (
STORAGE_AWS_EXTERNAL_ID
) angegeben haben, generiert Snowflake eine ID, die Sie verwenden können.Diese Werte geben Sie im nächsten Abschnitt an.
Schritt 5: IAM-Benutzerberechtigungen für den Zugriff auf Bucket-Objekte erteilen¶
Die folgende schrittweise Anleitung beschreibt, wie Sie die IAM-Zugriffsberechtigungen für Snowflake über Ihre AWS Management Console so konfigurieren, dass Sie einen S3-Bucket zum Laden und Entladen von Daten verwenden können:
Melden Sie sich bei der AWS Management Console an.
Wählen Sie Identity & Access Management (IAM) aus.
Wählen Sie im linken Navigationsbereich Roles aus.
Wählen Sie die Rolle aus, die Sie in Schritt 2: IAM-Rolle in AWS erstellen (unter diesem Thema) erstellt haben.
Wählen Sie die Registerkarte Trust relationships aus.
Wählen Sie Edit trust relationship aus.
Ändern Sie das Richtliniendokument mit den DESC STORAGE INTEGRATION-Ausgabewerten, die Sie in Schritt 4: AWS-IAM-Benutzer für Ihr Snowflake-Konto abrufen (unter diesem Thema) ermittelt haben.
Richtliniendokument für die IAM-Rolle
{ "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Principal": { "AWS": "<snowflake_user_arn>" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "<snowflake_external_id>" } } } ] }
Wobei:
snowflake_user_arn
ist der von Ihnen notierte STORAGE_AWS_IAM_USER_ARN-Wert.snowflake_external_id
ist der von Ihnen notierte STORAGE_AWS_EXTERNAL_ID-Wert.In diesem Beispiel hat
snowflake_external_id
den WertMYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=
.Bemerkung
Wenn Sie aus Sicherheitsgründen eine neue Speicherintegration erstellen (oder eine bestehende Speicherintegration mit der CREATE OR REPLACE STORAGE INTEGRATION-Syntax neu erstellen) und dabei keine externe ID angeben, hat die neue Speicherintegration eine andere externe ID und kann daher die Vertrauensstellung nicht auflösen, es sei denn, Sie aktualisieren die Vertrauensrichtlinie.
Wählen Sie die Schaltfläche Update Trust Policy aus. Die Änderungen werden gespeichert.
Bemerkung
Snowflake speichert die temporären Anmeldeinformationen im Cache für einen Zeitraum, der die Ablaufzeit von 60 Minuten nicht überschreiten darf. Wenn Sie den Zugriff von Snowflake widerrufen, sind Benutzer vor Ablauf des Cache möglicherweise in der Lage, Dateien auflisten und Daten vom Cloudspeicherort zu laden.
Bestimmen der korrekten Option¶
Ermitteln Sie vor dem Fortfahren, ob für den Zielpfad (oder in AWS-Terminologie das „Präfix“) in dem S3-Bucket, in dem sich Ihre Datendateien befinden, eine S3-Ereignisbenachrichtigung vorhanden ist. AWS-Regeln verbieten das Erstellen widersprüchlicher Benachrichtigungen für denselben Pfad.
Die folgenden Optionen zum Automatisieren der Aktualisierung von Metadaten externer Tabellen mit Amazon SQS werden unterstützt:
Option 1: Neue S3-Ereignisbenachrichtigung: Erstellen Sie eine Ereignisbenachrichtigung für den Zielpfad in Ihrem S3-Bucket. Die Ereignisbenachrichtigung informiert Snowflake über eine SQS-Warteschlange, wenn neue, entfernte oder geänderte Dateien im Pfad eine Aktualisierung der Metadaten der externe Tabelle erfordern.
Dies ist die am häufigsten verwendete Option.
Wichtig
Wenn für Ihren S3-Bucket eine widersprüchliche Ereignisbenachrichtigung vorliegt, verwenden Sie stattdessen Option 2.
Option 2: Bestehende Ereignisbenachrichtigung: Konfigurieren Sie Amazon Simple Notification Service (SNS) als Broadcaster, um Benachrichtigungen für einen bestimmten Pfad mit mehreren Endpunkten (oder „Abonnenten“, z. B. SQS-Warteschlangen oder AWS Lambda-Workloads) freizugeben, einschließlich der Snowflake SQS-Warteschlange für die automatische Aktualisierung externer Tabellen. Eine von SNS veröffentlichte S3-Ereignisbenachrichtigung informiert Snowflake über Datei-Änderungen im Pfad mithilfe einer SQS-Warteschlange.
Option 1: Erstellen einer neuen S3-Ereignisbenachrichtigung¶
In diesem Abschnitt wird die am häufigsten verwendete Option zum automatischen Aktualisieren der Metadaten externer Tabellen mithilfe von Amazon SQS (Simple Queue Service)-Benachrichtigungen für einen S3-Bucket beschrieben. In den Schritten wird erläutert, wie Sie eine Ereignisbenachrichtigung für den Zielpfad (oder in AWS-Terminologie das „Präfix“) in dem S3-Bucket erstellen, in dem Ihre Datendateien gespeichert sind.
Wichtig
Wenn für Ihren S3-Bucket eine Benachrichtigung über widersprüchliche Ereignisse vorhanden ist, verwenden Sie stattdessen Option 2: Konfigurieren von Amazon SNS (unter diesem Thema). AWS-Regeln verbieten das Erstellen widersprüchlicher Benachrichtigungen für denselben Zielpfad.
Schritt 1: Stagingbereich erstellen (falls erforderlich)¶
Erstellen Sie mit dem Befehl CREATE STAGE einen externen Stagingbereich, der auf Ihren S3-Bucket verweist. Snowflake liest Ihre Staging-Datendateien in die Metadaten der externen Tabelle. Alternativ können Sie einen vorhandenen externen Stagingbereich verwenden.
Bemerkung
Informationen zum Konfigurieren des sicheren Zugriffs auf den Speicherort in der Cloud finden Sie unter Konfigurieren des sicheren Zugriffs auf Cloudspeicher (unter diesem Thema).
Um in der CREATE STAGE-Anweisung auf eine Speicherintegration zu verweisen, muss die Rolle über USAGE-Berechtigung für das Speicherintegrationsobjekt verfügen.
Im folgenden Beispiel wird im aktiven Schema der Benutzersitzung ein Stagingbereich mit dem Namen mystage
erstellt. Die Cloudspeicher-URL enthält den Pfad files
. Der Stagingbereich verweist auf eine Speicherintegration mit dem Namen my_storage_int
.
USE SCHEMA mydb.public; CREATE STAGE mystage URL = 's3://mybucket/files' STORAGE_INTEGRATION = my_storage_int;
Schritt 2: Externe Tabelle erstellen¶
Erstellen Sie mit dem Befehl CREATE EXTERNAL TABLE eine externe Tabelle. Erstellen Sie beispielsweise eine externe Tabelle im Schema mydb.public
, die JSON-Daten aus den Stagingdateien liest.
Die Stagingbereichsreferenz enthält einen Ordnerpfad mit dem Namen path1
. Die externe Tabelle hängt diesen Pfad an die Stagingbereichsdefinition an, d. h. die externe Tabelle verweist auf die Datendateien in @mystage/files/path1
:
Beachten Sie, dass der Parameter AUTO_REFRESH
standardmäßig TRUE
lautet:
CREATE OR REPLACE EXTERNAL TABLE ext_table WITH LOCATION = @mystage/path1/ FILE_FORMAT = (TYPE = JSON);
Schritt 3: Ereignisbenachrichtigungen konfigurieren¶
Konfigurieren Sie Ereignisbenachrichtigungen für Ihren S3-Bucket, um Snowflake zu benachrichtigen, wenn neue oder aktualisierte Daten zum Lesen in die Metadaten der externen Tabelle verfügbar sind. Das Feature zur automatischen Aktualisierung nutzt SQS-Warteschlangen, um Ereignisbenachrichtigungen von S3 an Snowflake zu senden.
Zur Vereinfachung der Verwendung werden diese SQS-Warteschlangen von Snowflake erstellt und verwaltet. Die Ausgabe des Befehls SHOW EXTERNAL TABLES zeigt den Amazon Resource Name (ARN) Ihrer SQS-Warteschlange an.
Führen Sie den Befehl SHOW EXTERNAL TABLES aus:
SHOW EXTERNAL TABLES;
Beachten Sie den ARN der SQS-Warteschlange für die externe Tabelle in der Spalte
notification_channel
. Kopieren Sie den ARN an einen geeigneten Speicherort.Bemerkung
Gemäß AWS-Richtlinien weist Snowflake genau eine SQS-Warteschlange pro S3-Bucket zu. Diese SQS-Warteschlange kann von mehreren Buckets in demselben AWS-Konto gemeinsam genutzt werden. Die SQS-Warteschlange koordiniert Benachrichtigungen für alle externen Tabellen, die Datendateien aus demselben S3-Bucket lesen. Wenn eine neue oder geänderte Datendatei in den Bucket hochgeladen wird, lesen alle externen Tabellendefinitionen, die mit dem Verzeichnispfad des Stagingbereichs übereinstimmen, die Dateidetails in ihre Metadaten.
Anmelden bei der AWS-Managementkonsole.
Konfigurieren Sie anhand der Anweisungen in der Amazon S3-Dokumentation eine Ereignisbenachrichtigung für Ihren S3-Bucket. Füllen Sie die Felder wie folgt aus:
Name: Name der Ereignisbenachrichtigung (z. B.
Auto-ingest Snowflake
).Events: Wählen Sie die Optionen ObjectCreate (All) und ObjectRemoved aus.
Send to: Wählen Sie SQS Queue in der Dropdown-Liste aus.
SQS: Wählen Sie Add SQS queue ARN in der Dropdown-Liste aus.
SQS queue ARN: Fügen Sie den SQS-Warteschlangennamen aus der SHOW EXTERNAL TABLES-Ausgabe ein.
Bemerkung
Mit diesen Anweisungen wird eine einzelne Ereignisbenachrichtigung erstellt, die die Aktivität für den gesamten S3-Bucket überwacht. Dies ist der einfachste Ansatz. Diese Benachrichtigung handhabt alle externen Tabellen, die im S3-Bucket-Verzeichnis auf einer granulareren Ebene konfiguriert wurden.
Alternativ können Sie in den obigen Schritten einen oder mehrere Pfade und/oder Dateierweiterungen (bzw. Präfixe und Suffixe in der AWS-Terminologie) konfigurieren, um Ereignisaktivitäten zu filtern. Anweisungen dazu finden Sie in den Informationen zum Filtern von Objektschlüsselnamen im entsprechenden AWS-Dokumentationsthema. Wiederholen Sie diese Schritte für jeden weiteren Pfad oder jede weitere Dateierweiterung, den bzw. die die Benachrichtigung überwachen soll.
Beachten Sie, dass AWS die Anzahl dieser Benachrichtigungs-Warteschlangenkonfigurationen auf maximal 100 pro S3-Bucket begrenzt.
Beachten Sie auch, dass AWS für denselben S3-Bucket keine überlappenden Warteschlangenkonfigurationen (über Ereignisbenachrichtigungen hinweg) zulässt. Wenn beispielsweise eine vorhandene Benachrichtigung für s3://mybucket/files/path1
konfiguriert ist, können Sie keine weitere Benachrichtigung auf einer höheren Ebene erstellen (z. B. s3://mybucket/files
) oder umgekehrt.
Der externe Stagingbereich mit automatischer Aktualisierung ist jetzt konfiguriert!
Wenn neue oder aktualisierte Datendateien zum S3-Bucket hinzugefügt werden, weist die Ereignisbenachrichtigung Snowflake an, sie in die Metadaten der externen Tabelle zu scannen.
Schritt 4: Metadaten externer Tabellen manuell aktualisieren¶
Aktualisieren Sie die Metadaten der externen Tabelle einmal manuell, indem Sie ALTER EXTERNAL TABLE mit dem Parameter REFRESH verwenden, z. B.:
ALTER EXTERNAL TABLE ext_table REFRESH;
Dadurch wird sichergestellt, dass die Metadaten mit allen Änderungen an der Dateiliste synchronisiert werden, die seit Schritt 2 vorgenommen wurden. Danach lösen die S3-Ereignisbenachrichtigungen die Aktualisierung der Metadaten automatisch aus.
Schritt 5: Sicherheit konfigurieren¶
Erteilen Sie mit GRANT <Berechtigungen> für jede zusätzliche Rolle, die zum Abfragen der externen Tabelle verwendet wird, ausreichende Zugriffssteuerungsrechte für die verschiedenen Objekte (d. h. Datenbanken, Schemas, Stagingbereich und Tabelle):
Objekt |
Berechtigung |
Anmerkungen |
---|---|---|
Datenbank |
USAGE |
|
Schema |
USAGE |
|
Benannter Stagingbereich |
USAGE , READ |
|
Benanntes Dateiformat |
USAGE |
|
Externe Tabelle |
SELECT |
Option 2: Konfigurieren von Amazon SNS¶
In diesem Abschnitt wird beschrieben, wie das automatische Laden von Snowpipe-Daten mithilfe von Amazon SQS (Simple Queue Service)-Benachrichtigungen für einen S3-Bucket ausgelöst wird. In den Schritten wird erläutert, wie Sie Amazon Simple Notification Service (SNS) als Broadcaster konfigurieren, um Ereignisbenachrichtigungen für Ihren S3-Bucket für mehrere Abonnenten zu veröffentlichen (z. B. SQS-Warteschlangen oder AWS Lambda-Workloads), einschließlich der Snowflake-SQS-Warteschlange für die automatische Aktualisierung externer Tabellen.
Bemerkung
Diese Anweisungen setzen voraus, dass für den Zielpfad in Ihrem S3-Bucket, in dem sich Ihre Datendateien befinden, eine Ereignisbenachrichtigung vorhanden ist. Wenn keine Ereignisbenachrichtigung vorhanden ist, gehen Sie wie folgt vor:
Führen Sie stattdessen Option 1: Erstellen einer neuen S3-Ereignisbenachrichtigung (unter diesem Thema) aus.
Erstellen Sie eine Ereignisbenachrichtigung für Ihren S3-Bucket, und fahren Sie dann mit den Anweisungen unter diesem Thema fort. Weitere Informationen dazu finden Sie in der Amazon S3-Dokumentation.
Vorbereitung: Amazon-SNS-Thema und Abonnement erstellen.¶
Erstellen Sie ein SNS-Thema in Ihrem AWS-Konto, um alle Nachrichten für den Snowflake-Stagingbereich in Ihrem S3-Bucket zu verwalten.
Abonnieren Sie Ihre Zieldestinationen für die S3-Ereignisbenachrichtigungen (z. B. andere SQS-Warteschlangen oder AWS Lambda-Workloads) zu diesem Thema. SNS veröffentlicht Ereignisbenachrichtigungen für Ihren Bucket an alle Abonnenten des Themas.
Anweisungen dazu finden Sie in der SNS-Dokumentation.
Schritt 1: Snowflake-SQS-Warteschlange zum SNS-Thema abonnieren¶
Anmelden bei der AWS-Managementkonsole.
Wählen Sie auf dem Startseiten-Dashboard die Option Simple Notification Service (SNS) aus.
Wählen Sie im linken Navigationsbereich Topics aus.
Suchen Sie das Thema für Ihren S3-Bucket. Beachten Sie das Thema ARN.
Fragen Sie mithilfe eines Snowflake-Clients die SYSTEM$GET_AWS_SNS_IAM_POLICY-Systemfunktion mit Ihrem SNS-Thema ARN ab:
select system$get_aws_sns_iam_policy('<sns_topic_arn>');
Die Funktion gibt eine IAM-Richtlinie zurück, die einer Snowflake-SQS-Warteschlange die Berechtigung zum Abonnieren des SNS-Themas erteilt.
Beispiel:
select system$get_aws_sns_iam_policy('arn:aws:sns:us-west-2:001234567890:s3_mybucket'); +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | SYSTEM$GET_AWS_SNS_IAM_POLICY('ARN:AWS:SNS:US-WEST-2:001234567890:S3_MYBUCKET') | +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | {"Version":"2012-10-17","Statement":[{"Sid":"1","Effect":"Allow","Principal":{"AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234"},"Action":["sns:Subscribe"],"Resource":["arn:aws:sns:us-west-2:001234567890:s3_mybucket"]}]} | +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
Kehren Sie zur AWS Management Console zurück. Wählen Sie im linken Navigationsbereich Topics aus.
Wählen Sie das Thema für Ihren S3-Bucket aus, und klicken Sie auf die Schaltfläche Edit. Die Seite Edit wird angezeigt.
Klicken Sie auf Access policy - Optional, um diesen Bereich der Seite zu erweitern.
Fügen Sie den IAM-Richtlinienzusatz aus den SYSTEM$GET_AWS_SNS_IAM_POLICY-Funktionsergebnissen in das JSON-Dokument ein.
Beispiel:
Ursprüngliche IAM-Richtlinie (abgekürzt):
{ "Version":"2008-10-17", "Id":"__default_policy_ID", "Statement":[ { "Sid":"__default_statement_ID", "Effect":"Allow", "Principal":{ "AWS":"*" } .. } ] }
Zusammengeführte IAM-Richtlinie:
{ "Version":"2008-10-17", "Id":"__default_policy_ID", "Statement":[ { "Sid":"__default_statement_ID", "Effect":"Allow", "Principal":{ "AWS":"*" } .. }, { "Sid":"1", "Effect":"Allow", "Principal":{ "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234" }, "Action":[ "sns:Subscribe" ], "Resource":[ "arn:aws:sns:us-west-2:001234567890:s3_mybucket" ] } ] }
Fügen Sie eine zusätzliche Richtlinienberechtigung hinzu, damit S3 Ereignisbenachrichtigungen für den Bucket im SNS-Thema veröffentlichen kann.
Beispiel (unter Verwendung des in diesen Anweisungen verwendeten SNS-Thema-ARN und S3-Bucket):
{ "Sid":"s3-event-notifier", "Effect":"Allow", "Principal":{ "Service":"s3.amazonaws.com" }, "Action":"SNS:Publish", "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket", "Condition":{ "ArnLike":{ "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket" } } }
Zusammengeführte IAM-Richtlinie:
{ "Version":"2008-10-17", "Id":"__default_policy_ID", "Statement":[ { "Sid":"__default_statement_ID", "Effect":"Allow", "Principal":{ "AWS":"*" } .. }, { "Sid":"1", "Effect":"Allow", "Principal":{ "AWS":"arn:aws:iam::123456789001:user/vj4g-a-abcd1234" }, "Action":[ "sns:Subscribe" ], "Resource":[ "arn:aws:sns:us-west-2:001234567890:s3_mybucket" ] }, { "Sid":"s3-event-notifier", "Effect":"Allow", "Principal":{ "Service":"s3.amazonaws.com" }, "Action":"SNS:Publish", "Resource":"arn:aws:sns:us-west-2:001234567890:s3_mybucket", "Condition":{ "ArnLike":{ "aws:SourceArn":"arn:aws:s3:*:*:s3_mybucket" } } } ] }
Klicken Sie auf die Schaltfläche Save changes.
Schritt 2: Stagingbereich erstellen (falls erforderlich)¶
Erstellen Sie mit dem Befehl CREATE STAGE einen externen Stagingbereich, der auf Ihren S3-Bucket verweist. Snowflake liest Ihre Staging-Datendateien in die Metadaten der externen Tabelle.
Alternativ können Sie einen vorhandenen externen Stagingbereich verwenden.
Bemerkung
Informationen zum Konfigurieren des sicheren Zugriffs auf den Speicherort in der Cloud finden Sie unter Konfigurieren des sicheren Zugriffs auf Cloudspeicher (unter diesem Thema).
Um in der CREATE STAGE-Anweisung auf eine Speicherintegration zu verweisen, muss die Rolle über USAGE-Berechtigung für das Speicherintegrationsobjekt verfügen.
Im folgenden Beispiel wird im aktiven Schema der Benutzersitzung ein Stagingbereich mit dem Namen mystage
erstellt. Die Cloudspeicher-URL enthält den Pfad files
. Der Stagingbereich verweist auf eine Speicherintegration mit dem Namen my_storage_int
:
USE SCHEMA mydb.public; CREATE STAGE mystage URL = 's3://mybucket/files' STORAGE_INTEGRATION = my_storage_int;
Schritt 3: Externe Tabelle erstellen¶
Erstellen Sie mit CREATE EXTERNAL TABLE eine externe Tabelle. Identifizieren Sie den SNS-Thema-ARN aus Voraussetzung: Amazon-SNS-Thema und Abonnement erstellen.
CREATE EXTERNAL TABLE <table_name>
..
AWS_SNS_TOPIC = '<sns_topic_arn>';
Wobei:
AWS_SNS_TOPIC = '<sns_topic_arn>'
Gibt den ARN für das SNS-Thema Ihres S3-Buckets an. Mit der CREATE EXTERNAL TABLE-Anweisung wird die Snowflake-SQS-Warteschlange für das angegebene SNS-Thema abonniert.
Erstellen Sie beispielsweise eine externe Tabelle im Schema mydb.public
, die JSON-Daten aus den Stagingdateien liest. Die Stagingbereichsreferenz enthält einen Ordnerpfad mit dem Namen path1
. Die externe Tabelle hängt diesen Pfad an die Stagingbereichsdefinition an, d. h. die externe Tabelle verweist auf die Datendateien in @mystage/files/path1
: Beachten Sie, dass der Parameter AUTO_REFRESH
standardmäßig TRUE
ist:
CREATE EXTERNAL TABLE ext_table
WITH LOCATION = @mystage/path1/
FILE_FORMAT = (TYPE = JSON)
AWS_SNS_TOPIC = 'arn:aws:sns:us-west-2:001234567890:s3_mybucket';
Um diesen Parameter aus einer externen Tabelle zu entfernen, muss die externe Tabelle derzeit mit der Syntax CREATE OR REPLACE EXTERNAL TABLE neu erstellt werden.
Schritt 4: Metadaten externer Tabellen manuell aktualisieren¶
Aktualisieren Sie die Metadaten der externen Tabelle einmal manuell, indem Sie ALTER EXTERNAL TABLE mit dem Parameter REFRESH verwenden, z. B.:
ALTER EXTERNAL TABLE ext_table REFRESH;
Dadurch wird sichergestellt, dass die Metadaten mit allen Änderungen an der Dateiliste synchronisiert werden, die seit Schritt 3 aufgetreten sind. Danach lösen die S3-Ereignisbenachrichtigungen die Aktualisierung der Metadaten automatisch aus.
Schritt 5: Sicherheit konfigurieren¶
Erteilen Sie mit GRANT <Berechtigungen> für jede zusätzliche Rolle, die zum Abfragen der externen Tabelle verwendet wird, ausreichende Zugriffssteuerungsrechte für die verschiedenen Objekte (d. h. Datenbanken, Schemas, Stagingbereich und Tabelle):
Objekt |
Berechtigung |
Anmerkungen |
---|---|---|
Datenbank |
USAGE |
|
Schema |
USAGE |
|
Benannter Stagingbereich |
USAGE , READ |
|
Benanntes Dateiformat |
USAGE |
|
Externe Tabelle |
SELECT |