Verwenden von Amazon S3-kompatiblem Speicher¶

Unterstützung von Cloudplattformen¶

Dieses Feature ist für Snowflake-Konten verfügbar, die auf einer der folgenden unterstützten Cloudplattformen gehostet werden:

• Amazon Web Services

• Google Cloud

• Microsoft Azure

Anforderungen an S3-kompatiblen Speicher¶

Ein S3-kompatibler API-Endpunkt für Snowflake muss die folgenden Anforderungen erfüllen:

• Hohe Konformität mit der S3-API und Fähigkeit zur Verarbeitung unserer öffentlichen Testsuite (in GitHub). Wenn sich der Endpunkt nicht wie S3 verhält, kann er nicht mit Snowflake verwendet werden.

• Wird von Ihrem Speicheranbieter als auf Snowflake-S3-Kompatibilität getesteter und konformer Dienst unterstützt. Eine Liste von Anbietern, die zumindest einige ihrer Produkte getestet und als kompatibel mit Snowflake befunden haben, finden Sie unter Anbieterunterstützung für S3-kompatiblen Speicher.

• Ermöglicht Zugriff über die öffentliche Cloud, in der Ihr Snowflake-Konto gehostet wird.

• Hochverfügbar und leistungsfähig für Analysezwecke.

• Konfiguriert zur Verwendung von Anforderungen wie im Stil eines virtuellen Hosts. Weitere Informationen dazu finden Sie in der Amazon S3-Dokumentation unter Virtuelles Hosting von Buckets.

• Zur Verwendung von HTTPS-Kommunikation mit gültigem TLS-Zertifikat konfiguriert.

• Zur Verwendung direkter Anmeldeinformationen konfiguriert.

• Enthält keine Portnummer. Beispielsweise wird der Endpunkt „mystorage.com:3000“ nicht unterstützt.

Erstellen eines externen Stagingbereichs für S3-kompatiblen Speicher¶

Um einen externen Stagingbereich für S3-kompatible Speicher zu erstellen, erstellen Sie mit dem Befehl CREATE STAGE einen benannten externen Stagingbereich. Sie können eine externen Stagingbereich verwenden, um Aktionen wie das Auflisten von Dateien, das Laden von Daten und das Entladen von Dateien durchzuführen.

Fügen Sie dem externen Stagingbereich optional eine Verzeichnistabelle hinzu. Sie können eine Verzeichnistabelle abfragen, um Datei-URLs abzurufen und so auf Dateien im referenzierten Speicher sowie auf andere Metadaten zuzugreifen.

Im folgenden Beispiel wird ein externer Stagingbereich mit dem Namen my_s3_compat_stage erstellt, der auf den Bucket und den Pfad namens my_bucket/files/ am Endpunkt mystorage.com verweist: Die in diesem Beispiel verwendeten Werte AWS_KEY_ID und AWS_SECRET_KEY dienen nur zur Veranschaulichung.

CREATE STAGE my_s3compat_stage
  URL = 's3compat://my_bucket/files/'
  ENDPOINT = 'mystorage.com'
  CREDENTIALS = (AWS_KEY_ID = '1a2b3c...' AWS_SECRET_KEY = '4x5y6z...')

Laden und Entladen von Daten¶

Sie können Daten über einen externen Stagingbereich laden und entladen, der für S3-kompatiblen Speicher konfiguriert ist. Die folgenden Features funktionieren mit S3-kompatiblem Speicher:

• Massenladen von Daten mit dem Befehl COPY INTO <Tabelle>.

  Sie können beispielsweise Daten in die Tabelle t1 aus allen Dateien laden, die sich im Unterpfad load von Pfad/Bucket befinden, die in dem von Ihnen erstellten Stagingbereich namens my_s3compat_stage definiert sind:

  COPY INTO t1
    FROM @my_s3compat_stage/load/;
  

  Copy

• Aufrufen von Snowpipe-REST-Endpunkten zum kontinuierlichen Laden von Daten.

  Beispielprogramme finden Sie unter Option 1: Laden von Daten mit der Snowpipe-REST-API.

• Entladen von Daten mit dem Befehl COPY INTO <Speicherort>.

  Entladen Sie beispielsweise Daten aus Tabelle t2 in Dateien im Unterpfad unload von Pfad/Bucket, die in dem von Ihnen erstellten Stagingbereich my_s3compat_stage definiert sind:

  COPY INTO @my_s3compat_stage/unload/
    FROM t2;
  

  Copy

Erweitern von Data Lakes mit externen Tabellen¶

Sie können externe Tabellen mit S3-kompatiblem Speicher verwenden, um Daten abzufragen, ohne sie vorher in Snowflake laden zu müssen. In diesem Abschnitt erfahren Sie kurz, wie Sie eine externe Tabelle erstellen und abfragen, die auf einen Speicherort in einem externen Stagingbereich verweist, der für S3-kompatiblen Speicher konfiguriert ist.

Beginnen Sie, indem Sie mit CREATE EXTERNAL TABLE eine externe Tabelle erstellen, die auf einen S3-kompatiblen externen Stagingbereich verweist.

Im folgenden Beispiel wird eine externe Tabelle namens et erstellt, die auf den Unterpfad path1 in einem Stagingbereich namens my_s3compat_stage verweist. Die Dateien im Unterpfad path1 liegen im Apache Parquet-Format vor.

CREATE EXTERNAL TABLE et
 LOCATION=@my_s3compat_stage/path1/
 AUTO_REFRESH = FALSE
 REFRESH_ON_CREATE = TRUE
 FILE_FORMAT = (TYPE = PARQUET);

Nachdem Sie eine externe Tabelle für S3-kompatible Speicherung erstellt haben, können Sie diese abfragen. Fragen Sie beispielsweise die Spalte value in der zuvor erstellten externen Tabelle ab:

SELECT value FROM et;

Die Abfrageleistung variiert je nach Netzwerk- und Anwendungs- bzw. Geräteleistung. Wenn die Verarbeitungsleistung entscheidend ist, erstellen Sie eine materialisierte Ansicht auf die externe Tabelle. Materialisierte Ansichten sind vorberechnet, sodass die Abfrage einer materialisierten Ansicht schneller ist als die Ausführung einer Abfrage auf der Basistabelle der Ansicht.

Anbieterunterstützung für S3-kompatiblen Speicher¶

Sie können Geräte oder Anwendungen, die eine S3-kompatible API haben, mit Snowflake verwenden. Ihr Anbieter von Speicherdienstleistungen ist jedoch für die Sicherstellung der Konformität verantwortlich.

Die folgenden Anbieter haben Snowflake mitgeteilt, dass sie zumindest einige ihrer Produkte getestet haben und dass diese mit Snowflake funktionieren:

• Backblaze

• Cloudflare

• Cloudian

• Cohesity

• Dell

• Hitachi Content Platform

• IBM Storage Ceph

• IDrive e2

• MinIO

• NetApp (StorageGRID)

• Nutanix

• PureStorage

• Scality

• Wasabi

Diese Liste dient lediglich als Orientierung. Snowflake testet keine externen Produkte, um die Kompatibilität zu überprüfen, und kann keine Probleme in Produkten von Drittanbietern beheben. Wenn Sie Fragen dazu haben, ob oder wie Ihre Hardware oder Software mit einer S3-API mit Snowflake funktioniert, wenden Sie sich direkt an den Hersteller.

Testen Ihrer S3-kompatiblen API¶

Wenn Sie ein Hardware- oder Softwareentwickler sind, der eine S3-kompatible API erstellt hat, können Sie unsere öffentliche Testsuite (in GitHub) verwenden, um zu testen, ob Ihre S3-API mit Snowflake funktioniert. Die Testsuite sucht nach offensichtlichen Abweichungen zwischen Ihrer Implementierung und dem, was Snowflake von S3 erwartet. Allerdings kann es Fälle geben, in denen die Tests keine Inkompatibilität feststellen.

Wenn Sie als Kunde Ihre eigenen Geräte testen möchten, wenden Sie sich an Ihren Anbieter, um diese Tests auszuführen. Sie können diese öffentlichen Tests jedoch auch auf Ihren Geräten ausführen, um die Kompatibilität zu beurteilen.