COPY INTO <Speicherort>¶

Zusätzliche Cloudanbieterparameter¶

STORAGE_INTEGRATION = integration_name oder . CREDENTIALS = ( cloud_specific_credentials )

Wird unterstützt, wenn die COPY-Anweisung für den Ziel-Cloudspeicherort die URI eines externen Speicherplatzes und nicht den Namen eines externen Stagingbereiches angibt. Gibt die Sicherheitsanmeldeinformationen für die Verbindung zum Cloudanbieter und für den Zugriff auf den privaten Speichercontainer an, in dem die entladenen Dateien bereitgestellt werden.

Nur zum Entladen in einen externen privaten Cloudspeicherort erforderlich. Nicht erforderlich für öffentliche Buckets/Container

Amazon S3

STORAGE_INTEGRATION = integration_name

Gibt den Namen der Speicherintegration an, mit der die Authentifizierungsverantwortung für den externen Cloudspeicher an eine Snowflake-Entität für Identitäts- und Zugriffsverwaltung (IAM) delegiert wird. Weitere Details dazu finden Sie unter CREATE STORAGE INTEGRATION.

Bemerkung

Wir empfehlen dringend die Verwendung von Speicherintegrationen. Mit dieser Option wird vermieden, dass beim Erstellen von Stagingbereichen oder Laden von Daten mithilfe des Parameters CREDENTIALS Cloudspeicher-Anmeldeinformationen angegeben werden müssen.

CREDENTIALS = ( AWS_KEY_ID = 'string' AWS_SECRET_KEY = 'string' [ AWS_TOKEN = 'string' ] ) oder . CREDENTIALS = ( AWS_ROLE = 'string' )

Gibt die Sicherheits-Anmeldeinformationen für die Verbindung mit AWS und den Zugriff auf den privaten S3-Bucket an, in dem die entladenen Dateien bereitgestellt werden. Weitere Informationen dazu finden Sie unter Konfigurieren des sicheren Zugriffs auf Amazon S3.

Die von Ihnen angegebenen Anmeldeinformationen hängen davon ab, ob Sie die Zugriffsberechtigungen von Snowflake für den Bucket einem/einer AWS IAM (Identity & Access Management)-Benutzer oder -Rolle zugeordnet haben:

• IAM-Benutzer: Temporäre IAM-Zugangsdaten sind erforderlich. Temporäre (auch bekannt als „Scoped“) Anmeldeinformationen werden vom AWS Security Token Service (STS) generiert und bestehen aus drei Komponenten:

  • AWS_KEY_ID

  • AWS_SECRET_KEY

  • AWS_TOKEN

  Alle drei sind erforderlich, um auf einen privaten Bucket zuzugreifen. Nach einem angegebenen Zeitraum verfallen die temporären Anmeldeinformationen und können nicht mehr verwendet werden. Sie müssen dann einen neuen Satz gültiger temporärer Anmeldeinformationen generieren.

  Wichtig

  COPY-Befehle enthalten komplexe Syntax und sensible Informationen, wie z. B. Anmeldeinformationen. Darüber hinaus werden sie häufig ausgeführt und oft in Skripten oder Arbeitsblättern gespeichert, was dazu führen kann, dass sensible Informationen versehentlich freigelegt werden. Mit dem Befehl COPY können permanente (auch bekannt als „langfristige“) Anmeldeinformationen verwendet werden; aus Sicherheitsgründen sollten Sie jedoch permanente Anmeldeinformationen in COPY-Befehlen nicht verwenden. Verwenden Sie stattdessen temporäre Anmeldeinformationen.

  Wenn Sie permanente Anmeldeinformationen verwenden müssen, verwenden Sie externe Stagingbereiche, für die die Anmeldeinformationen einmal eingegeben und sicher gespeichert werden, wodurch das Risiko einer Gefährdung minimiert wird.

• IAM-Rolle: Lassen Sie die Sicherheitsanmeldeinformationen und Zugriffsschlüssel weg. Identifizieren Sie stattdessen die Rolle mit AWS_ROLE, und geben Sie den AWS-Rollen-ARN (Amazon Resource Name) an.

  Wichtig

  Die Möglichkeit, eine AWS IAM-Rolle für den Zugriff auf einen privaten S3-Bucket zum Laden oder Entladen von Daten zu verwenden, ist jetzt veraltet (d. h. die Unterstützung wird in einem zukünftigen Release entfernt, TBD). Es wird dringend empfohlen, alle vorhandenen S3-Stagingbereiche zu ändern, die dieses Feature verwenden, um stattdessen auf Speicherintegrationsobjekte zu verweisen. Eine Anleitung dazu finden Sie unter Option 1: Konfigurieren einer Snowflake-Speicherintegration für Zugriff auf Amazon S3.

Google Cloud Storage

STORAGE_INTEGRATION = integration_name

Gibt den Namen der Speicherintegration an, mit der die Authentifizierungsverantwortung für den externen Cloudspeicher an eine Snowflake-Entität für Identitäts- und Zugriffsverwaltung (IAM) delegiert wird. Weitere Details dazu finden Sie unter CREATE STORAGE INTEGRATION.

Microsoft Azure

STORAGE_INTEGRATION = integration_name

Gibt den Namen der Speicherintegration an, mit der die Authentifizierungsverantwortung für den externen Cloudspeicher an eine Snowflake-Entität für Identitäts- und Zugriffsverwaltung (IAM) delegiert wird. Weitere Details dazu finden Sie unter CREATE STORAGE INTEGRATION.

Bemerkung

Wir empfehlen dringend die Verwendung von Speicherintegrationen. Mit dieser Option wird vermieden, dass beim Erstellen von Stagingbereichen oder Laden von Daten mithilfe des Parameters CREDENTIALS Cloudspeicher-Anmeldeinformationen angegeben werden müssen.

CREDENTIALS = ( AZURE_SAS_TOKEN = 'string' )

Gibt das SAS-Token (Shared Access Signature-Token) für die Verbindung mit Azure und den Zugriff auf den privaten Bucket an, in dem die Dateien mit Daten bereitgestellt werden. Die Anmeldeinformationen werden von Azure generiert.

ENCRYPTION = ( cloud_specific_encryption )

Zur Verwendung in Ad-hoc-COPY-Anweisungen (Anweisungen, die nicht auf einen benannten externen Stagingbereich verweisen). Nur zum Entladen von Daten in Dateien an verschlüsselten Speicherorten erforderlich

Amazon S3

ENCRYPTION = ( [ TYPE = 'AWS_CSE' ] [ MASTER_KEY = '<string>' ] | [ TYPE = 'AWS_SSE_S3' ] | [ TYPE = 'AWS_SSE_KMS' [ KMS_KEY_ID = '<string>' ] ] | [ TYPE = 'NONE' ] )

TYPE = ...

Gibt den verwendeten Verschlüsselungstyp an. Mögliche Werte sind:

• AWS_CSE: Clientseitige Verschlüsselung (erfordert einen MASTER_KEY-Wert). Derzeit kann der von Ihnen bereitgestellte clientseitige Hauptschlüssel nur ein symmetrischer Schlüssel sein. Beachten Sie, dass Snowflake bei Angabe eines MASTER_KEY-Werts davon ausgeht, dass TYPE = AWS_CSE (d. h. wenn ein MASTER_KEY-Wert angegeben wird, ist TYPE nicht erforderlich).

• AWS_SSE_S3: Serverseitige Verschlüsselung, die keine zusätzlichen Verschlüsselungseinstellungen erfordert.

• AWS_SSE_KMS: Serverseitige Verschlüsselung, die einen optionalen KMS_KEY_ID-Wert akzeptiert.

Weitere Informationen zu den Verschlüsselungsarten finden Sie in der AWS-Dokumentation für clientseitige Verschlüsselung oder serverseitige Verschlüsselung.

• NONE: Keine Verschlüsselung.

MASTER_KEY = 'string' (gilt nur für AWS_CSE-Verschlüsselung)

Gibt den clientseitigen Hauptschlüssel an, mit dem die Dateien im Bucket verschlüsselt wurden. Der Hauptschlüssel muss ein 128-Bit- oder 256-Bit-Schlüssel in Base64-codierter Form sein.

KMS_KEY_ID = 'string' (gilt nur für AWS_SSE_KMS-Verschlüsselung)

Gibt optional die ID für den AWS KMS-verwalteten Schlüssel an, der zum Verschlüsseln von Dateien verwendet wird, die in den Bucket entladen wurden. Wenn kein Wert angegeben wird, werden Dateien beim Entladen mit Ihrer standardmäßigen KMS-Schlüssel-ID verschlüsselt.

Beachten Sie, dass dieser Wert beim Laden von Daten ignoriert wird.

Google Cloud Storage

ENCRYPTION = ( [ TYPE = 'GCS_SSE_KMS' | 'NONE' ] [ KMS_KEY_ID = 'string' ] )

TYPE = ...

Gibt den verwendeten Verschlüsselungstyp an. Mögliche Werte sind:

• GCS_SSE_KMS: Serverseitige Verschlüsselung, die einen optionalen KMS_KEY_ID-Wert akzeptiert.

  Weitere Informationen dazu finden Sie in der Dokumentation zu Google Cloud Platform:

  • https://cloud.google.com/storage/docs/encryption/customer-managed-keys

  • https://cloud.google.com/storage/docs/encryption/using-customer-managed-keys

• NONE: Keine Verschlüsselung.

KMS_KEY_ID = 'string' (gilt nur für GCS_SSE_KMS-Verschlüsselung)

Gibt optional die ID für den Cloud-KMS-verwalteten Schlüssel an, der zum Verschlüsseln von Dateien verwendet wird, die in den Bucket entladen wurden. Wenn kein Wert angegeben ist, werden Dateien beim Entladen in den Bucket mit Ihrer standardmäßigen KMS-Schlüssel-ID verschlüsselt.

Beachten Sie, dass dieser Wert beim Laden von Daten ignoriert wird. Die Ladeoperation sollte erfolgreich sein, wenn das Dienstkonto über ausreichende Berechtigungen zum Entschlüsseln von Daten im Bucket verfügt.

Microsoft Azure

ENCRYPTION = ( [ TYPE = 'AZURE_CSE' | 'NONE' ] [ MASTER_KEY = 'string' ] )

TYPE = ...

Gibt den verwendeten Verschlüsselungstyp an. Mögliche Werte sind:

• AZURE_CSE: Clientseitige Verschlüsselung (erfordert einen MASTER_KEY-Wert). Weitere Informationen dazu finden Sie unter Informationen zur clientseitigen Verschlüsselung in der Microsoft Azure-Dokumentation.

• NONE: Keine Verschlüsselung.

MASTER_KEY = 'string' (gilt nur für AZURE_CSE-Verschlüsselung)

Gibt den clientseitigen Hauptschlüssel an, der zum Verschlüsseln von Dateien verwendet wird. Der Hauptschlüssel muss ein 128-Bit- oder 256-Bit-Schlüssel in Base64-codierter Form sein.

TYPE = CSV¶

COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | NONE

Zeichenfolge (Konstante), die angibt, dass die entladenen Datendateien unter Verwendung des angegebenen Komprimierungsalgorithmus komprimiert werden sollen.

Unterstützte Werte	Anmerkungen
AUTO	Entladene Dateien werden automatisch mit der Standardmethode gzip komprimiert.
GZIP
BZ2
BROTLI	Muss beim Laden/Entladen von Brotli-komprimierten Dateien angegeben werden.
ZSTD	Zstandard v0.8 (und höher) wird unterstützt.
DEFLATE	Entladene Dateien werden mit Deflate (mit zlib-Header, RFC1950) komprimiert.
RAW_DEFLATE	Entladene Dateien werden mit Raw Deflate (ohne Header, RFC1951) komprimiert.
NONE	Entladene Dateien werden nicht komprimiert.

Standard: AUTO

RECORD_DELIMITER = 'character' | NONE

Ein oder mehrere Einzelbyte- oder Multibyte-Zeichen, die Datensätze in einer entladenen Datei voneinander trennen. Akzeptiert gängige Escapesequenzen oder die folgenden Einzelbyte- oder Multibyte-Zeichen:

Einzelbyte-Zeichen

Oktalwerte (mit \\ vorangestellt) oder Hex-Werte (mit 0x oder \x vorangestellt). Geben Sie beispielsweise für Datensätze, die durch das Zirkumflex-Akzentzeichen (^) getrennt sind, den Oktalwert (\\136) oder den Hexadezimalwert (0x5e) an.

Multibyte-Zeichen

Hex-Werte (mit vorangestelltem \x). Geben Sie beispielsweise für Datensätze, die durch das Centzeichen (¢) getrennt sind, den Hexadezimalwert (\xC2\xA2) an.

Das Trennzeichen für RECORD_DELIMITER oder FIELD_DELIMITER darf jedoch keine Teilzeichenfolge des Trennzeichens der anderen Dateiformatoption sein (z. B. FIELD_DELIMITER = 'aa' RECORD_DELIMITER = 'aabb').

Das angegebene Trennzeichen muss ein gültiges UTF-8-Zeichen sein und darf keine zufällige Sequenz von Bytes sein. Beachten Sie auch, dass das Trennzeichen nur maximal 20 Zeichen lang sein darf.

Akzeptiert auch den Wert NONE.

Standard: Neue-Zeile-Zeichen. Beachten Sie, dass „neue Zeile“ logisch ist, sodass \r\n als neue Zeile für Dateien auf einer Windows-Plattform verstanden wird.

FIELD_DELIMITER = 'character' | NONE

Ein oder mehrere Einzelbyte- oder Multibyte-Zeichen, die Felder in einer entladenen Datei voneinander trennen. Akzeptiert gängige Escapesequenzen oder die folgenden Einzelbyte- oder Multibyte-Zeichen:

Einzelbyte-Zeichen

Oktalwerte (mit \\ vorangestellt) oder Hex-Werte (mit 0x oder \x vorangestellt). Geben Sie beispielsweise für Datensätze, die durch das Zirkumflex-Akzentzeichen (^) getrennt sind, den Oktalwert (\\136) oder den Hexadezimalwert (0x5e) an.

Multibyte-Zeichen

Hex-Werte (mit vorangestelltem \x). Geben Sie beispielsweise für Datensätze, die durch das Centzeichen (¢) getrennt sind, den Hexadezimalwert (\xC2\xA2) an.

Das Trennzeichen für RECORD_DELIMITER oder FIELD_DELIMITER darf jedoch keine Teilzeichenfolge des Trennzeichens der anderen Dateiformatoption sein (z. B. FIELD_DELIMITER = 'aa' RECORD_DELIMITER = 'aabb').

Bemerkung

Für Nicht-ASCII-Zeichen müssen Sie den Hex-Byte-Sequenzwert verwenden, um ein deterministisches Verhalten zu erreichen.

Das angegebene Trennzeichen muss ein gültiges UTF-8-Zeichen sein und darf keine zufällige Sequenz von Bytes sein. Beachten Sie auch, dass das Trennzeichen nur maximal 20 Zeichen lang sein darf.

Akzeptiert auch den Wert NONE.

Standard: Komma (,)

FILE_EXTENSION = 'string' | NONE

Zeichenfolge, die die Erweiterung für Dateien angibt, die in einen Stagingbereich entladen werden. Akzeptiert jede Erweiterung. Der Benutzer ist dafür verantwortlich, eine gültige Dateiendung anzugeben, die von der gewünschten Software oder dem gewünschten Service gelesen werden kann.

Bemerkung

Wenn die Kopieroption SINGLE den Wert TRUE hat, wird mit dem Befehl COPY standardmäßig eine Datei ohne Dateiendung entladen. Um eine Dateierweiterung anzugeben, geben Sie einen Dateinamen und eine Erweiterung im Pfad zum internen Speicherplatz internal_location oder im Pfad zum externen Speicherplatz external_location an. Beispiel:

copy into @stage/data.csv ...

Standard: Null, d. h. die Dateierweiterung wird durch den Formattyp bestimmt, z. B. .csv[compression], wobei compression die von der Kompressionsmethode hinzugefügte Erweiterung ist, wenn COMPRESSION gesetzt ist.

DATE_FORMAT = 'string' | AUTO

Zeichenfolge, die das Format von Datumswerten in den entladenen Datendateien definiert. Wenn ein Wert nicht angegeben oder auf AUTO gesetzt ist, wird der Wert für den Parameter DATE_OUTPUT_FORMAT verwendet.

Standard: AUTO

TIME_FORMAT = 'string' | AUTO

Zeichenfolge, die das Format der Zeitwerte in den entladenen Datendateien definiert. Wenn ein Wert nicht angegeben oder auf AUTO gesetzt ist, wird der Wert für den Parameter TIME_OUTPUT_FORMAT verwendet.

Standard: AUTO

TIMESTAMP_FORMAT = 'string' | AUTO

Zeichenfolge, die das Format der Zeitstempelwerte in den entladenen Datendateien definiert. Wenn ein Wert nicht angegeben oder auf AUTO gesetzt ist, wird der Wert für den Parameter TIMESTAMP_OUTPUT_FORMAT verwendet.

Standard: AUTO

BINARY_FORMAT = HEX | BASE64 | UTF8

Zeichenfolge (Konstante), die das Codierungsformat für die Binärausgabe definiert. Die Option kann beim Entladen von Daten aus binären Spalten in einer Tabelle verwendet werden.

Standard: HEX

ESCAPE = 'character' | NONE

Verwendung

Laden und Entladen von Daten

Definition

Zeichenfolge mit einem Einzelbyte-Zeichen, das als Escapezeichen für eingeschlossene und nicht eingeschlossene Feldwerte verwendet wird. Ein Escapezeichen ruft eine alternative Interpretation für nachfolgende Zeichen in einer Sequenz von Zeichen auf. Sie können das ESCAPE-Zeichen verwenden, um Instanzen von FIELD_OPTIONALLY_ENCLOSED_BY-Zeichen in den Daten als Literale zu interpretieren. Das Escapezeichen kann auch verwendet werden, um Instanzen von sich selbst in den Daten in Escapezeichen einzuschließen.

Akzeptiert gängige Escapesequenzen, Oktalwerte oder Hexadezimalwerte.

Geben Sie mit FIELD_OPTIONALLY_ENCLOSED_BY das Zeichen an, mit dem Felder umschlossen werden sollen.

Wenn diese Option gesetzt ist, wird der Escapezeichensatz für ESCAPE_UNENCLOSED_FIELD überschrieben.

Standard

NONE

ESCAPE_UNENCLOSED_FIELD = 'character' | NONE

Verwendung

Laden und Entladen von Daten

Definition

Zeichenfolge mit Einzelbyte-Zeichen, das als Escapezeichen nur für nicht eingeschlossene Feldwerte verwendet wird. Ein Escapezeichen ruft eine alternative Interpretation für nachfolgende Zeichen in einer Sequenz von Zeichen auf. Sie können das ESCAPE-Zeichen verwenden, um Instanzen von FIELD_DELIMITER- oder RECORD_DELIMITER-Zeichen in den Daten als Literale zu interpretieren. Das Escapezeichen kann auch verwendet werden, um Instanzen von sich selbst in den Daten in Escapezeichen einzuschließen.

Akzeptiert gängige Escapesequenzen, Oktalwerte oder Hexadezimalwerte.

Wenn ESCAPE gesetzt ist, wird diese Option vom Escapezeichensatz der Dateiformatoption überschrieben.

Standard

Backslash (\\)

FIELD_OPTIONALLY_ENCLOSED_BY = 'character' | NONE

Zeichen, das verwendet wird, um Zeichenfolgen einzuschließen. Der Wert kann NONE, ein einfaches Anführungszeichen (') oder ein doppeltes Anführungszeichen (") sein. Um das einfache Anführungszeichen verwenden zu können, müssen Sie die oktale oder hexadezimale Darstellung (0x27) oder das doppelte einfache Anführungszeichen als Escape-Zeichen ('') verwenden.

Wenn ein Feld dieses Zeichen enthält, können Sie es mit dem gleichen Zeichen löschen. Wenn der Wert beispielsweise das doppelte Anführungszeichen ist und ein Feld die Zeichenfolge A "B" C enthält, schließen Sie die doppelten Anführungszeichen in Escapezeichen ein:

A ""B"" C

Standard: NONE

NULL_IF = ( 'string1' [ , 'string2' ... ] )

Zeichenfolge, die zum Konvertieren von SQL NULL verwendet wird: Snowflake konvertiert SQL-NULL-Werte in den ersten Wert der Liste.

Standard: \\N (d. h. NULL unter der Annahme ESCAPE_UNENCLOSED_FIELD=\\)

EMPTY_FIELD_AS_NULL = TRUE | FALSE

Wird in Kombination mit FIELD_OPTIONALLY_ENCLOSED_BY verwendet. Wenn FIELD_OPTIONALLY_ENCLOSED_BY = NONE festgelegt ist, werden bei EMPTY_FIELD_AS_NULL = FALSE leere Zeichenfolgen in Tabellen entladen, um leere Zeichenfolgenwerte zu erhalten, ohne dass die Feldwerte in Anführungszeichen gesetzt werden.

Wenn TRUE festgelegt wird, muss FIELD_OPTIONALLY_ENCLOSED_BY ein Zeichen angeben, das zum Umschließen von Zeichenfolgen verwendet wird.

Standard: TRUE

TYPE = JSON¶

COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | NONE

Zeichenfolge (Konstante). Komprimiert die Datendatei unter Verwendung des angegebenen Komprimierungsalgorithmus.

Unterstützte Werte	Anmerkungen
AUTO	Entladene Dateien werden automatisch mit der Standardmethode gzip komprimiert.
GZIP
BZ2
BROTLI
ZSTD
DEFLATE	Entladene Dateien werden mit Deflate (mit zlib-Header, RFC1950) komprimiert.
RAW_DEFLATE	Entladene Dateien werden mit Raw Deflate (ohne Header, RFC1951) komprimiert.
NONE	Entladene Dateien werden nicht komprimiert.

Standard: AUTO

FILE_EXTENSION = 'string' | NONE

Zeichenfolge, die die Erweiterung für Dateien angibt, die in einen Stagingbereich entladen werden. Akzeptiert jede Erweiterung. Der Benutzer ist dafür verantwortlich, eine gültige Dateiendung anzugeben, die von der gewünschten Software oder dem gewünschten Service gelesen werden kann.

Standard: Null, d. h. die Dateierweiterung wird durch den Formattyp bestimmt (z. B. .csv[compression]), wobei compression die von der Kompressionsmethode hinzugefügte Erweiterung ist, wenn COMPRESSION gesetzt ist.

TYPE = PARQUET¶

COMPRESSION = AUTO | LZO | SNAPPY | NONE

Zeichenfolge (Konstante). Komprimiert die Datendatei unter Verwendung des angegebenen Komprimierungsalgorithmus.

Unterstützte Werte	Anmerkungen
AUTO	Dateien werden mit dem Standardkomprimierungsalgorithmus Snappy komprimiert.
LZO	Dateien werden standardmäßig mit dem Snappy-Algorithmus komprimiert. Wenn Sie stattdessen die Lempel-Ziv-Oberhumer-Komprimierung (LZO) anwenden möchten, geben Sie diesen Wert an.
SNAPPY	Dateien werden standardmäßig mit dem Snappy-Algorithmus komprimiert. Sie können diesen Wert optional angeben.
NONE	Zeigt beim Entladen von Daten an, dass die entladenen Dateien nicht komprimiert werden.

Standard: AUTO

SNAPPY_COMPRESSION = TRUE | FALSE

Boolescher Wert, der angibt, ob die entladenen Dateien mit dem SNAPPY-Algorithmus komprimiert werden.

Bemerkung

Veraltet. Verwenden Sie stattdessen COMPRESSION = SNAPPY.

Standard: TRUE

Entladen von Daten aus einer Tabelle in Dateien eines Tabellen-Stagingbereichs¶

Entladen Sie Daten aus der orderstiny-Tabelle in den Tabellen-Stagingbereich unter Verwendung eines Präfixes für Ordner/Dateinamen (result/data_), eines benannten Dateiformats (myformat) und einer gzip-Komprimierung:

COPY INTO @%orderstiny/result/data_
  FROM orderstiny FILE_FORMAT = (FORMAT_NAME ='myformat' COMPRESSION='GZIP');

Copy

Entladen von Daten aus einer Abfrage in Dateien eines benannten internen Stagingbereichs¶

Entladen Sie das Ergebnis einer Abfrage in einen benannten internen Stagingbereich (my_stage) unter Verwendung eines Präfixes für Ordner/Dateinamen (result/data_), eines benannten Dateiformats (myformat) und einer gzip-Komprimierung:

COPY INTO @my_stage/result/data_ FROM (SELECT * FROM orderstiny)
   file_format=(format_name='myformat' compression='gzip');

Copy

Beachten Sie, dass das obige Beispiel funktional dem ersten Beispiel entspricht, mit der Ausnahme, dass die Datei mit den entladenen Daten im Stagingbereichsspeicherort für my_stage und nicht am Tabellenspeicherort für orderstiny gespeichert wird.

Entladen von Daten aus einer Tabelle direkt in Dateien an einem externen Speicherort¶

Entladen Sie alle Daten einer Tabelle an einen Speicherort mithilfe eines benannten my_csv_format-Dateiformats:

Amazon S3

Greifen Sie auf den referenzierten S3-Bucket mittels einer referenzierten Speicherintegration namens myint zu:

COPY INTO 's3://mybucket/unload/'
  FROM mytable
  STORAGE_INTEGRATION = myint
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Greifen Sie mit den angegebenen Anmeldeinformationen auf den referenzierten S3-Bucket zu:

COPY INTO 's3://mybucket/unload/'
  FROM mytable
  CREDENTIALS = (AWS_KEY_ID='xxxx' AWS_SECRET_KEY='xxxxx' AWS_TOKEN='xxxxxx')
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Google Cloud Storage

Greifen Sie mit einer referenzierten Speicherintegration namens myint auf den referenzierten GCS-Bucket zu:

COPY INTO 'gcs://mybucket/unload/'
  FROM mytable
  STORAGE_INTEGRATION = myint
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Microsoft Azure

Greifen Sie auf den referenzierten Container mittels einer referenzierten Speicherintegration namens myint zu:

COPY INTO 'azure://myaccount.blob.core.windows.net/unload/'
  FROM mytable
  STORAGE_INTEGRATION = myint
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Greifen Sie mit den bereitgestellten Anmeldeinformationen auf den referenzierten Container zu:

COPY INTO 'azure://myaccount.blob.core.windows.net/mycontainer/unload/'
  FROM mytable
  CREDENTIALS=(AZURE_SAS_TOKEN='xxxx')
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Partitionieren entladener Zeilen in Parquet-Dateien¶

Im folgenden Beispiel werden Zeilen in Parquet-Dateien nach Werten in zwei Spalten partitioniert: einer Datumsspalte und einer Uhrzeitspalte. Das Beispiel gibt eine maximale Größe für jede entladene Datei an:

CREATE or replace TABLE t1 (
  dt date,
  ts time
  )
AS
  SELECT TO_DATE($1)
        ,TO_TIME($2)
    FROM VALUES
           ('2020-01-28', '18:05')
          ,('2020-01-28', '22:57')
          ,('2020-01-28', NULL)
          ,('2020-01-29', '02:15')
;

SELECT * FROM t1;

+------------+----------+
| DT         | TS       |
|------------+----------|
| 2020-01-28 | 18:05:00 |
| 2020-01-28 | 22:57:00 |
| 2020-01-28 | 22:32:00 |
| 2020-01-29 | 02:15:00 |
+------------+----------+

-- Partition the unloaded data by date and hour. Set ``32000000`` (32 MB) as the upper size limit of each file to be generated in parallel per thread.
COPY INTO @%t1
  FROM t1
  PARTITION BY ('date=' || to_varchar(dt, 'YYYY-MM-DD') || '/hour=' || to_varchar(date_part(hour, ts))) -- Concatenate labels and column values to output meaningful filenames
  FILE_FORMAT = (TYPE=parquet)
  MAX_FILE_SIZE = 32000000
  HEADER=true;

LIST @%t1;

+------------------------------------------------------------------------------------------+------+----------------------------------+------------------------------+
| name                                                                                     | size | md5                              | last_modified                |
|------------------------------------------------------------------------------------------+------+----------------------------------+------------------------------|
| __NULL__/data_019c059d-0502-d90c-0000-438300ad6596_006_4_0.snappy.parquet                |  512 | 1c9cb460d59903005ee0758d42511669 | Wed, 5 Aug 2020 16:58:16 GMT |
| date=2020-01-28/hour=18/data_019c059d-0502-d90c-0000-438300ad6596_006_4_0.snappy.parquet |  592 | d3c6985ebb36df1f693b52c4a3241cc4 | Wed, 5 Aug 2020 16:58:16 GMT |
| date=2020-01-28/hour=22/data_019c059d-0502-d90c-0000-438300ad6596_006_6_0.snappy.parquet |  592 | a7ea4dc1a8d189aabf1768ed006f7fb4 | Wed, 5 Aug 2020 16:58:16 GMT |
| date=2020-01-29/hour=2/data_019c059d-0502-d90c-0000-438300ad6596_006_0_0.snappy.parquet  |  592 | 2d40ccbb0d8224991a16195e2e7e5a95 | Wed, 5 Aug 2020 16:58:16 GMT |
+------------------------------------------------------------------------------------------+------+----------------------------------+------------------------------+

Beibehalten von NULL-/leeren Felddaten in entladenen Dateien¶

Behalten Sie SQL NULL und leere Felder in entladenen Dateien bei:

-- View the table column values
SELECT * FROM HOME_SALES;

+------------+-------+-------+-------------+--------+------------+
| CITY       | STATE | ZIP   | TYPE        | PRICE  | SALE_DATE  |
|------------+-------+-------+-------------+--------+------------|
| Lexington  | MA    | 95815 | Residential | 268880 | 2017-03-28 |
| Belmont    | MA    | 95815 | Residential |        | 2017-02-21 |
| Winchester | MA    | NULL  | Residential |        | 2017-01-31 |
+------------+-------+-------+-------------+--------+------------+

-- Unload the table data into the current user's personal stage. The file format options retain both the NULL value and the empty values in the output file
COPY INTO @~ FROM HOME_SALES
  FILE_FORMAT = (TYPE = csv NULL_IF = ('NULL', 'null') EMPTY_FIELD_AS_NULL = false);

-- Contents of the output file
Lexington,MA,95815,Residential,268880,2017-03-28
Belmont,MA,95815,Residential,,2017-02-21
Winchester,MA,NULL,Residential,,2017-01-31

Copy

Entladen von Daten in eine einzelne Datei¶

Entladen Sie alle Zeilen in eine einzelne Datendatei mit der Kopieroption SINGLE:

copy into @~ from HOME_SALES
single = true;

Copy

Einfügen der UUID in die Namen entladener Dateien¶

Fügen Sie die UUID in die Namen entladener Dateien ein, indem Sie die Kopieroption INCLUDE_QUERY_ID auf TRUE setzen:

-- Unload rows from the T1 table into the T1 table stage:
COPY INTO @%t1
  FROM t1
  FILE_FORMAT=(TYPE=parquet)
  INCLUDE_QUERY_ID=true;

-- Retrieve the query ID for the COPY INTO location statement.
-- This optional step enables you to see that the query ID for the COPY INTO location statement
-- is identical to the UUID in the unloaded files.
SELECT last_query_id();
+--------------------------------------+
| LAST_QUERY_ID()                      |
|--------------------------------------|
| 019260c2-00c0-f2f2-0000-4383001cf046 |
+--------------------------------------+

LS @%t1;
+----------------------------------------------------------------+------+----------------------------------+-------------------------------+
| name                                                           | size | md5                              | last_modified                 |
|----------------------------------------------------------------+------+----------------------------------+-------------------------------|
| data_019260c2-00c0-f2f2-0000-4383001cf046_0_0_0.snappy.parquet |  544 | eb2215ec3ccce61ffa3f5121918d602e | Thu, 20 Feb 2020 16:02:17 GMT |
+----------------------------------------------------------------+------+----------------------------------+-------------------------------+

Validierung der zu entladenden Daten (aus einer Abfrage)¶

Führen Sie COPY im Validierungsmodus aus, um das Ergebnis einer Abfrage zurückzugeben und die Daten anzuzeigen, die aus der orderstiny-Tabelle entladen werden, wenn COPY im Normalmodus ausgeführt wird:

COPY INTO @my_stage
FROM (SELECT * FROM orderstiny LIMIT 5)
VALIDATION_MODE='RETURN_ROWS';

----+--------+----+-----------+------------+----------+-----------------+----+---------------------------------------------------------------------------+
 C1 |   C2   | C3 |    C4     |     C5     |    C6    |       C7        | C8 |                                    C9                                     |
----+--------+----+-----------+------------+----------+-----------------+----+---------------------------------------------------------------------------+
 1  | 36901  | O  | 173665.47 | 1996-01-02 | 5-LOW    | Clerk#000000951 | 0  | nstructions sleep furiously among                                         |
 2  | 78002  | O  | 46929.18  | 1996-12-01 | 1-URGENT | Clerk#000000880 | 0  |  foxes. pending accounts at the pending\, silent asymptot                 |
 3  | 123314 | F  | 193846.25 | 1993-10-14 | 5-LOW    | Clerk#000000955 | 0  | sly final accounts boost. carefully regular ideas cajole carefully. depos |
 4  | 136777 | O  | 32151.78  | 1995-10-11 | 5-LOW    | Clerk#000000124 | 0  | sits. slyly regular warthogs cajole. regular\, regular theodolites acro   |
 5  | 44485  | F  | 144659.20 | 1994-07-30 | 5-LOW    | Clerk#000000925 | 0  | quickly. bold deposits sleep slyly. packages use slyly                    |
----+--------+----+-----------+------------+----------+-----------------+----+---------------------------------------------------------------------------+

Copy