Abfragen von Daten in Stagingdateien¶

Erforderliche Parameter¶

[alias.]$file_col_num[:element] [ , [alias.]$file_col_num[:element] , ...  ]

Gibt einen expliziten Satz von Feldern/Spalten in Datendateien an, die entweder an einem internen oder einem externen Speicherort bereitgestellt werden, wobei:

alias

Gibt den optionalen „table“-Alias an, der gegebenenfalls in der FROM-Klausel definiert ist.

file_col_num

Gibt die Positionsnummer des Feldes bzw. der Spalte (in der Datei) an, das/die die zu ladenden Daten enthält (1 für das erste Feld, 2 für das zweite Feld usw.).

element

Gibt den Pfad und Elementnamen eines sich wiederholenden Wertes an (gilt nur für semistrukturierte Datendateien).

internal_location oder external_location

Gibt den Speicherort an, an dem die Datendateien bereitgestellt werden:

• internal_location ist der URI-Spezifizierer für den Speicherort in Snowflake, an dem Dateien mit Daten bereitgestellt werden:

  @[namespace.]internal_stage_name[/path]	Die Dateien befinden sich im angegebenen, benannten internen Stagingbereich.
  @[namespace.]%table_name[/path]	Die Dateien befinden sich im Stagingbereich der angegebenen Tabelle.
  @~[/path]	Die Dateien befinden sich im Stagingbereich des aktuellen Benutzers.

• external_location ist der URI-Spezifizierer für den benannten externen Stagingbereich oder den externen Speicherort (Amazon S3, Google Cloud Storage oder Microsoft Azure), an dem Dateien mit Daten bereitgestellt werden:

  @[namespace.]external_stage_name[/path]

  Dateien befinden sich im angegebenen, benannten externen Stagingbereich.

Wobei:

• namespace ist die Datenbank und/oder das Schema, in dem sich der interne oder externe Stagingbereich befindet. Es ist optional, ob in der Benutzersitzung aktuell eine Datenbank und ein Schema verwendet werden, andernfalls ist es erforderlich.

• Der optionale Parameter path schränkt die Menge der abzufragenden Dateien auf die Dateien unter dem Ordnerpräfix ein. Wenn path angegeben ist, aber im Pfad keine Datei explizit genannt wird, werden alle Datendateien im Pfad abgefragt.

Bemerkung

• Die URI-Zeichenfolge für einen externen Speicherort (Amazon S3, Google Cloud Storage oder Microsoft Azure) muss in einfache Anführungszeichen eingeschlossen sein. Sie können jedoch jede URI-Zeichenfolge in einfache Anführungszeichen einschließen, wodurch in Speicherort- und Dateinamen die Verwendung von Sonderzeichen, einschließlich Leerzeichen, möglich ist. Beispiel:

  Intern

  '@~/path 1/file 1.csv'

  '@%my table/path 1/file 1.csv'

  '@my stage/path 1/file 1.csv'

• Relative Pfadmodifikatoren wie /./ und /../ werden literal interpretiert, da „Pfade“ literale Präfixe für einen Namen sind. Beispiel:

  S3

  COPY INTO mytable FROM @mystage/./../a.csv

  In diesen COPY-Anweisungen sucht das System nach einer Datei, die am Speicherort literal ./../a.csv benannt ist.

Optionale Parameter¶

( FILE_FORMAT => 'namespace.named_file_format' )

Gibt ein benanntes Dateiformat an, das das Format der Staging-Datendateien für die Abfrage beschreibt.

Beachten Sie, dass dieser Parameter optional ist, wenn eine der folgenden Bedingungen erfüllt ist:

• Die Dateien sind im Standard-Dateiformat (CSV) mit den folgenden Standardtrennzeichen formatiert: , (als Feldtrennzeichen) und das Neue-Zeile-Zeichen (als Datensatz-Trennzeichen).

• Die Dateien befinden sich in einem internen oder externen Stagingbereich, und die Definition des Stagingbereichs beschreibt das Dateiformat.

Wenn Sie ein Dateiformat im aktuellen Namespace Ihrer Benutzersitzung referenzieren, können Sie die einfachen Anführungszeichen um den Formatbezeichner herum weglassen.

Andernfalls ist dieser Parameter erforderlich. Weitere Details dazu finden Sie unter Dateiformate (unter diesem Thema).

namespace gibt optional die Datenbank und/oder das Schema für die Tabelle in der Form database_name.schema_name oder schema_name an. Die Angabe ist optional, wenn in der Benutzersitzung aktuell eine Datenbank und ein Schema verwendet werden, andernfalls ist die Angabe obligatorisch.

Wenn der Bezeichner Leerzeichen, Sonderzeichen oder Zeichen in Groß- und Kleinschreibung enthält, muss die gesamte Zeichenfolge in doppelte Anführungszeichen eingeschlossen werden. Bei Bezeichnern, die in doppelte Anführungszeichen eingeschlossen sind, ist auch die Groß-/Kleinschreibung zu beachten.

PATTERN => 'regex_pattern'

Eine Musterzeichenfolge mit regulären Ausdrücken, die in einfache Anführungszeichen eingeschlossen ist und die die Dateinamen und/oder Pfade zum externen Stagingbereich angibt, die übereinstimmen sollen.

Tipp

Um die beste Leistung zu erzielen, sollten Sie vermeiden, Muster anzuwenden, die eine große Anzahl von Dateien filtern.

alias

Gibt einen „table“-Alias für den internen/externen Speicherort an, der als Stagingbereich für die Bereitstellung der Dateien dient.

Beispiel 1: Abfragen von Spalten in einer CSV-Datei¶

Im folgenden Beispiel wird das Staging mehrerer CSV-Datendateien (mit dem gleichen Dateiformat) und das anschließende Abfragen der Datenspalten in den Dateien veranschaulicht.

In diesem Beispiel wird davon ausgegangen, dass die Dateien folgende Namen haben und sich im Stammverzeichnis einer macOS- oder Linux-Umgebung befinden:

• /tmp/data1.csv enthält zwei Datensätze:

  a|b
  c|d
  

  Copy

• /tmp/data2.csv enthält zwei Datensätze:

  e|f
  g|h
  

  Copy

So führen Sie das Staging und Abfragen der Dateien aus:

-- Create a file format.
CREATE OR REPLACE FILE FORMAT myformat TYPE = 'csv' FIELD_DELIMITER = '|';

-- Create an internal stage.
CREATE OR REPLACE STAGE mystage1;

-- Stage the data files.
PUT file:///tmp/data*.csv @mystage1;

-- Query the filename and row number metadata columns and the regular data columns in the staged file.
-- Optionally apply pattern matching to the set of files in the stage and optional path.
-- Note that the table alias is provided to make the statement easier to read and is not required.
SELECT t.$1, t.$2 FROM @mystage1 (file_format => 'myformat', pattern=>'.*data.*[.]csv.gz') t;

+----+----+
| $1 | $2 |
|----+----|
| a  | b  |
| c  | d  |
| e  | f  |
| g  | h  |
+----+----+

SELECT t.$1, t.$2 FROM @mystage1 t;

+-----+------+
| $1  | $2   |
|-----+------|
| a|b | NULL |
| c|d | NULL |
| e|f | NULL |
| g|h | NULL |
+-----+------+

Copy

Beispiel 2: Aufrufen von Funktionen beim Abfragen von Staging-Datendateien¶

Ermitteln Sie den ASCII-Code für das erste Zeichen jeder Spalte in den Staging-Datendateien aus Beispiel 1: Abfragen von Spalten in einer CSV-Datei:

SELECT ascii(t.$1), ascii(t.$2) FROM @mystage1 (file_format => myformat) t;

+-------------+-------------+
| ASCII(T.$1) | ASCII(T.$2) |
|-------------+-------------|
|          97 |          98 |
|          99 |         100 |
|         101 |         102 |
|         103 |         104 |
+-------------+-------------+

Copy

Beispiel 3: Abfragen von Elementen in einer JSON-Datei.¶

In diesem Beispiel wird das Staging einer JSON-Datendatei, die die folgenden Objekte enthält, und das anschließende Abfragen einzelner Elemente in den Objekten der Datei veranschaulicht:

{"a": {"b": "x1","c": "y1"}},
{"a": {"b": "x2","c": "y2"}}

Copy

In diesem Beispiel wird davon ausgegangen, dass die Datei den Namen /tmp/data1.json trägt und sich im Stammverzeichnis einer macOS- oder Linux-Umgebung befindet.

So führen Sie das Staging und Abfragen der Datei aus:

-- Create a file format
CREATE OR REPLACE FILE FORMAT my_json_format TYPE = 'json';

-- Create an internal stage
CREATE OR REPLACE STAGE mystage2 FILE_FORMAT = my_json_format;

-- Stage the data file
PUT file:///tmp/data1.json @mystage2;

-- Query the repeating a.b element in the staged file
SELECT parse_json($1):a.b FROM @mystage2/data1.json.gz;

+--------------------+
| PARSE_JSON($1):A.B |
|--------------------|
| "x1"               |
| "x2"               |
+--------------------+

Copy