COPY INTO <local>¶

Parâmetros adicionais do provedor de nuvem¶

STORAGE_INTEGRATION = integration_name ou . CREDENTIALS = ( cloud_specific_credentials )

Suportado quando a instrução COPY especifica um URI de armazenamento externo em vez de um nome do estágio externo para o local de armazenamento em nuvem de destino. Especifica as credenciais de segurança para conexão com o provedor de nuvem e acesso ao contêiner de armazenamento privado onde os arquivos descarregados são preparados.

Necessário apenas para descarregamento em um local externo de armazenamento privado em nuvem; não necessário para buckets/contêineres públicos

Amazon S3

STORAGE_INTEGRATION = integration_name

Especifica o nome da integração de armazenamento utilizada para delegar a responsabilidade de autenticação do armazenamento em nuvem externo a uma entidade de gerenciamento de identidade e acesso (IAM) do Snowflake. Para obter mais detalhes, consulte CREATE STORAGE INTEGRATION.

Nota

Recomendamos fortemente o uso de integrações de armazenamento. Esta opção evita a necessidade de fornecer credenciais de armazenamento em nuvem usando o parâmetro CREDENTIALS ao criar estágios ou carregar dados.

CREDENTIALS = ( AWS_KEY_ID = 'string' AWS_SECRET_KEY = 'string' [ AWS_TOKEN = 'string' ] ) ou . CREDENTIALS = ( AWS_ROLE = 'string' )

Especifica as credenciais de segurança para conexão com AWS e acesso ao bucket privado S3 onde os arquivos descarregados são preparados. Para obter mais informações, consulte Configuração de acesso seguro ao Amazon S3.

As credenciais especificadas dependerão da associação das permissões de acesso do Snowflake para o bucket com um usuário ou função do AWS IAM (Identity & Access Management):

• Usuário IAM: credenciais temporárias de IAM são necessárias. As credenciais temporárias (também conhecidas como «com escopo») são geradas por AWS Security Token Service (STS) e consiste em três componentes:

  • AWS_KEY_ID

  • AWS_SECRET_KEY

  • AWS_TOKEN

  Todos os três são obrigatórios para acessar um bucket privado. Após um período designado, as credenciais temporárias expiram e não podem mais ser utilizadas. Você deve então gerar um novo conjunto de credenciais temporárias válidas.

  Importante

  Os comandos COPY possuem uma sintaxe complexa e informações sensíveis, tais como credenciais. Além disso, elas são executadas com frequência e são geralmente armazenadas em scripts ou planilhas, o que pode fazer com que informações sensíveis sejam inadvertidamente expostas. O comando COPY permite o uso de credenciais permanentes (ou «de longo prazo»); no entanto, por razões de segurança, não use credenciais permanentes nos comandos COPY. Em vez disso, use credenciais temporárias.

  Se você tiver que usar credenciais permanentes, use estágios externos, para os quais as credenciais são inseridas uma vez e armazenadas com segurança, minimizando o potencial de exposição.

• Função IAM: omitir as credenciais de segurança e chaves de acesso e, em vez disso, identificar a função usando AWS_ROLE e especificar a função AWS ARN (Amazon Resource Name).

  Importante

  A capacidade de usar uma função AWS IAM para acessar um bucket S3 privado para carregar ou descarregar dados está agora obsoleta (ou seja, o suporte será removido em um lançamento futuro, TBD). É altamente recomendável modificar qualquer estágio S3 existente que utilize este recurso para, em vez disso, fazer referência a objetos de integração de armazenamento. Para obter instruções, consulte Opção 1: configuração de uma integração de armazenamento do Snowflake para acessar o Amazon S3.

Google Cloud Storage

STORAGE_INTEGRATION = integration_name

Especifica o nome da integração de armazenamento utilizada para delegar a responsabilidade de autenticação do armazenamento em nuvem externo a uma entidade de gerenciamento de identidade e acesso (IAM) do Snowflake. Para obter mais detalhes, consulte CREATE STORAGE INTEGRATION.

Microsoft Azure

STORAGE_INTEGRATION = integration_name

Especifica o nome da integração de armazenamento utilizada para delegar a responsabilidade de autenticação do armazenamento em nuvem externo a uma entidade de gerenciamento de identidade e acesso (IAM) do Snowflake. Para obter mais detalhes, consulte CREATE STORAGE INTEGRATION.

Nota

Recomendamos fortemente o uso de integrações de armazenamento. Esta opção evita a necessidade de fornecer credenciais de armazenamento em nuvem usando o parâmetro CREDENTIALS ao criar estágios ou carregar dados.

CREDENTIALS = ( AZURE_SAS_TOKEN = 'string' )

Especifica o token SAS (assinatura de acesso compartilhado) para conexão com o Azure e acesso ao contêiner privado onde os arquivos contendo os dados são preparados. As credenciais são geradas pelo Azure.

ENCRYPTION = ( cloud_specific_encryption )

Para uso em instruções COPY ad hoc (instruções que não fazem referência a um estágio externo nomeado). Exigido apenas para descarregar dados em arquivos em locais de armazenamento criptografados

Amazon S3

ENCRYPTION = ( [ TYPE = 'AWS_CSE' ] [ MASTER_KEY = '<string>' ] | [ TYPE = 'AWS_SSE_S3' ] | [ TYPE = 'AWS_SSE_KMS' [ KMS_KEY_ID = '<string>' ] ] | [ TYPE = 'NONE' ] )

TYPE = ...

Especifica o tipo de criptografia utilizado. Os valores possíveis são:

• AWS_CSE: criptografia do lado do cliente (exige um valor MASTER_KEY). Atualmente, a chave mestra do lado do cliente que você fornece só pode ser uma chave simétrica. Note que, quando um valor MASTER_KEY é fornecido, o Snowflake assume TYPE = AWS_CSE (ou seja, quando um valor MASTER_KEY é fornecido, TYPE não é necessário).

• AWS_SSE_S3: criptografia do lado do servidor que não exige configurações adicionais de criptografia.

• AWS_SSE_KMS: criptografia do lado do servidor que aceita um valor opcional KMS_KEY_ID.

Para obter mais informações sobre os tipos de criptografia, consulte a documentação do AWS sobre criptografia do lado do cliente ou criptografia do lado do servidor.

• NONE: sem criptografia.

MASTER_KEY = 'string' (aplica-se somente à criptografia AWS_CSE)

Especifica a chave mestra do lado do cliente utilizada para criptografar os arquivos no bucket. A chave mestra deve ser uma chave de 128 bits ou 256 bits na forma codificada em Base64.

KMS_KEY_ID = 'string' (aplica-se somente à criptografia AWS_SSE_KMS)

Opcionalmente especifica a ID para a chave AWS gerenciada por KMS usada para criptografar arquivos descarregados no bucket. Se nenhum valor for fornecido, sua ID de chave KMS é usada para criptografar arquivos ao descarregar.

Observe que este valor é ignorado para o carregamento de dados.

Google Cloud Storage

ENCRYPTION = ( [ TYPE = 'GCS_SSE_KMS' | 'NONE' ] [ KMS_KEY_ID = 'string' ] )

TYPE = ...

Especifica o tipo de criptografia utilizado. Os valores possíveis são:

• GCS_SSE_KMS: criptografia do lado do servidor que aceita um valor opcional KMS_KEY_ID.

  Para obter mais informações, consulte a documentação do Google Cloud Platform:

  • https://cloud.google.com/storage/docs/encryption/customer-managed-keys

  • https://cloud.google.com/storage/docs/encryption/using-customer-managed-keys

• NONE: sem criptografia.

KMS_KEY_ID = 'string' (aplica-se somente à criptografia GCS_SSE_KMS)

Opcionalmente, especifica a ID da chave gerenciada por KMS da nuvem que é usada para criptografar arquivos descarregados no bucket. Se nenhum valor for fornecido, sua ID de chave padrão KMS definida no bucket é usada para criptografar arquivos ao descarregar.

Observe que este valor é ignorado para o carregamento de dados. A operação de carregamento deve ser bem sucedida se a conta de serviço tiver permissões suficientes para descriptografar os dados no bucket.

Microsoft Azure

ENCRYPTION = ( [ TYPE = 'AZURE_CSE' | 'NONE' ] [ MASTER_KEY = 'string' ] )

TYPE = ...

Especifica o tipo de criptografia utilizado. Os valores possíveis são:

• AZURE_CSE: criptografia do lado do cliente (exige um valor MASTER_KEY). Para obter mais informações, consulte as informações sobre criptografia do lado do cliente na documentação do Microsoft Azure.

• NONE: sem criptografia.

MASTER_KEY = 'string' (aplica-se somente à criptografia AZURE_CSE)

Especifica a chave mestra do lado do cliente usada para criptografar arquivos. A chave mestra deve ser uma chave de 128 bits ou 256 bits na forma codificada em Base64.

TYPE = CSV¶

COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | NONE

Cadeia de caracteres (constante) que especifica a compressão dos arquivos de dados descarregados usando o algoritmo de compressão especificado.

Valores suportados	Notas
AUTO	Os arquivos descarregados são automaticamente comprimidos usando o padrão, que é o gzip.
GZIP
BZ2
BROTLI	Deve ser especificado ao carregar arquivos comprimidos com Brotli.
ZSTD	Zstandard v0.8 (e superior) suportado.
DEFLATE	Os arquivos descarregados são comprimidos usando Deflate (com cabeçalho zlib, RFC1950).
RAW_DEFLATE	Os arquivos descarregados são comprimidos usando Raw Deflate (sem cabeçalho, RFC1951).
NONE	Os arquivos descarregados não são comprimidos.

Padrão: AUTO

RECORD_DELIMITER = 'character' | NONE

Um ou mais caracteres de byte único ou multibyte que separam registros em um arquivo descarregado. Aceita sequências de escape comuns ou os seguintes caracteres de byte único ou multibyte:

Caracteres de byte único:

Valores octais (com prefixo \\) ou valores hexadecimais (com prefixo 0x ou \x). Por exemplo, para registros delimitados por acento circunflexo (^), especifique o valor octal (\\136) ou hexadecimal (0x5e).

Caracteres multibyte:

Valores hexadecimais (com prefixo \x). Por exemplo, para registros delimitados pelo caractere de centavo (¢), especifique o valor hexadecimal (\xC2\xA2).

O delimitador para RECORD_DELIMITER ou FIELD_DELIMITER não pode ser um substrato do delimitador para a outra opção de formato do arquivo (por exemplo, FIELD_DELIMITER = 'aa' RECORD_DELIMITER = 'aabb').

O delimitador especificado deve ser um caractere válido UTF-8 e não uma sequência aleatória de bytes. Observe também que o delimitador é limitado a um máximo de 20 caracteres.

Também aceita um valor de NONE.

Padrão: caractere de nova linha Note que «nova linha» é lógica de tal forma que \r\n é entendido como uma nova linha para arquivos em uma plataforma Windows.

FIELD_DELIMITER = 'character' | NONE

Um ou mais caracteres de byte único ou multibyte que separam campos em um arquivo descarregado. Aceita sequências de escape comuns ou os seguintes caracteres de byte único ou multibyte:

Caracteres de byte único:

Valores octais (com prefixo \\) ou valores hexadecimais (com prefixo 0x ou \x). Por exemplo, para registros delimitados por acento circunflexo (^), especifique o valor octal (\\136) ou hexadecimal (0x5e).

Caracteres multibyte:

Valores hexadecimais (com prefixo \x). Por exemplo, para registros delimitados pelo caractere de centavo (¢), especifique o valor hexadecimal (\xC2\xA2).

O delimitador para RECORD_DELIMITER ou FIELD_DELIMITER não pode ser um substrato do delimitador para a outra opção de formato do arquivo (por exemplo, FIELD_DELIMITER = 'aa' RECORD_DELIMITER = 'aabb').

Nota

Para caracteres não ASCII, você deve usar o valor da sequência de bytes hexadecimais para obter um comportamento determinístico.

O delimitador especificado deve ser um caractere válido UTF-8 e não uma sequência aleatória de bytes. Observe também que o delimitador é limitado a um máximo de 20 caracteres.

Também aceita um valor de NONE.

Padrão: vírgula (,)

FILE_EXTENSION = 'string' | NONE

Cadeia de caracteres que especifica a extensão dos arquivos descarregados em um estágio. Aceita qualquer extensão. O usuário é responsável por especificar uma extensão de arquivo válida que possa ser lida pelo software ou serviço desejado.

Nota

Se a opção de cópia SINGLE for TRUE, então o comando COPY descarrega um arquivo sem uma extensão de arquivo por padrão. Para especificar uma extensão de arquivo, forneça um nome de arquivo e uma extensão no caminho internal_location ou external_location. Por exemplo:

copy into @stage/data.csv ...

Padrão: nulo, o que significa que a extensão do arquivo é determinada pelo tipo de formato, por exemplo, .csv[compression], em que compression é a extensão adicionada pelo método de compressão, se COMPRESSION estiver definido.

DATE_FORMAT = 'string' | AUTO

Cadeia de caracteres que define o formato dos valores de data nos arquivos de dados descarregados. Se um valor não for especificado ou for definido como AUTO, o valor do parâmetro DATE_OUTPUT_FORMAT é usado.

Padrão: AUTO

TIME_FORMAT = 'string' | AUTO

Cadeia de caracteres que define o formato dos valores de tempo nos arquivos de dados descarregados. Se um valor não for especificado ou for definido como AUTO, o valor do parâmetro TIME_OUTPUT_FORMAT é usado.

Padrão: AUTO

TIMESTAMP_FORMAT = 'string' | AUTO

Cadeia de caracteres que define o formato dos valores dos carimbos de data/hora nos arquivos de dados descarregados. Se um valor não for especificado ou for definido como AUTO, o valor do parâmetro TIMESTAMP_OUTPUT_FORMAT é usado.

Padrão: AUTO

BINARY_FORMAT = HEX | BASE64 | UTF8

Cadeia de caracteres (constante) que define o formato de codificação da saída binária. A opção pode ser usada ao descarregar dados de colunas binárias em uma tabela.

Padrão: HEX

ESCAPE = 'character' | NONE

Uso:

Carregamento e descarregamento de dados

Definição:

Uma cadeia de caracteres de caractere de byte único usada como caractere de escape para valores de campo delimitados ou não delimitados. Um caractere de escape invoca uma interpretação alternativa em caracteres subsequentes em uma sequência de caracteres. Você pode usar o caractere ESCAPE para interpretar instâncias do caractere FIELD_OPTIONALLY_ENCLOSED_BY nos dados como literais. O caractere de escape também pode ser usado para escapar de instâncias de si mesmo nos dados.

Aceita sequências de escape comuns, valores octais ou valores hexadecimais.

Especifique o caractere usado para delimitar os campos definindo FIELD_OPTIONALLY_ENCLOSED_BY.

Se esta opção for definida, ela substitui o conjunto de caracteres de escape para ESCAPE_UNENCLOSED_FIELD.

Padrão:

NONE

ESCAPE_UNENCLOSED_FIELD = 'character' | NONE

Uso:

Carregamento e descarregamento de dados

Definição:

Uma cadeia de caracteres de caractere de byte único usada como caractere de escape apenas para valores de campo não delimitados. Um caractere de escape invoca uma interpretação alternativa em caracteres subsequentes em uma sequência de caracteres. Você pode usar o caractere ESCAPE para interpretar instâncias dos caracteres FIELD_DELIMITER ou RECORD_DELIMITER nos dados como literais. O caractere de escape também pode ser usado para escapar de instâncias de si mesmo nos dados.

Aceita sequências de escape comuns, valores octais ou valores hexadecimais.

Se ESCAPE estiver definido, o conjunto de caracteres de escape para aquela opção de formato de arquivo substitui esta opção.

Padrão:

barra invertida (\\)

FIELD_OPTIONALLY_ENCLOSED_BY = 'character' | NONE

Caractere usado para delimitar as cadeias de caracteres. O valor pode ser NONE, caractere de aspas simples (') ou caractere de aspas duplas ("). Para usar o caractere de aspas simples, use a representação octal ou hexadecimal (0x27) ou o escape de aspas simples dupla ('').

Quando um campo contém este caractere, aplique o escape usando o mesmo caractere. Por exemplo, se o valor for o caractere de aspas duplas e um campo tiver a cadeia de caracteres A "B" C, aplique o escape das aspas duplas como segue:

A ""B"" C

Padrão: NONE

NULL_IF = ( 'string1' [ , 'string2' ... ] )

Cadeia de caracteres usada para converter de SQL NULL. O Snowflake converte os valores SQL NULL no primeiro valor da lista.

Padrão: \N (ou seja, NULL, assumindo ESCAPE_UNENCLOSED_FIELD=\)

EMPTY_FIELD_AS_NULL = TRUE | FALSE

Usado em combinação com FIELD_OPTIONALLY_ENCLOSED_BY. Quando FIELD_OPTIONALLY_ENCLOSED_BY = NONE, a definição de EMPTY_FIELD_AS_NULL = FALSE especifica para descarregar cadeias de caracteres vazias em tabelas para valores de cadeias de caracteres vazias sem aspas delimitando os valores de campo.

Se definido como TRUE, FIELD_OPTIONALLY_ENCLOSED_BY deve especificar um caractere para delimitar cadeias de caracteres.

Padrão: TRUE

TYPE = JSON¶

COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | NONE

Cadeia de caracteres (constante). Comprime o arquivo de dados usando o algoritmo de compressão especificado.

Valores suportados	Notas
AUTO	Os arquivos descarregados são automaticamente comprimidos usando o padrão, que é o gzip.
GZIP
BZ2
BROTLI
ZSTD
DEFLATE	Os arquivos descarregados são comprimidos usando Deflate (com cabeçalho zlib, RFC1950).
RAW_DEFLATE	Os arquivos descarregados são comprimidos usando Raw Deflate (sem cabeçalho, RFC1951).
NONE	Os arquivos descarregados não são comprimidos.

Padrão: AUTO

FILE_EXTENSION = 'string' | NONE

Cadeia de caracteres que especifica a extensão dos arquivos descarregados em um estágio. Aceita qualquer extensão. O usuário é responsável por especificar uma extensão de arquivo válida que possa ser lida pelo software ou serviço desejado.

Padrão: nulo, o que significa que a extensão do arquivo é determinada pelo tipo de formato (por exemplo, .csv[compression]) em que compression é a extensão adicionada pelo método de compressão, se COMPRESSION estiver definido.

TYPE = PARQUET¶

COMPRESSION = AUTO | LZO | SNAPPY | NONE

Cadeia de caracteres (constante). Comprime o arquivo de dados usando o algoritmo de compressão especificado.

Valores suportados	Notas
AUTO	Os arquivos são comprimidos usando Snappy, o algoritmo de compressão padrão.
LZO	Os arquivos são comprimidos usando o algoritmo Snappy por padrão. Se, em vez disso, for aplicada a compressão Lempel-Ziv-Oberhumer (LZO), especificar este valor.
SNAPPY	Os arquivos são comprimidos usando o algoritmo Snappy por padrão. Opcionalmente, você pode especificar este valor.
NONE	Especifica que os arquivos descarregados não são comprimidos.

Padrão: AUTO

SNAPPY_COMPRESSION = TRUE | FALSE

Booleano que especifica se o(s) arquivo(s) descarregado(s) é(são) comprimido(s) usando o algoritmo SNAPPY.

Nota

Obsoleto. Em vez disso, use COMPRESSION = SNAPPY.

Padrão: TRUE

Descarregamento de dados de uma tabela em arquivos em um estágio de tabela¶

Descarregar dados da tabela orderstiny para o estágio da tabela usando um prefixo de pasta/nome do arquivo (result/data_), um formato de arquivo nomeado (myformat) e compressão gzip:

COPY INTO @%orderstiny/result/data_
  FROM orderstiny FILE_FORMAT = (FORMAT_NAME ='myformat' COMPRESSION='GZIP');

Copy

Descarregamento de dados de uma consulta para arquivos em um estágio interno nomeado¶

Descarregar o resultado de uma consulta em um estágio interno nomeado (my_stage) usando um prefixo de pasta/nome de arquivo (result/data_), um formato de arquivo nomeado (myformat) e compressão gzip:

COPY INTO @my_stage/result/data_ FROM (SELECT * FROM orderstiny)
   file_format=(format_name='myformat' compression='gzip');

Copy

Observe que o exemplo acima é funcionalmente equivalente ao primeiro exemplo, exceto que o arquivo contendo os dados descarregados é armazenado no local do estágio para my_stage em vez do local da tabela para orderstiny.

Descarregamento de dados de uma tabela diretamente para arquivos em um local externo¶

Descarregar todos os dados em uma tabela em um local de armazenamento utilizando um formato de arquivo my_csv_format nomeado:

Amazon S3

Acessar o bucket S3 referenciado usando uma integração de armazenamento referenciada chamada myint:

COPY INTO 's3://mybucket/unload/'
  FROM mytable
  STORAGE_INTEGRATION = myint
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Acessar o bucket S3 referenciado usando as credenciais fornecidas:

COPY INTO 's3://mybucket/unload/'
  FROM mytable
  CREDENTIALS = (AWS_KEY_ID='xxxx' AWS_SECRET_KEY='xxxxx' AWS_TOKEN='xxxxxx')
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Google Cloud Storage

Acessar o bucket GCS referenciado usando uma integração de armazenamento referenciada chamada myint:

COPY INTO 'gcs://mybucket/unload/'
  FROM mytable
  STORAGE_INTEGRATION = myint
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Microsoft Azure

Acessar o contêiner referenciado usando uma integração de armazenamento referenciada chamada myint:

COPY INTO 'azure://myaccount.blob.core.windows.net/unload/'
  FROM mytable
  STORAGE_INTEGRATION = myint
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Acessar o contêiner referenciado usando as credenciais fornecidas:

COPY INTO 'azure://myaccount.blob.core.windows.net/mycontainer/unload/'
  FROM mytable
  CREDENTIALS=(AZURE_SAS_TOKEN='xxxx')
  FILE_FORMAT = (FORMAT_NAME = my_csv_format);

Copy

Particionamento de linhas descarregadas para arquivos Parquet¶

Os seguintes exemplos de partições descarregaram linhas em arquivos Parquet por valores em duas colunas: uma coluna de data e uma coluna de tempo. O exemplo especifica um tamanho máximo para cada arquivo descarregado:

CREATE or replace TABLE t1 (
  dt date,
  ts time
  )
AS
  SELECT TO_DATE($1)
        ,TO_TIME($2)
    FROM VALUES
           ('2020-01-28', '18:05')
          ,('2020-01-28', '22:57')
          ,('2020-01-28', NULL)
          ,('2020-01-29', '02:15')
;

SELECT * FROM t1;

+------------+----------+
| DT         | TS       |
|------------+----------|
| 2020-01-28 | 18:05:00 |
| 2020-01-28 | 22:57:00 |
| 2020-01-28 | 22:32:00 |
| 2020-01-29 | 02:15:00 |
+------------+----------+

-- Partition the unloaded data by date and hour. Set ``32000000`` (32 MB) as the upper size limit of each file to be generated in parallel per thread.
COPY INTO @%t1
  FROM t1
  PARTITION BY ('date=' || to_varchar(dt, 'YYYY-MM-DD') || '/hour=' || to_varchar(date_part(hour, ts))) -- Concatenate labels and column values to output meaningful filenames
  FILE_FORMAT = (TYPE=parquet)
  MAX_FILE_SIZE = 32000000
  HEADER=true;

LIST @%t1;

+------------------------------------------------------------------------------------------+------+----------------------------------+------------------------------+
| name                                                                                     | size | md5                              | last_modified                |
|------------------------------------------------------------------------------------------+------+----------------------------------+------------------------------|
| __NULL__/data_019c059d-0502-d90c-0000-438300ad6596_006_4_0.snappy.parquet                |  512 | 1c9cb460d59903005ee0758d42511669 | Wed, 5 Aug 2020 16:58:16 GMT |
| date=2020-01-28/hour=18/data_019c059d-0502-d90c-0000-438300ad6596_006_4_0.snappy.parquet |  592 | d3c6985ebb36df1f693b52c4a3241cc4 | Wed, 5 Aug 2020 16:58:16 GMT |
| date=2020-01-28/hour=22/data_019c059d-0502-d90c-0000-438300ad6596_006_6_0.snappy.parquet |  592 | a7ea4dc1a8d189aabf1768ed006f7fb4 | Wed, 5 Aug 2020 16:58:16 GMT |
| date=2020-01-29/hour=2/data_019c059d-0502-d90c-0000-438300ad6596_006_0_0.snappy.parquet  |  592 | 2d40ccbb0d8224991a16195e2e7e5a95 | Wed, 5 Aug 2020 16:58:16 GMT |
+------------------------------------------------------------------------------------------+------+----------------------------------+------------------------------+

Retenção de dados NULL/de campo vazio em arquivos descarregados¶

Reter SQL NULL e campos vazios em arquivos descarregados:

-- View the table column values
SELECT * FROM HOME_SALES;

+------------+-------+-------+-------------+--------+------------+
| CITY       | STATE | ZIP   | TYPE        | PRICE  | SALE_DATE  |
|------------+-------+-------+-------------+--------+------------|
| Lexington  | MA    | 95815 | Residential | 268880 | 2017-03-28 |
| Belmont    | MA    | 95815 | Residential |        | 2017-02-21 |
| Winchester | MA    | NULL  | Residential |        | 2017-01-31 |
+------------+-------+-------+-------------+--------+------------+

-- Unload the table data into the current user's personal stage. The file format options retain both the NULL value and the empty values in the output file
COPY INTO @~ FROM HOME_SALES
  FILE_FORMAT = (TYPE = csv NULL_IF = ('NULL', 'null') EMPTY_FIELD_AS_NULL = false);

-- Contents of the output file
Lexington,MA,95815,Residential,268880,2017-03-28
Belmont,MA,95815,Residential,,2017-02-21
Winchester,MA,NULL,Residential,,2017-01-31

Copy

Descarregamento de dados em um único arquivo¶

Descarregar todas as linhas em um único arquivo de dados usando a opção de cópia SINGLE:

copy into @~ from HOME_SALES
single = true;

Copy

Inclusão da UUID nos nomes dos arquivos descarregados¶

Incluir a UUID nos nomes dos arquivos descarregados, definindo a opção de cópia INCLUDE_QUERY_ID como TRUE:

-- Unload rows from the T1 table into the T1 table stage:
COPY INTO @%t1
  FROM t1
  FILE_FORMAT=(TYPE=parquet)
  INCLUDE_QUERY_ID=true;

-- Retrieve the query ID for the COPY INTO location statement.
-- This optional step enables you to see that the query ID for the COPY INTO location statement
-- is identical to the UUID in the unloaded files.
SELECT last_query_id();
+--------------------------------------+
| LAST_QUERY_ID()                      |
|--------------------------------------|
| 019260c2-00c0-f2f2-0000-4383001cf046 |
+--------------------------------------+

LS @%t1;
+----------------------------------------------------------------+------+----------------------------------+-------------------------------+
| name                                                           | size | md5                              | last_modified                 |
|----------------------------------------------------------------+------+----------------------------------+-------------------------------|
| data_019260c2-00c0-f2f2-0000-4383001cf046_0_0_0.snappy.parquet |  544 | eb2215ec3ccce61ffa3f5121918d602e | Thu, 20 Feb 2020 16:02:17 GMT |
+----------------------------------------------------------------+------+----------------------------------+-------------------------------+

Validação dos dados a serem descarregados (a partir de uma consulta)¶

Executar COPY em modo de validação para retornar o resultado de uma consulta e visualizar os dados que serão descarregados da tabela orderstiny se COPY for executado em modo normal:

COPY INTO @my_stage
FROM (SELECT * FROM orderstiny LIMIT 5)
VALIDATION_MODE='RETURN_ROWS';

----+--------+----+-----------+------------+----------+-----------------+----+---------------------------------------------------------------------------+
 C1 |   C2   | C3 |    C4     |     C5     |    C6    |       C7        | C8 |                                    C9                                     |
----+--------+----+-----------+------------+----------+-----------------+----+---------------------------------------------------------------------------+
 1  | 36901  | O  | 173665.47 | 1996-01-02 | 5-LOW    | Clerk#000000951 | 0  | nstructions sleep furiously among                                         |
 2  | 78002  | O  | 46929.18  | 1996-12-01 | 1-URGENT | Clerk#000000880 | 0  |  foxes. pending accounts at the pending\, silent asymptot                 |
 3  | 123314 | F  | 193846.25 | 1993-10-14 | 5-LOW    | Clerk#000000955 | 0  | sly final accounts boost. carefully regular ideas cajole carefully. depos |
 4  | 136777 | O  | 32151.78  | 1995-10-11 | 5-LOW    | Clerk#000000124 | 0  | sits. slyly regular warthogs cajole. regular\, regular theodolites acro   |
 5  | 44485  | F  | 144659.20 | 1994-07-30 | 5-LOW    | Clerk#000000925 | 0  | quickly. bold deposits sleep slyly. packages use slyly                    |
----+--------+----+-----------+------------+----------+-----------------+----+---------------------------------------------------------------------------+

Copy