Categorias:

Funções de metadados

GENERATE_COLUMN_DESCRIPTION

Gera uma lista de colunas a partir de um conjunto de arquivos preparados que contêm dados semiestruturados usando a saída de função INFER_SCHEMA.

A saída desta função pode ser usada como entrada ao criar manualmente uma tabela, tabela externa ou exibição (usando o comando CREATE <objeto> apropriado) com base nas definições das colunas dos arquivos preparados.

Alternativamente, o comando CREATE TABLE com a cláusula USING TEMPLATE pode ser usado para criar uma nova tabela com as definições das colunas derivadas da mesma saída da função INFER_SCHEMA.

Sintaxe

GENERATE_COLUMN_DESCRIPTION( <expr> , '<string>' )
Copy

Argumentos

expr

Saída da função INFER_SCHEMA formatada como uma matriz.

'string'

Tipo de objeto que poderia ser criado a partir da lista de colunas. A formatação apropriada para este tipo é aplicada à saída.

Os valores possíveis são table, external_table ou view.

Retornos

A função retorna a lista de colunas em um conjunto de arquivos preparados, que podem ser usados como entrada ao criar um objeto do tipo identificado no segundo argumento.

Exemplos

Detectar, formatar e emitir o conjunto de definições de colunas em um conjunto de arquivos Parquet preparados no estágio mystage. As colunas de saída são formatadas para a criação de uma tabela.

Este exemplo se baseia em um exemplo no tópico INFER_SCHEMA:

-- Create a file format that sets the file type as Parquet.
CREATE FILE FORMAT my_parquet_format
  TYPE = parquet;

-- Query the GENERATE_COLUMN_DESCRIPTION function.
SELECT GENERATE_COLUMN_DESCRIPTION(ARRAY_AGG(OBJECT_CONSTRUCT(*)), 'table') AS COLUMNS
  FROM TABLE (
    INFER_SCHEMA(
      LOCATION=>'@mystage',
      FILE_FORMAT=>'my_parquet_format'
    )
  );

+--------------------+
| COLUMN_DESCRIPTION |
|--------------------|
| "country" VARIANT, |
| "continent" TEXT   |
+--------------------+

-- The function output can be used to define the columns in a table.
CREATE TABLE mytable ("country" VARIANT, "continent" TEXT);
Copy

O mesmo que o exemplo anterior, mas gera um conjunto de colunas formatadas para a criação de uma tabela externa:

-- Query the GENERATE_COLUMN_DESCRIPTION function.
SELECT GENERATE_COLUMN_DESCRIPTION(ARRAY_AGG(OBJECT_CONSTRUCT(*)), 'external_table') AS COLUMNS
  FROM TABLE (
    INFER_SCHEMA(
      LOCATION=>'@mystage',
      FILE_FORMAT=>'my_parquet_format'
    )
  );

+---------------------------------------------+
| COLUMN_DESCRIPTION                          |
|---------------------------------------------|
| "country" VARIANT AS ($1:country::VARIANT), |
| "continent" TEXT AS ($1:continent::TEXT)    |
+---------------------------------------------+
Copy

O mesmo que os exemplos anteriores, mas gera um conjunto de colunas formatadas para criar uma exibição:

-- Query the GENERATE_COLUMN_DESCRIPTION function.
SELECT GENERATE_COLUMN_DESCRIPTION(ARRAY_AGG(OBJECT_CONSTRUCT(*)), 'view') AS COLUMNS
  FROM TABLE (
    INFER_SCHEMA(
      LOCATION=>'@mystage',
      FILE_FORMAT=>'my_parquet_format'
    )
  );

+--------------------+
| COLUMN_DESCRIPTION |
|--------------------|
| "country" ,        |
| "continent"        |
+--------------------+
Copy

Nota

Usar * para ARRAY_AGG(OBJECT_CONSTRUCT()) pode resultar em erro se o resultado retornado for maior que 16MB. Recomenda-se evitar o uso de * para conjuntos de resultados maiores e usar apenas as colunas obrigatórias, COLUMN NAME, TYPE e NULLABLE, para a consulta. A coluna opcional ORDER_ID pode ser incluída ao usar WITHIN GROUP (ORDER BY order_id).

Linguagem: Português