Criação de tabelas dinâmicas¶

Limitações e considerações sobre o uso de tabelas Iceberg¶

Todas as limitações de tabelas dinâmicas regulares e tabelas Iceberg dinâmicas ainda se aplicam.

Adicionalmente:

• Todas as limitações de tabelas Iceberg básicas se aplicam. Para obter mais informações, consulte Considerações e limitações.

• Você pode criar uma tabela dinâmica que lê tabelas nativas do Snowflake, tabelas Iceberg gerenciadas pelo Snowflake e tabelas Iceberg gerenciadas externamente.

• As tabelas dinâmicas monitoram alterações no nível do arquivo para tabelas Iceberg de base gerenciadas externamente, ao contrário de outras tabelas que monitoram alterações no nível da linha. Operações frequentes de cópia ao gravar (por exemplo, atualizações ou exclusões) em tabelas Iceberg gerenciadas externamente podem afetar o desempenho das atualizações.

Exemplos de uso de restrições de imutabilidade¶

O exemplo a seguir cria uma tabela dinâmica e a define como imutável usando o parâmetro IMMUTABLE WHERE.

CREATE DYNAMIC TABLE my_dynamic_table (id1 INT)
  TARGET_LAG = '20 minutes'
  WAREHOUSE = mywh
  IMMUTABLE WHERE ( <expr> )
  AS
    SELECT id AS id1 FROM staging_table;

Colunas referenciadas na condição IMMUTABLE WHERE devem ser colunas da tabela dinâmica, não da tabela base. Por exemplo, a expressão IMMUTABLE WHERE no exemplo acima só pode usar id1, não id.

Você só pode definir uma única condição IMMUTABLE WHERE em uma tabela dinâmica. Para substituir um predicado existente, use o comando ALTER DYNAMIC TABLE, como mostrado no exemplo a seguir:

-- Set or replace an existing predicate:
ALTER DYNAMIC TABLE my_dynamic_table SET IMMUTABLE WHERE ( <expr> );

-- Remove an existing predicate:
ALTER DYNAMIC TABLE my_dynamic_table UNSET IMMUTABLE;

Para visualizar as restrições de imutabilidade em suas tabelas dinâmicas, execute o comando SHOW DYNAMIC TABLES. A coluna immutable_where mostra a restrição IMMUTABLE WHERE definida na tabela ou NULL se nenhuma estiver definida.

Para informações sobre custos de computação, consulte Calcular o custo de restrições de imutabilidade.

CREATE DYNAMIC TABLE joined_data
  TARGET_LAG = '1 minute'
  WAREHOUSE = mywh
  IMMUTABLE WHERE (timestamp_col < CURRENT_TIMESTAMP() - INTERVAL '1 day')
  AS
    SELECT F.primary_key primary_key, F.timestamp_col timestamp_col, D.value dim_value
    FROM fact_table F
    LEFT OUTER JOIN dimension_table D USING (primary_key);

CREATE TABLE staging_data (raw TEXT, ts TIMESTAMP);

CREATE DYNAMIC TABLE parsed_data
  TARGET_LAG = '1 minute'
  WAREHOUSE = mywh
  IMMUTABLE WHERE (ts < CURRENT_TIMESTAMP() - INTERVAL '7 days')
  AS
    SELECT parse_json(raw):event_id::string event_id, parse_json(raw):name::string name, parse_json(raw):region::string region, ts
    FROM staging_data WHERE region = 'US';

-- Delete old staging data using Task
CREATE TASK delete_old_staging_data
  WAREHOUSE = mywh
  SCHEDULE = '24 hours'
  AS
    DELETE FROM staging_data WHERE ts < CURRENT_TIMESTAMP() - INTERVAL '30 days';

CREATE FUNCTION my_udtf(x varchar)
  RETURNS TABLE (output VARCHAR)
  LANGUAGE PYTHON
  AS $$ ... $$;

CREATE DYNAMIC TABLE udtf_dt
  TARGET_LAG = '1 hour'
  WAREHOUSE = mywh
  REFRESH_MODE = FULL
  IMMUTABLE WHERE (ts < current_timestamp() - interval '1 day')
  AS
    SELECT ts, data, output, join_key FROM input_table, TABLE(my_udtf(data));

CREATE DYNAMIC TABLE incremental_join_dt
  TARGET_LAG = '1 hour'
  WAREHOUSE = mywh
  REFRESH_MODE = INCREMENTAL
  IMMUTABLE WHERE (ts < current_timestamp() - interval '1 day')
  AS
    SELECT * FROM udtf_dt JOIN dim_table USING (join_key);

Limitações e considerações ao definir restrições de imutabilidade¶

Todas as limitações das tabelas dinâmicas regulares ainda se aplicam.

Adicionalmente:

• Só pode haver um único predicado IMMUTABLE WHERE em uma tabela dinâmica. Configurar outra com um comando ALTER DYNAMIC TABLE … SET IMMUTABLE WHERE substitui qualquer predicado existente.

• As restrições IMMUTABLE WHERE não podem conter os seguintes itens:

  • Subconsultas.

  • Funções não determinísticas, exceto para funções de carimbo de data/hora, como CURRENT_TIMESTAMP() ou CURRENT_DATE(). No caso de funções de carimbo de data/hora, você deverá usá-las para que a região imutável aumente ao longo do tempo. Por exemplo, TIMESTAMP_COL < CURRENT_TIMESTAMP() is allowed but TIMESTAMP_COL > CURRENT_TIMESTAMP() não faz isso.

  • Funções definidas pelo usuário e externas.

  • Colunas de metadados; por exemplo, aquelas que começam com METADATA$.

  • Colunas que são o resultado de agregados, funções de janela ou não determinísticas, ou colunas que são passadas por um operador de função de janela. Nas tabelas dinâmicas a seguir, somente col3 pode ser usado em predicados IMMUTABLE WHERE:

    CREATE DYNAMIC TABLE aggregates TARGET_LAG = '1 minute' WAREHOUSE = mywh
      AS SELECT col1, SUM(col2) AS col2 FROM input_table
      GROUP BY col3;
    
    CREATE DYNAMIC TABLE window_fns TARGET_LAG = '1 minute' WAREHOUSE = mywh
      AS SELECT col3, SUM(col4) OVER (PARTITION BY col3 ORDER BY col4) AS col2, col5 FROM input_table;
    

    Copy

As restrições IMMUTABLE WHERE são copiadas durante a clonagem e a replicação sem limitações.

Exemplos de uso de preenchimento¶

Os exemplos a seguir mostram como criar novas tabelas dinâmicas a partir de tabelas com dados preenchidos.

Cada nome de coluna deve constar na tabela de preenchimento com os tipos de dados compatíveis e aparecer na mesma ordem que na tabela de preenchimento. As propriedades e os privilégios da tabela de preenchimento não são copiados.

Se os parâmetros do Time Travel AT | BEFORE forem especificados, os dados da tabela de preenchimento serão copiados no horário especificado.

CREATE DYNAMIC TABLE my_dynamic_table (day TIMESTAMP, totalSales NUMBER)
  IMMUTABLE WHERE (day < '2025-01-01')
  BACKFILL FROM my_backfill_table
  TARGET_LAG = '20 minutes'
  WAREHOUSE = 'mywh'
  AS SELECT DATE_TRUNC('day', ts) AS day, sum(price)
    FROM my_base_table
    GROUP BY day;

CREATE OR REPLACE TABLE sales(item_id INT, ts TIMESTAMP, sales_price FLOAT);

INSERT INTO sales VALUES (1, '2025-05-01 01:00:00', 10.0), (1, '2025-05-01 02:00:00', 15.0), (1, '2025-05-01 03:00:00', 11.0);
INSERT INTO sales VALUES (1, '2025-05-02 00:00:00', 11.0), (1, '2025-05-02 05:00:00', 13.0);


CREATE DYNAMIC TABLE my_dynamic_table
  TARGET_LAG = 'DOWNSTREAM'
  WAREHOUSE = mywh
  INITIALIZE = on_create
  IMMUTABLE WHERE (day <= '2025-05-01')
  AS
    SELECT item_id, date_trunc('DAY', ts) day, count(sales_price) AS sales_count FROM sales
    GROUP BY item_id, day;

SELECT item_id, to_char(day, 'YYYY-MM-DD') AS day, sales_count FROM my_dynamic_table;

+---------+------------+-------------+
| ITEM_ID | DAY        | SALES_COUNT |
|---------+------------+-------------|
| 1       | 2025-05-01 | 3           |
| 1       | 2025-05-02 | 2           |
|---------+-------------+------------|

DELETE FROM sales WHERE ts < '2025-05-02';

ALTER DYNAMIC TABLE my_dynamic_table REFRESH;

SELECT item_id, to_char(day, 'YYYY-MM-DD') AS day, sales_count FROM my_dynamic_table;

Limitações e considerações ao criar uma tabela dinâmica com dados preenchidos¶

Todas as limitações das tabelas dinâmicas regulares e limitações das restrições de imutabilidade ainda se aplicam.

As seguintes limitações e considerações adicionais se aplicam:

• Atualmente, apenas tabelas regulares podem ser usadas para preenchimento.

• Não é possível especificar políticas ou tags na nova tabela dinâmica porque elas são copiadas da tabela de preenchimento.

• As chaves de clustering na nova tabela dinâmica e na tabela de preenchimento devem ser as mesmas.

Como encadear pipelines de tabelas dinâmicas¶

Ao definir uma nova tabela dinâmica, em vez de definir uma tabela dinâmica grande com muitas instruções aninhadas, use tabelas dinâmicas pequenas com pipelines.

Você pode configurar uma tabela dinâmica para consultar outras tabelas dinâmicas. Por exemplo, imagine um cenário em que seu pipeline de dados extrai dados de uma tabela de preparação para atualizar várias tabelas de dimensão (por exemplo, customer, product, date e time). Além disso, seu pipeline atualiza uma tabela sales agregada com base nas informações dessas tabelas de dimensão. Ao configurar as tabelas de dimensão para consultar a tabela de preparação e a tabela sales agregada para consultar as tabelas de dimensão, você cria um efeito cascata semelhante a um gráfico de tarefa.

Nessa configuração, a atualização da tabela sales agregada é executada somente após as atualizações das tabelas de dimensão serem concluídas com sucesso. Isso garante a consistência dos dados e atende às metas de atraso. Por meio de um processo de atualização automatizado, quaisquer alterações nas tabelas de origem acionam atualizações em todas as tabelas dependentes nos momentos apropriados.

Uso de uma tabela dinâmica de “controlador” para os gráficos de tarefa complexos¶

Quando você tem um gráfico complexo de tabelas dinâmicas com muitas raízes e folhas e deseja executar operações (por exemplo, alteração de atraso, atualização manual, suspensão) no gráfico de tarefa completo com um único comando, faça o seguinte:

1. Defina o valor para o TARGET_LAG de todas as suas tabelas dinâmicas para DOWNSTREAM.

2. Crie uma tabela dinâmica de “controlador” que leia todas as folhas em seu gráfico de tarefa. Para garantir que este controlador não consuma recursos, faça o seguinte:

   CREATE DYNAMIC TABLE controller
     TARGET_LAG = <target_lag>
     WAREHOUSE = <warehouse>
     AS
       SELECT 1 A FROM <leaf1>, …, <leafN> LIMIT 0;
   

   Copy

3. Use o controlador para controlar o gráfico inteiro. Por exemplo:

• Defina um novo atraso de destino para o gráfico de tarefa.

  ALTER DYNAMIC TABLE controller SET
    TARGET_LAG = <new_target_lag>;
  

  Copy

• Atualize manualmente o gráfico de tarefa.

  ALTER DYNAMIC TABLE controller REFRESH;
  

  Copy

Uso de tabelas dinâmicas transitórias para reduzir o custo de armazenamento¶

Tabelas dinâmicas transitórias mantêm os dados confiáveis ao longo do tempo e oferecem suporte à Time Travel dentro do período de retenção de dados, mas não retêm os dados além do período de fail-safe. Por padrão, os dados da tabela dinâmica são mantidos por sete dias no armazenamento fail-safe.

Para tabelas dinâmicas com alta taxa de atualização, isso pode aumentar significativamente o consumo de armazenamento. Portanto, você deve tornar uma tabela dinâmica transitória somente se seus dados não precisarem do mesmo nível de proteção e recuperação de dados fornecido pelas tabelas permanentes.

Você pode criar uma tabela dinâmica transitória ou clonar tabelas dinâmicas existentes para tabelas dinâmicas transitórias usando a instrução CREATE DYNAMIC TABLE.