Junho de 2022¶

API Snowpark para Python — Versão preliminar¶

Temos o prazer de anunciar a versão preliminar da API Snowpark para Python.

Snowpark é uma nova experiência para desenvolvedores que fornece uma API intuitiva para consulta e processamento de dados em um pipeline de dados. Usando essa biblioteca, é possível criar aplicativos que processam dados no Snowflake sem mover os dados para o sistema em que o código do aplicativo é executado.

Os recursos em versão preliminar destinam-se a fins de avaliação e teste e não são recomendados para uso em produção.

Para obter mais informações, consulte Guia do desenvolvedor de Snowpark para Python.

UDFs Python — Versão preliminar¶

Temos o prazer de anunciar uma versão preliminar das UDFs Python (funções definidas pelo usuário).

Os usuários agora podem gravar funções personalizadas na linguagem de programação Python e chamá-las como se elas fossem funções internas.

Os recursos em versão preliminar destinam-se a fins de avaliação e teste e não são recomendados para uso em produção.

Para obter mais informações, consulte Introdução a UDFs de Python.

Interface de lote para UDF Python — Versão preliminar¶

Temos o prazer de anunciar uma versão preliminar da API de lote para UDF Python.

A API de lote para UDF Python permite definir funções Python que recebem lotes de linhas de entrada como DataFrames Pandas e retornam lotes de resultados como matrizes ou séries Pandas. Você chama UDFs de Python que utilizam a API de lote da mesma forma que chama outras UDFs de Python.

Os recursos em versão preliminar destinam-se a fins de avaliação e teste e não são recomendados para uso em produção.

Para obter mais informações, consulte UDFs vetorizadas de Python.

UDTFs Python — Versão preliminar¶

Temos o prazer de anunciar uma versão preliminar das UDTFs Python (funções de tabela definidas pelo usuário).

As UDTFs Python estendem as capacidades nativas de desenvolvimento de Snowflake, combinando as vantagens das funções de tabela com a potência, flexibilidade e facilidade de programação em Python.

Os recursos em versão preliminar destinam-se a fins de avaliação e teste e não são recomendados para uso em produção.

Para obter mais informações, consulte Como escrever uma UDTF em Python.

Procedimentos armazenados Snowpark para Python — Versão preliminar¶

Temos o prazer de anunciar uma versão preliminar dos procedimentos armazenados Snowpark para Python, o que lhe permite gravar procedimentos armazenados em Python usando a API Snowpark.

Em seu procedimento armazenado, é possível usar a API Snowpark para Python para hospedar seus pipelines de dados no Snowflake. Por exemplo, é possível escrever procedimentos armazenados nos casos em que é preciso executar seu código Snowpark sem executar um aplicativo cliente (por exemplo, de uma tarefa).

Os recursos em versão preliminar destinam-se a fins de avaliação e teste e não são recomendados para uso em produção.

Para obter mais informações, consulte Como escrever procedimentos armazenados em Python.

Comando ALTER TAG: suporte adicionado à política de mascaramento¶

Neste lançamento, Snowflake atualiza o comando ALTER TAG para permitir a especificação de uma política de mascaramento.

Novas funções¶

As seguintes funções agora estão disponíveis neste lançamento:

Melhorias de latência de DML¶

Temos o prazer de anunciar melhorias de latência de DML para cargas de trabalho com um alto número de operações simultâneas DML (por exemplo, mais de 100 tarefas DML por segundo), como cargas de trabalho de ingestão ou cargas de trabalho de OLTP. Essas melhorias permitem acelerar as cargas de trabalho de gravação intensa e reduzir a carga do warehouse.

Warehouses maiores — Versão preliminar¶

Neste lançamento, temos o prazer de anunciar a melhoria do desempenho de warehouses maiores (5X-LARGE e 6X-LARGE). Esses warehouses de maiores dimensões podem melhorar o desempenho de cargas de trabalho com uso intenso de computação e proporcionar um processamento mais rápido de grandes conjuntos de dados.

Esse recurso em versão preliminar está atualmente disponível apenas em Amazon Web Services (AWS) na EU (Irlanda), mas chegará para outras regiões. Antes de provisionar um warehouse 5X-LARGE ou 6X-LARGE, entre em contato com o suporte Snowflake. Os tempos de provisionamento para esses tamanhos podem demorar um pouco mais enquanto estiverem na fase de versão preliminar.

Para obter mais informações, consulte Visão geral de warehouses.

Snowpipe: notificações de erro para Google Cloud Pub/Sub ou Microsoft Azure Event Grid — Versão preliminar¶

Temos o prazer de anunciar o suporte em versão preliminar para as notificações de erros Snowpipe enviadas por push ao serviço de mensagens da nuvem Google Cloud Platform Pub/Sub ou Microsoft Azure Event Grid. Quando Snowpipe encontra erros ao carregar dados de arquivos preparados em qualquer serviço de armazenamento em nuvem compatível, esse recurso aciona uma notificação que descreve os erros, permitindo uma análise mais detalhada dos dados nos arquivos.

Este recurso permite enviar por push notificações de erro para carregamentos oriundos da ingestão automática Snowpipe ou chamadas para a API REST Snowpipe.

Os recursos em versão preliminar destinam-se a fins de avaliação e teste e não são recomendados para uso em produção.

Snowpipe: suporte aos não proprietários de canais para chamar a API REST Snowpipe¶

Neste lançamento, chamar os pontos de extremidade REST Snowpipe públicos para carregar dados e recuperar relatórios de histórico de carregamento não está mais restrito ao proprietário de canal (ou seja, a função com o privilégio OWNERSHIP no canal) ou uma função superior na hierarquia de funções. Os seguintes privilégios de canal permitem chamar pontos de extremidade REST específicos:

Os outros requisitos de controle de acesso existentes permanecem os mesmos.

Tarefas: suporte para DAG — Versão preliminar¶

Temos o prazer de anunciar o suporte em versão preliminar do gráfico acíclico dirigido (DAG) para tarefas. Um DAG é uma série de tarefas compostas de apenas uma tarefa raiz e tarefas adicionais, organizada por suas dependências. Anteriormente, os usuários estavam limitados a árvores de tarefas, nas quais cada tarefa tinha no máximo apenas uma tarefa predecessora (pai). Em um DAG, cada tarefa não raiz pode ter dependências em várias tarefas predecessoras, assim como várias tarefas subsequentes (filho) que dependem dela.

A seguir, um exemplo muito simples:

A tarefa raiz (A) é executada em uma programação, como “a cada 5 minutos” ou “todos os dias às 5 AM e 5 PM”. As tarefas B e C são executadas simultaneamente quando a tarefa A é executada até a conclusão. A tarefa D só é executada quando ambas as tarefas B e C são executadas até a conclusão.

Os DAGs permitem fluxos de trabalho de processamento paralelos que seriam impossíveis ou difíceis de alcançar utilizando árvores de tarefas, incluindo:

• Atualização simultânea de um conjunto de tabelas de dimensões antes de agregar fatos a um painel de controle.

• Envio de uma notificação através de um serviço de mensagens remotas usando uma função externa depois de todas as tarefas anteriores terem sido executadas até a conclusão.

Classificação de dados — Disponibilidade geral¶

Neste lançamento, Snowflake tem o prazer de anunciar a disponibilidade geral de Introdução à classificação para as contas Enterprise Edition (ou superior) em AWS e Azure. O recurso foi introduzido anteriormente em versão preliminar em fevereiro e continua em versão preliminar em GCP.

A classificação permite categorizar dados potencialmente pessoais e/ou sensíveis armazenados em tabelas e exibições Snowflake, que podem então ser usadas para permitir uma variedade de casos de uso de governança, compartilhamento e privacidade de dados.

Com a GA deste recurso, introduzimos um novo modelo de classificação de dados que gera melhores modelos de previsão e padrões de dados. Além disso, o processo de classificação agora inclui a saída de cada coluna de tabela especificada na entrada, incluindo:

• Colunas com tipos de dados que antes não podiam ser classificados.

• Colunas apenas com valores NULL.

Para consultar os benefícios das melhorias de GA, é necessário gerar novos resultados para quaisquer dados classificados utilizando o modelo de classificação de dados anterior.

Políticas de mascaramento com base em tags — Versão preliminar¶

Com esse lançamento, Snowflake tem o prazer de anunciar as políticas de mascaramento baseadas em tags em versão preliminar. Uma política de mascaramento baseada em tags combina os recursos de marcação de objetos e a política de mascaramento para permitir que uma política de mascaramento seja definida em uma tag usando um comando ALTER TAG. Este recurso também introduz duas novas funções do sistema, SYSTEM$GET_TAG_ON_CURRENT_COLUMN e SYSTEM$GET_TAG_ON CURRENT_TABLE, que podem ser usadas para obter o valor da cadeia de caracteres da tag nas condições da política.

Quando o tipo de dados na assinatura da política de mascaramento e o tipo de dados da coluna correspondem, a coluna marcada é automaticamente protegida pelas condições da política de mascaramento. Isto simplifica os esforços de proteção de dados porque os dados da coluna que devem ser protegidos não precisam mais de uma política de mascaramento aplicada manualmente à coluna para proteger os dados.

Observe que uma política de mascaramento aplicada diretamente a uma coluna por meio de um comando ALTER TABLE … ALTER COLUMN tem precedência sobre uma política de mascaramento baseada em tags. Para obter mais detalhes, consulte Políticas de mascaramento baseadas em tags.

Tópicos de integração de segurança reestruturados¶

Neste lançamento, Snowflake melhorou a documentação dos seguintes comandos SQL:

• CREATE SECURITY INTEGRATION

• ALTER SECURITY INTEGRATION

O conteúdo dos tópicos existentes agora está dividido em tópicos menores focados exclusivamente em cada um dos seguintes tipos de integração de segurança:

• OAuth externo

• Snowflake OAuth

• SCIM

• SAML2

Para oferecer suporte a essa mudança, oito novas entradas foram adicionadas sob SQL Command Reference » All Commands no TOC.