Notas de lançamento de Snowpark Connect for Spark para 2025¶

Novos recursos¶

• Adicionar parâmetro para estratégias de criação de exibição.

• Suporte a intervalo de ano e mês <-> com cadeia de caracteres.

• Suporte a várias colunas dinâmicas e aliases para valores dinâmicos no Spark SQL.

• Integração de span e rastreamentos de OpenTelemetry.

Melhorias¶

Nenhum.

Correções de bugs¶

• Adição de uma barra final ao comando de remoção.

• Problema de GROUP BY inválido com função de agregação e funções nilary.

• Notebook excede o tamanho máximo de mensagem gRPC.

• Corrigida a criação de exibição temporária com nomes conflitantes.

• array_size com argumento nulo.

• Correção do acesso à matriz JSON $.0 na função get_json_object.

• Correção das junções automáticas ANTI e SEMI LEFT.

• Processamento de tipos diferentes no intervalo de funções SQL.

• Descrição da exibição temporária corrigida.

Novos recursos¶

• Adição de rowToInferSchema para leitura de CSV.

• Suporte a INSERT INTO com o comando CTE SQL.

• Alterações de E/S para adicionar geração de arquivos e filtragem de arquivos de metadados _SUCCESS.

• update(submit): Suporte à instalação do Snowpark Connect for Spark no contêiner do cliente Snowpark Submit.

Melhorias¶

Nenhum.

Correções de bugs¶

• Correção da atualização de caminho _SUCCESS.

• Lançamento de um erro na atualização de falha de remoção.

• Função de sequência com suporte para entradas de tipos integrais.

• Correção de tipos em CreateTempViewUsing vazio.

• Correção do reparticionamento de arquivo Parquet na gravação.

• Resolução correta de aliases na cláusula ORDER BY.

• Remoção do parâmetro de sessão temporário de escopo.

• Correção de várias junções automáticas com a condição de junção.

• Correção da resolução de nomes de colunas em tabelas dinâmicas.

• O analisador SQL reconhece o fuso horário da sessão.

• Coerção do tipo de intervalo com outros tipos.

• Correção do aninhamento de CTEs.

• Melhoria na resolução de nomes qualificados no Spark.

Novos recursos¶

• Adição de script para execução na saída da ação Git para mesclagem de SQLs.

• Adição do parâmetro --rebuild-whl ao executor de teste do notebook.

• Suporte incluído para ambos os qualificadores após a junção.

Melhorias¶

Nenhum.

Correções de bugs¶

• Suporte ao parâmetro de escape em comandos SQL LIKE.

• Bug de substituição em partições.

• Validação da contagem de colunas em INSERT.

• Incompatibilidade do pow com NAN.

• JOIN cruzado com condição.

• Lógica de atribuição de colunas em consultas aninhadas.

• Atualização da mensagem de erro do teste de intervalo.

• Coerção do tipo de cadeia de caracteres na operação do conjunto UNION e EXCEPT, coerção de NUMERIC, DATE, DATETIME para STRING.

• Resolução correta das colunas do Snowpark após uma JOIN automática externa completa.

• Expressão na função de agregação pode ser sem melhoria.

• Atualização: reversão de «[SCOS GA BUG] string type coercion in set opera»

• A união DataFrame de colunas do tipo decimal agora é ampliada conforme necessário.

• Coerção do tipo de cadeia de caracteres na operação do conjunto UNION e EXCEPT, coerção de NUMERIC, DATE, DATETIME para STRING (parte 1).

• Problema de objeto não existente em TCM.

• Correção de to_binary(x, 'hex') quando x tem um número ímpar de letras e dígitos.

• Correção de junções com tabelas vazias.

• Correção da cláusula HAVING para priorizar o agrupamento de colunas sobre os aliases de agregação com o mesmo nome.

Novos recursos¶

• Suporte para RepairTable

• Torne jdk4py uma dependência opcional de Snowpark Connect for Spark para simplificar a configuração da página inicial do Java para usuários finais.

• Suporte a mais casos de tipo intervalo.

Melhorias¶

Nenhum.

Correções de bugs¶

• Corrigir problemas de Join ao refatorar qualificadores

• Corrija percentile_cont para permitir expressões de filtro e ordem de classificação.

• Corrija histogram_numeric UDAF.

• Corrija a função COUNT quando chamada com vários argumentos.

Novos recursos¶

• Adicione suporte para expressões na cláusula GROUP BY quando a cláusula é explicitamente selecionada.

• Adicione códigos de erro às mensagens de erro do para uma melhor solução de problemas.

Melhorias¶

Nenhum.

Correções de bugs¶

• Correção do problema de conversão da função de janela sem suporte.