Notas de lançamento de Snowpark Connect for Spark para 2025¶

Novos recursos¶

• Add support for Spark integral types.

• Suporte adicionado para Scala 2.13.

• Suporte incluído para estouro de tipos integrais por trás da configuração snowpark.connect.handleIntegralOverflow.

• Configuração adicionada para usar arquivos JAR personalizados em UDFs.

• Suporte a UDFs do Scala se UDFPacket não tem metadados de tipos de entrada.

• Permissão de classes case como tipos de entrada e saída na função reduce.

Correções de bugs¶

• Correção do tratamento dos tipos lógicos Parquet (TIMESTAMP, DATE, DECIMAL). Antes, os arquivos Parquet eram lidos usando apenas tipos físicos (como LongType para carimbos de data/hora). Os tipos lógicos agora podem ser interpretados retornando tipos adequados como TimestampType, DateType e DecimalType. Você pode habilitar esse recurso definindo a configuração do Spark snowpark.connect.parquet.useLogicalType como true.

• Uso do esquema de saída ao converter Row do Spark em Variant.

• Tratamento de JAVA_HOME vazio.

• Correção da função from_json para MapType.

• Suporte da configuração spark.sql.parquet.outputTimestampType para o fuso horário NTZ.

Melhorias¶

Nenhum.

New Features¶

• Suporte adicionado para Scala 2.13.

• Add support for --files argument.

Bug Fixes¶

• Suporte adicionado para --jars para carga de trabalho pyspark.

• Correção de bug na autenticação com Snowpark Submit JWT.

Novos recursos¶

• Suporte a qualquer tipo de entrada ou de saída nas funções map e flatmap do Scala.

• Support joinWith.

• Suporte a qualquer tipo de retorno nas UDFs do Scala.

• Support registerJavaFunction.

Correções de bugs¶

• Correção do problema de inferência de esquemas JSON para leitura de JSON do Scala.

• Alteração dos tipos de retorno das funções que retornam tipos integrais incorretos.

• Correção do bug nos campos de atualização com tipo struct.

• Correção do decodificador de entrada ilimitada.

• Correção da função struct quando o argumento é unresolved_star.

• Correção do nome da coluna para UDFs do Scala quando o proto não contém nome de função.

• Adição de suporte para PATTERN no formato Parquet.

• Processamento dos modos de gravação error e errorIfExists.

Melhorias¶

Nenhum.

Novos recursos¶

• O snowflake-connector-python foi incrementado para <4.2.0.

• Adição de suporte básico para mapa de coluna única e operações flatMap em conjuntos de dados do Scala.

• Suporte de gravação em Iceberg para TargetFileSize e PartitionBy.

Correções de bugs¶

• Tornar a inicialização do servidor SAS síncrona.

• Use snowpark-connect-deps-1==3.56.3.

• Correção de saveAsTable com colunas input_filename.

• Remoção da leitura duplicada do cache em UDFs do Scala.

• Aumento do limite de recursão.

• Fix format_number.

• Correção do esquema de inferência quando a consulta é fornecida como leitura JDBC.

• Bloqueio da operação dict somente em cache.py para melhorar o desempenho.

• Correção de testes de dados agrupados.

• Emissão de erros mais detalhados nas operações de tabela e de leitura/gravação.

Melhorias¶

Nenhum.

Novos recursos¶

• Introdução da função «reduzir» para o Scala.

Melhorias¶

Nenhum.

Correções de bugs¶

• Correção da falha na inserção de matriz para elementos que permitem valores nulos.

• Emissão do erro correto em argumentos não numéricos na covariância.

Novos recursos¶

• Suporte a filter em um Dataset simples (coluna única).

• Suporte para análise de URL de esquema do Azure e nome de arquivo de caracteres especiais.

Correções de bugs¶

• Correção do erro «Dataframe has no attribute dataframe» na API de catálogo do Scala.

• Correção de aliases em subconsulta; subconsultas de documentos que não funcionavam.

• Correção da resolução plan_id após junções.

• Correção do meta.yaml para versões multi-py.

• Habilitação de use_vectorized_scanner como tipo de mapa do arquivo parquet que causava erro.

• CSV para leitura do tipo de dados de especificação da opção inferSchema.

• Correção do processamento da função substr de comprimento negativo.

• Uso dos formatos de arquivos em cache no read_parquet.

• Melhoria no desempenho da relação local.

• Geração de resumo de _common_metadata para arquivos parquet.

• Remoção de setSchema, setRole etc. repetitivos para pushdown do Snowflake.

Melhorias¶

Nenhum.

Novos recursos¶

• Flexibilização dos requisitos de versão para grpcio e aiobotocore.

Melhorias¶

• Especificação de versão de dependências no meta.yaml.

• Criação de pacote conda compilado e específico da arquitetura.

• Garantia de que todos os CloudPickleSerializer.loads não são feitos no TCM.

• Inclusão de testes SQL OSS que começam com a cláusula WITH.

• Não carregar jars do Spark durante a execução do servidor para pyt.

• Atualização da contagem de consultas internas.

Correções de bugs¶

• Correção de testes para tcm.

• Correção da discrepância de nomes de coluna CSV do Spark.

• Uso do tipo cache para quadros vazios.

• Resolução de problemas gerais do executor Windows OSS.

Melhorias¶

• Geração de nomes de carga de trabalho exclusivos.

Bug Fixes¶

• Corrigida a leitura de arquivos preparados.

Novos recursos¶

• Adicionar parâmetro para estratégias de criação de exibição.

• Suporte a intervalo de ano e mês <-> com cadeia de caracteres.

• Suporte a várias colunas dinâmicas e aliases para valores dinâmicos no Spark SQL.

• Integração de span e rastreamentos de OpenTelemetry.

Melhorias¶

Nenhum.

Correções de bugs¶

• Adição de uma barra final ao comando de remoção.

• Problema de GROUP BY inválido com função de agregação e funções nilary.

• Notebook excede o tamanho máximo de mensagem gRPC.

• Corrigida a criação de exibição temporária com nomes conflitantes.

• array_size com argumento nulo.

• Correção do acesso à matriz JSON $.0 na função get_json_object.

• Correção das junções automáticas ANTI e SEMI LEFT.

• Processamento de tipos diferentes no intervalo de funções SQL.

• Descrição da exibição temporária corrigida.

Novos recursos¶

• Adição de rowToInferSchema para leitura de CSV.

• Suporte a INSERT INTO com o comando CTE SQL.

• Alterações de E/S para adicionar geração de arquivos e filtragem de arquivos de metadados _SUCCESS.

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

Melhorias¶

Nenhum.

Correções de bugs¶

• Correção da atualização de caminho _SUCCESS.

• Lançamento de um erro na atualização de falha de remoção.

• Função de sequência com suporte para entradas de tipos integrais.

• Correção de tipos em CreateTempViewUsing vazio.

• Correção do reparticionamento de arquivo Parquet na gravação.

• Resolução correta de aliases na cláusula ORDER BY.

• Remoção do parâmetro de sessão temporário de escopo.

• Correção de várias junções automáticas com a condição de junção.

• Correção da resolução de nomes de colunas em tabelas dinâmicas.

• O analisador SQL reconhece o fuso horário da sessão.

• Coerção do tipo de intervalo com outros tipos.

• Correção do aninhamento de CTEs.

• Melhoria na resolução de nomes qualificados no Spark.

Novos recursos¶

• Adição de script para execução na saída da ação Git para mesclagem de SQLs.

• Adição do parâmetro --rebuild-whl ao executor de teste do notebook.

• Suporte incluído para ambos os qualificadores após a junção.

Melhorias¶

Nenhum.

Correções de bugs¶

• Suporte ao parâmetro de escape em comandos SQL LIKE.

• Bug de substituição em partições.

• Validação da contagem de colunas em INSERT.

• Incompatibilidade do pow com NAN.

• JOIN cruzado com condição.

• Lógica de atribuição de colunas em consultas aninhadas.

• Atualização da mensagem de erro do teste de intervalo.

• Coerção do tipo de cadeia de caracteres na operação do conjunto UNION e EXCEPT, coerção de NUMERIC, DATE, DATETIME para STRING.

• Resolução correta das colunas do Snowpark após uma JOIN automática externa completa.

• Expressão na função de agregação pode ser sem melhoria.

• Atualização: reversão de «[SCOS GA BUG] string type coercion in set opera»

• A união DataFrame de colunas do tipo decimal agora é ampliada conforme necessário.

• Coerção do tipo de cadeia de caracteres na operação do conjunto UNION e EXCEPT, coerção de NUMERIC, DATE, DATETIME para STRING (parte 1).

• Problema de objeto não existente em TCM.

• Correção de to_binary(x, 'hex') quando x tem um número ímpar de letras e dígitos.

• Correção de junções com tabelas vazias.

• Correção da cláusula HAVING para priorizar o agrupamento de colunas sobre os aliases de agregação com o mesmo nome.

Novos recursos¶

• Suporte para RepairTable

• Torne jdk4py uma dependência opcional de Snowpark Connect for Spark para simplificar a configuração da página inicial do Java para usuários finais.

• Suporte a mais casos de tipo intervalo.

Melhorias¶

Nenhum.

Correções de bugs¶

• Corrigir problemas de Join ao refatorar qualificadores

• Corrija percentile_cont para permitir expressões de filtro e ordem de classificação.

• Corrija histogram_numeric UDAF.

• Corrija a função COUNT quando chamada com vários argumentos.

Novos recursos¶

• Adicione suporte para expressões na cláusula GROUP BY quando a cláusula é explicitamente selecionada.

• Adicione códigos de erro às mensagens de erro do para uma melhor solução de problemas.

Melhorias¶

Nenhum.

Correções de bugs¶

• Correção do problema de conversão da função de janela sem suporte.