Notas de lançamento do Snowpark Connect for Spark para 2026¶

Inferência de compressão em JSON e CSV.

Correção do coalesce que cria um único arquivo.

Refatoração de leitura JSON para usar COPY INTO nas leituras de arquivo único e adição da inferência de esquema VariantType.

Permitir o carregamento JSON sem esquema explícito.

Correção de multi_line em JSON.

Correção do esquema de inferência JSON para evitar a verificação de arquivos inteiros.

Tratamento correto da conversão em carimbo de data/hora ltz.

Valor retornado do hash de limitação.

Correção de repartition com partitionBy.

Correção para usar o cabeçalho da seção [connections.spark-connect] em config.toml.

Conversão de tokens do formato Java date/timestamp em equivalentes do Snowflake para leituras CSV.

Calcular esquema para funções pivot.

Correção de UDTFs em junção lateral com alias.

Alinhamento do resultado para o comando SQL SET.

Correção do tipo de retorno para as funções CEIL e FLOOR.

Melhoria na geração de consultas no unbase64 v2.

Correção de algumas opções para mapeamento do Snowflake para CSV.

Correção de serialização para POJO.

Melhoria nas mensagens de erro CSV com cabeçalho.

Melhoria na lógica de detecção mapType com try_cast para leituras do Parquet.

Suporte para reduceGroups API.

Suporte para especificação do nome da conexão em init_spark_session.

Adição do parâmetro de configuração para usar UDF para unbase64.

Otimização da geração de SQL na função unbase64.

Correção da regressão from_json

Correção dos registros que abrangem vários limites de bloco de compactação BZ2

Correção do mapeamento de nulidade no atributo não resolvido

Inicialização da sessão spark-connect com qualquer conexão, não apenas aquela chamada spark-connect

Adição da validação de opções XML

Opção de descarte de ESCAPE CSV quando corresponde ao caractere de aspas para impedir erro de compilação

Correção da conversão incorreta de tuplas nomeadas em productEncoder

Não há suporte para verificar mergeSchema para CSV e JSON

Correção do tipo complexo de ida e volta Parquet (gravação + leitura)

Correção do esquema para pivot/unpivot

Correção do tipo de retorno para as funções MOD e PMOD

Correção da extração de cabeçalho de CSV para arquivos com linhas em branco iniciais

Testar os fusos horários corretamente e substituir a serialização de data/hora baseada em cadeia de caracteres por baseada em época

Atualização da verificação de versão do Java para Windows

Nivelamento de chamadas withColumn aninhadas

Alteração da lógica para Literal _IntegralType em operações de adição/subtração

Retorno de LongType para funções COUNT

Leitura de JSON: teste de compactação = bz2/bzip2/nenhum

Melhoria no desempenho de to_varchar/to_char

Melhoria na comparação em testes de E/S

Definir multi_line como False por padrão para cópia JSON

Gerar um erro em caso de pool de computação não especificado.

Remoção da verificação de resultados ao chamar df.count()

Garantir que o esquema de inferência seja executado em linhas limitadas para leitura JSON

Correção de createDataFrame para tipos de intervalo

Alteração da lógica para Literal _IntegralType em operações de multiplicação e divisão

Tipo mais amplo e de coerção para operações Set

Correção do suporte para várias rótulos de neo4j

Modificação dos metadados JAR para que o Grype não detecte a vulnerabilidade do Netty

Retornar o tipo correto para a função ANY_VALUE

Retornar o tipo ampliado para sequência

Adição de suporte para a configuração spark.sql.parquet.inferTimestampNTZ.enabled

Renomeação/conversão de coluna em lote em _validate_schema_and_get_writer

JDBC trava quando consultas particionadas são fornecidas com tamanho de busca

Retornar uma mensagem de exceção excluída quando ela excede os limites de cabeçalho HTTP

Correção de map_type_to_snowflake_type para BigDecimal

Correção da precisão e escala decimais literais

Melhoria na geração de cadeias de caracteres aleatórias

Fazer com que o carregamento JSON compactado do BZ2ignore registros corrompidos

Uso de arquivos preparados da configuração em UDFs do Scala

Uso de TRY_CAST permissivo em leitura JSON

Tornar o número de threads de servidor configurável

Readicionar init_spark_session() para testes

É obrigatório atualizar a saída da linha de comando snowpark-submit para esclarecer o snowflake-connection-name.

Tipo de tabela de cache ao executar saveAsTable

Otimizar entrada literal para conversão de subcadeia de caracteres e tipo para coalesce

Tratamento do estouro decimal em avg/mean e correção da coerção do tipo decimal

Iceberg: preservar concessões ao substituir

Padronizar modo de passagem SQL

Otimizar from_utc_timestamp/to_utc_timestamp para fuso horário literal

Manipular valores nulos JSON em tipos estruturados para corresponder à semântica do Spark

Emular tipos integrais na criação de tabelas com base em SQL

Corrigir caso de borda com mapeamento de linhas aninhadas em UDFs Scala

Corrigir como o Parquet lida com leitura e gravação de tipos de dados estruturados complexos

Oferecer suporte ao argumento “save ignore” para arquivos Parquet

Adicionar suporte para repositório de artefatos

Corrigir nulidade de matriz em UDxF Scala

Corrigir log1p para argumentos da faixa (-1, 0)

Corrigir first_value e last_value em contexto agregado

Corrigir a leitura:code:DayTimeIntervalType para cliente Scala

Manusear fusos horários corretamente em UDFs Scala

Oferecer suporte a Java 11 e 17 sem nenhuma configuração

Oferecer suporte a snowpark-submit para Python 3.9

Aprimorar init_spark_session para ser usado no fluxo de trabalho de snowpark-submit

Corrigido o problema da função split

Realizado o downgrade da dependência snowflake-snowpark-python para a versão 1.44

Corrigido o dialeto Neo4j correspondente para melhorar a tradução de SQL

Corrigido o ID da operação retornado em respostas de execução para manter a consistência

Corrigido o tratamento de metadados do gRPC para conexões de canal TCP

Adicionado suporte para partition_hint em operações mapPartitions

Adicionado suporte do leitor XML para cenários com esquemas definidos pelo usuário

Preservar colunas ocultas após vários operadores DataFrame

Corrigir problemas de tipos de entrada udf Scala (byte, binary, scala.math.BigDecimal)

Adicionar argumentos snowpark-submit definidos pelo usuário para comentar

Corrigido o erro do comando config unset na configuração de sessão.

Uso de «copiar em» para carregar arquivos CSV em paralelo.

Correção das gravações de DataFrames usando junções externas.

Tratamento de nulos em UDFs do Scala.

Otimização da geração de consultas CTE com proteção de parâmetros.

Evitar converter argumentos de DATEDIFF.

Corrigida a anexação de arquivos particionados e a leitura de partições nulas.

Melhoria feita no desempenho em 10 vezes para conversão entre base 10 e 16 usando SQL.

Substituição somente de partições modificadas para arquivos parquet.

Lógica atualizada para detectar se o Snowpark Connect for Spark está em execução no XP.

Suporte à gravação em tabela com tipo de dados «variante» no Snowflake.

Remoção de logs de informação desnecessários.

Os testes do Java foram movidos do trabalho de testes do Scala para um trabalho separado.

Atualização da versão de dependência para gcsfs.

Correção da serialização de tuplas do Scala.

Correção do carregamento de arquivos JSON enormes.

Implementação de pequenas correções de problemas de clientes.

Implementação de correções para comparações com struct (estrutura).

Adição de tratamento para DataFrames de coluna 0.

Caminho correto do arquivo de carregamento.

Correção de Upload_files_if_needed que não era executado em paralelo.

Melhoria na inferência de tipo de entrada quando tipos de entrada de UDF não são definidos no proto.

Correção de casos de borda NA.

Suporte à leitura de único arquivo JSON BZ2.

Suporte a UDFs do Scala no Snowpark Connect for Spark do lado do servidor.

Implementação de conversão entre cadeia de caracteres e daytime.

Suporte adicionado para UDFs do Scala em group_map.

Redução dos nomes gerados de carga de trabalho.

Tratamento de JAVA_HOME corrigido para Windows.

Suporte para fonte de dados neo4j via JDBC.