Notas de lançamento do Snowpark Connect for Spark para 2026¶

Disable filter_classpath_jars at server startup

Support UDT cast-to-string and reject invalid UDT casts

Fix DataFrame describe and summary APIs

Add SUPPORTED_SCALES guard to skip workloads at unsupported scales

Add Scala 2.13 equivalent JARs to dependency packages

Add Hive partitioning implementation and limitations reference

Remove 29 unused JARs from snowpark_connect_deps packages (~23 MB)

Skip explicit structured cast when server supports implicit cast for Parquet

Bump Snowpark dependency to 1.50.0

Set Parquet useLogicalType default to true

Fix count() to match Spark SQL behavior

Relax protobuf version constraint from <6.32.0 to <6.34.0

Consistently coerce to unstructured types

Replace snowflake.snowpark_connect.includes import with pyspark.sql

Always use vectorized Parquet scanner; remove useVectorizedScanner configuration option

Fix regexp_extract defaults, inline flags, and PCRE handling

Fix SQL operator compatibility gaps

Fix IN NULL semantics to match Spark behavior

Support named persistent external stage read in XML UDTF

Preserve UDT metadata through temp views and toDF renames

Use SQL path for catalog table existence checks

Allow star expression in the map columns aggregation

Implement sequence support for timestamp/date and interval types

Add CTE session parameter

Initialize tracking nullability of columns and complex types

Track nullability for built-in functions across multiple expression categories

Track nullable in Set command

Add nullability to range

Introduce performance regression gate in GitHub Actions

Fix CTE-qualified column refs in ORDER BY/WHERE/GROUP BY

Fix withColumn on join key after using-style join

Fix fillna raising immediately for missing subset column

Fix case sensitive read of internal stage

Reduce window function boundary materialization

Preserve struct/map/array schema with empty content

Support ON_ERROR=CONTINUE for INFER_SCHEMA in CSV and JSON reads

Fix hex compile-time type dispatch

Avoid redundant temp table creation for read.parquet to saveAsTable

Preserve StructType/MapType in strict mode

Case-insensitive qualifier comparison in column resolution

Use Snowpark builtin for CBRT function

Fix XML nullValue and whitespace handling

Use Decimal for DecimalType in strict mode

Fix map_concat bug

Fix unionByName to handle quotes in column names and respect caseSensitive config

Remove trailing commas from JSON test resource file

Snowpark Connect Java Client library to support Spark Scala and Java workloads

Use native implementation for ARRAY_REPEAT and MAP_ENTRIES

Use MAP_ENTRIES in map_cast

Reduce number of queries used for VARIANT inference in read_parquet

Add cross-request sub-plan cache for map_relation

Implement JSON encoding validation

Reduce query size for functions that internally rename columns

Relax py4j version constraints to allow for broader compatibility

Isolate artifacts by spark session

Add default application name for session

Add JSON date/time format conversion

Handle glob metacharacter escaping in CSV/JSON paths

Fix JSON non-nullable schema to match Spark behavior

Add default column matching case for XML

Fix TEXT lineSep with hex encoding for RECORD_DELIMITER

Fix spark read xml external stage

Empty CSV returns empty DataFrame

Add default idx to regexp_extract

Fix CSV non-nullable schema to match Spark behavior

Fix temp stage naming collision under parallel tests

Add fast path to regexp functions

Schema coercion on storeAssignmentPolicy

CSV backslash delimiter double-escape

Optimize posexplode

CSV lineSep empty validation

Fix bug that xml cannot read external stage file

Reduce default log verbosity for users

Added support for DML row counts

Support overwrite(condition) for DataFrameWriterV2

Iceberg mergeSchema on write — top-level column evolution

Added support for partition overwrites in DataFrameWriterV2

Add app_name parameter to init_spark_session

Fix performance issue

Fix merge schema for JSON

Fix arrays_zip for complex types

Fix LCAs in implicit aggregations

Cache result of JSON file format

Resolve known types from map_unresolved_function without typer

Support hive partitioning for JSON copy into mode

Add SCOS session registration on server initialization

Modify warmup query with distinct string for filtering

Correção do acesso ao campo struct a partir da matriz via getItem

Correção dos nomes para acesso a elementos de matriz

Adição de compactação ausente para o formato TEXT

Redução do tamanho da consulta em DataFrame.replace, na criação de UDTFs e em:code:read_parquet

Emulação de tipos na criação de exibição [temp]

Correção da conversão de tipos estruturados para

Correção da validação do tipo de gravação de texto

Suporte para leitura paralela de diretórios XML

Otimização do uso da função conv

Suporte para leitura e gravação nos formatos Snowflake e net.snowflake.spark.snowflake

Emulação de tipos na criação de tabelas

Correção do acesso a estruturas aninhadas com matrizes

Correção da mensagem de erro do Parquet

Otimização do to_number, reduzindo o tamanho da consulta

Correção do cache de UDF para considerar alterações no banco de dados da consulta

Otimização da função mask

Passagem do leitor de fallback PATTERN para NVS durante a inferência do esquema Parquet

Coerção de tipo estruturado e nulo

Introdução da dica de junção DIRECTED

Integração de XML inferSchema

Adição de mapeamento de tipo JDBC ausente

Suporte a esquemas fornecidos pelo usuário em Parquet

Tratamento sem interrupções de caracteres UTF-8 inválidos em JSON

Resolução de colunas LCA somente se realmente utilizadas

Otimização da geração de consultas get_json_object

Remoção de ponto e vírgula de consultas SQL

Definição de processInBulk=True como padrão para leituras JSON e correção da inferência de esquema NullType

Correção de bug relacionado à leitura incorreta de área de preparação

Adição de não verificação no registro da UDF

Redução do limite para mensagem de erro

Permissão de campos ausentes em esquemas fornecidos pelo usuário

Inferência de compressão de JSON e CSV

Correção para coalesce(1) criando um único arquivo

Adição do método execute_jar para iniciar cargas de trabalho Java/Scala

Correção de omissão de erros com o sinalizador --wait-for-completion

Inferência de compressão em JSON e CSV.

Correção do coalesce que cria um único arquivo.

Refatoração de leitura JSON para usar COPY INTO nas leituras de arquivo único e adição da inferência de esquema VariantType.

Permitir o carregamento JSON sem esquema explícito.

Correção de multi_line em JSON.

Correção do esquema de inferência JSON para evitar a verificação de arquivos inteiros.

Tratamento correto da conversão em carimbo de data/hora ltz.

Valor retornado do hash de limitação.

Correção de repartition com partitionBy.

Correção para usar o cabeçalho da seção [connections.spark-connect] em config.toml.

Conversão de tokens do formato Java date/timestamp em equivalentes do Snowflake para leituras CSV.

Calcular esquema para funções pivot.

Correção de UDTFs em junção lateral com alias.

Alinhamento do resultado para o comando SQL SET.

Correção do tipo de retorno para as funções CEIL e FLOOR.

Melhoria na geração de consultas no unbase64 v2.

Correção de algumas opções para mapeamento do Snowflake para CSV.

Correção de serialização para POJO.

Melhoria nas mensagens de erro CSV com cabeçalho.

Melhoria na lógica de detecção mapType com try_cast para leituras do Parquet.

Suporte para reduceGroups API.

Suporte para especificação do nome da conexão em init_spark_session.

Adição do parâmetro de configuração para usar UDF para unbase64.

Otimização da geração de SQL na função unbase64.

Correção da regressão from_json

Correção dos registros que abrangem vários limites de bloco de compactação BZ2

Correção do mapeamento de nulidade no atributo não resolvido

Inicialização da sessão spark-connect com qualquer conexão, não apenas aquela chamada spark-connect

Adição da validação de opções XML

Opção de descarte de ESCAPE CSV quando corresponde ao caractere de aspas para impedir erro de compilação

Correção da conversão incorreta de tuplas nomeadas em productEncoder

Não há suporte para verificar mergeSchema para CSV e JSON

Correção do tipo complexo de ida e volta Parquet (gravação + leitura)

Correção do esquema para pivot/unpivot

Correção do tipo de retorno para as funções MOD e PMOD

Correção da extração de cabeçalho de CSV para arquivos com linhas em branco iniciais

Testar os fusos horários corretamente e substituir a serialização de data/hora baseada em cadeia de caracteres por baseada em época

Atualização da verificação de versão do Java para Windows

Nivelamento de chamadas withColumn aninhadas

Alteração da lógica para Literal _IntegralType em operações de adição/subtração

Retorno de LongType para funções COUNT

Leitura de JSON: teste de compactação = bz2/bzip2/nenhum

Melhoria no desempenho de to_varchar/to_char

Melhoria na comparação em testes de E/S

Definir multi_line como False por padrão para cópia JSON

Gerar um erro em caso de pool de computação não especificado.

Remoção da verificação de resultados ao chamar df.count()

Garantir que o esquema de inferência seja executado em linhas limitadas para leitura JSON

Correção de createDataFrame para tipos de intervalo

Alteração da lógica para Literal _IntegralType em operações de multiplicação e divisão

Tipo mais amplo e de coerção para operações Set

Correção do suporte para várias rótulos de neo4j

Modificação dos metadados JAR para que o Grype não detecte a vulnerabilidade do Netty

Retornar o tipo correto para a função ANY_VALUE

Retornar o tipo ampliado para sequência

Adição de suporte para a configuração spark.sql.parquet.inferTimestampNTZ.enabled

Renomeação/conversão de coluna em lote em _validate_schema_and_get_writer

JDBC trava quando consultas particionadas são fornecidas com tamanho de busca

Retornar uma mensagem de exceção excluída quando ela excede os limites de cabeçalho HTTP

Correção de map_type_to_snowflake_type para BigDecimal

Correção da precisão e escala decimais literais

Melhoria na geração de cadeias de caracteres aleatórias

Fazer com que o carregamento JSON compactado do BZ2ignore registros corrompidos

Uso de arquivos preparados da configuração em UDFs do Scala

Uso de TRY_CAST permissivo em leitura JSON

Tornar o número de threads de servidor configurável

Readicionar init_spark_session() para testes

É obrigatório atualizar a saída da linha de comando snowpark-submit para esclarecer o snowflake-connection-name.

Tipo de tabela de cache ao executar saveAsTable

Otimizar entrada literal para conversão de subcadeia de caracteres e tipo para coalesce

Tratamento do estouro decimal em avg/mean e correção da coerção do tipo decimal

Iceberg: preservar concessões ao substituir

Padronizar modo de passagem SQL

Otimizar from_utc_timestamp/to_utc_timestamp para fuso horário literal

Manipular valores nulos JSON em tipos estruturados para corresponder à semântica do Spark

Emular tipos integrais na criação de tabelas com base em SQL

Corrigir caso de borda com mapeamento de linhas aninhadas em UDFs Scala

Corrigir como o Parquet lida com leitura e gravação de tipos de dados estruturados complexos

Oferecer suporte ao argumento “save ignore” para arquivos Parquet

Adicionar suporte para repositório de artefatos

Corrigir nulidade de matriz em UDxF Scala

Corrigir log1p para argumentos da faixa (-1, 0)

Corrigir first_value e last_value em contexto agregado

Corrigir a leitura:code:DayTimeIntervalType para cliente Scala

Manusear fusos horários corretamente em UDFs Scala

Oferecer suporte a Java 11 e 17 sem nenhuma configuração

Oferecer suporte a snowpark-submit para Python 3.9

Aprimorar init_spark_session para ser usado no fluxo de trabalho de snowpark-submit

Corrigido o problema da função split

Realizado o downgrade da dependência snowflake-snowpark-python para a versão 1.44

Corrigido o dialeto Neo4j correspondente para melhorar a tradução de SQL

Corrigido o ID da operação retornado em respostas de execução para manter a consistência

Corrigido o tratamento de metadados do gRPC para conexões de canal TCP

Adicionado suporte para partition_hint em operações mapPartitions

Adicionado suporte do leitor XML para cenários com esquemas definidos pelo usuário

Preservar colunas ocultas após vários operadores DataFrame

Corrigir problemas de tipos de entrada udf Scala (byte, binary, scala.math.BigDecimal)

Adicionar argumentos snowpark-submit definidos pelo usuário para comentar

Corrigido o erro do comando config unset na configuração de sessão.

Uso de «copiar em» para carregar arquivos CSV em paralelo.

Correção das gravações de DataFrames usando junções externas.

Tratamento de nulos em UDFs do Scala.

Otimização da geração de consultas CTE com proteção de parâmetros.

Evitar converter argumentos de DATEDIFF.

Corrigida a anexação de arquivos particionados e a leitura de partições nulas.

Melhoria feita no desempenho em 10 vezes para conversão entre base 10 e 16 usando SQL.

Substituição somente de partições modificadas para arquivos parquet.

Lógica atualizada para detectar se o Snowpark Connect for Spark está em execução no XP.

Suporte à gravação em tabela com tipo de dados «variante» no Snowflake.

Remoção de logs de informação desnecessários.

Os testes do Java foram movidos do trabalho de testes do Scala para um trabalho separado.

Atualização da versão de dependência para gcsfs.

Correção da serialização de tuplas do Scala.

Correção do carregamento de arquivos JSON enormes.

Implementação de pequenas correções de problemas de clientes.

Implementação de correções para comparações com struct (estrutura).

Adição de tratamento para DataFrames de coluna 0.

Caminho correto do arquivo de carregamento.

Correção de Upload_files_if_needed que não era executado em paralelo.

Melhoria na inferência de tipo de entrada quando tipos de entrada de UDF não são definidos no proto.

Correção de casos de borda NA.

Suporte à leitura de único arquivo JSON BZ2.

Suporte a UDFs do Scala no Snowpark Connect for Spark do lado do servidor.

Implementação de conversão entre cadeia de caracteres e daytime.

Suporte adicionado para UDFs do Scala em group_map.

Redução dos nomes gerados de carga de trabalho.

Tratamento de JAVA_HOME corrigido para Windows.

Suporte para fonte de dados neo4j via JDBC.