Notas de lançamento de Snowpark Connect for Spark para 2025¶

Novos recursos¶

• Support any type as output or input type in the Scala map and flatmap functions.

• Support joinWith.

• Support any return type in Scala UDFs.

• Support registerJavaFunction.

Correções de bugs¶

• Fix JSON schema inference issue for JSON reads from Scala.

• Change return types of functions returning incorrect integral types.

• Fix update fields bug with struct type.

• Fix unbounded input decoder.

• Fix struct function when the argument is unresolved_star.

• Fix column name for Scala UDFs when the proto contains no function name.

• Add support for PATTERN in Parquet format.

• Handle error and errorIfExists write modes.

Melhorias¶

Nenhum.

Novos recursos¶

• Bump snowflake-connector-python to <4.2.0.

• Add basic support for single-column map and flatMap operations on Scala datasets.

• Iceberg writing support TargetFileSize and PartitionBy.

Correções de bugs¶

• Make SAS server initialization synchronous.

• Use snowpark-connect-deps-1==3.56.3.

• Fix saveAsTable with input_filename columns.

• Remove duplicated reading of the cache in Scala UDFs.

• Increase recursion limit.

• Fix format_number.

• Fix infer schema when query is provided in JDBC read.

• Only lock dict operation in cache.py to improve performance.

• Fix grouped data tests.

• Throw more detailed errors on table and read/write operations.

Melhorias¶

Nenhum.

Novos recursos¶

• Introduce reduce function for Scala.

Melhorias¶

Nenhum.

Correções de bugs¶

• Fix failing array insert for nullable elements.

• Throw correct error on non-numeric args in covariance.

Novos recursos¶

• Support filter on a simple (single column) Dataset.

• Support Azure scheme URL parsing and special character file name.

Correções de bugs¶

• Fix «Dataframe has no attribute dataframe» error in Scala catalog API.

• Fix aliases in subquery, document not working subqueries.

• Fix plan_id resolution after joins.

• Fix meta.yaml for multi-py versions.

• Enable use_vectorized_scanner as map type from parquet file was error.

• CSV reading inferSchema option specify datatype.

• Fix substr function handling of negative length.

• Use cached file formats in read_parquet.

• Improve local relation performance.

• Generate summary _common_metadata for parquet files.

• Remove repetitive setSchema, setRole, etc, for Snowflake pushdown.

Melhorias¶

Nenhum.

Novos recursos¶

• Relax version requirements for grpcio and aiobotocore.

Melhorias¶

• Specify dependencies version in meta.yaml.

• Build compiled and architecture-specific conda package.

• Ensure all CloudPickleSerializer.loads are not done in TCM.

• Include OSS SQL tests that start with the WITH clause.

• Do not upload Spark jars when running the server for pyt.

• Update internal queries count.

Correções de bugs¶

• Fix tests for tcm.

• Fix CSV column name discrepancy from Spark.

• Use type cache for empty frames.

• Resolve Windows OSS runner general issues.

Melhorias¶

• Generate unique workload names.

Bug Fixes¶

• Fix staged file reading.

Novos recursos¶

• Adicionar parâmetro para estratégias de criação de exibição.

• Suporte a intervalo de ano e mês <-> com cadeia de caracteres.

• Suporte a várias colunas dinâmicas e aliases para valores dinâmicos no Spark SQL.

• Integração de span e rastreamentos de OpenTelemetry.

Melhorias¶

Nenhum.

Correções de bugs¶

• Adição de uma barra final ao comando de remoção.

• Problema de GROUP BY inválido com função de agregação e funções nilary.

• Notebook excede o tamanho máximo de mensagem gRPC.

• Corrigida a criação de exibição temporária com nomes conflitantes.

• array_size com argumento nulo.

• Correção do acesso à matriz JSON $.0 na função get_json_object.

• Correção das junções automáticas ANTI e SEMI LEFT.

• Processamento de tipos diferentes no intervalo de funções SQL.

• Descrição da exibição temporária corrigida.

Novos recursos¶

• Adição de rowToInferSchema para leitura de CSV.

• Suporte a INSERT INTO com o comando CTE SQL.

• Alterações de E/S para adicionar geração de arquivos e filtragem de arquivos de metadados _SUCCESS.

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

Melhorias¶

Nenhum.

Correções de bugs¶

• Correção da atualização de caminho _SUCCESS.

• Lançamento de um erro na atualização de falha de remoção.

• Função de sequência com suporte para entradas de tipos integrais.

• Correção de tipos em CreateTempViewUsing vazio.

• Correção do reparticionamento de arquivo Parquet na gravação.

• Resolução correta de aliases na cláusula ORDER BY.

• Remoção do parâmetro de sessão temporário de escopo.

• Correção de várias junções automáticas com a condição de junção.

• Correção da resolução de nomes de colunas em tabelas dinâmicas.

• O analisador SQL reconhece o fuso horário da sessão.

• Coerção do tipo de intervalo com outros tipos.

• Correção do aninhamento de CTEs.

• Melhoria na resolução de nomes qualificados no Spark.

Novos recursos¶

• Adição de script para execução na saída da ação Git para mesclagem de SQLs.

• Adição do parâmetro --rebuild-whl ao executor de teste do notebook.

• Suporte incluído para ambos os qualificadores após a junção.

Melhorias¶

Nenhum.

Correções de bugs¶

• Suporte ao parâmetro de escape em comandos SQL LIKE.

• Bug de substituição em partições.

• Validação da contagem de colunas em INSERT.

• Incompatibilidade do pow com NAN.

• JOIN cruzado com condição.

• Lógica de atribuição de colunas em consultas aninhadas.

• Atualização da mensagem de erro do teste de intervalo.

• Coerção do tipo de cadeia de caracteres na operação do conjunto UNION e EXCEPT, coerção de NUMERIC, DATE, DATETIME para STRING.

• Resolução correta das colunas do Snowpark após uma JOIN automática externa completa.

• Expressão na função de agregação pode ser sem melhoria.

• Atualização: reversão de «[SCOS GA BUG] string type coercion in set opera»

• A união DataFrame de colunas do tipo decimal agora é ampliada conforme necessário.

• Coerção do tipo de cadeia de caracteres na operação do conjunto UNION e EXCEPT, coerção de NUMERIC, DATE, DATETIME para STRING (parte 1).

• Problema de objeto não existente em TCM.

• Correção de to_binary(x, 'hex') quando x tem um número ímpar de letras e dígitos.

• Correção de junções com tabelas vazias.

• Correção da cláusula HAVING para priorizar o agrupamento de colunas sobre os aliases de agregação com o mesmo nome.

Novos recursos¶

• Suporte para RepairTable

• Torne jdk4py uma dependência opcional de Snowpark Connect for Spark para simplificar a configuração da página inicial do Java para usuários finais.

• Suporte a mais casos de tipo intervalo.

Melhorias¶

Nenhum.

Correções de bugs¶

• Corrigir problemas de Join ao refatorar qualificadores

• Corrija percentile_cont para permitir expressões de filtro e ordem de classificação.

• Corrija histogram_numeric UDAF.

• Corrija a função COUNT quando chamada com vários argumentos.

Novos recursos¶

• Adicione suporte para expressões na cláusula GROUP BY quando a cláusula é explicitamente selecionada.

• Adicione códigos de erro às mensagens de erro do para uma melhor solução de problemas.

Melhorias¶

Nenhum.

Correções de bugs¶

• Correção do problema de conversão da função de janela sem suporte.