Notas de lançamento da Biblioteca Snowpark para Python para 2025¶

Melhorias¶

• A invocação dos procedimentos do sistema Snowflake não invoca uma chamada adicional do describe procedure para verificar o tipo de retorno do procedimento.

• Foi adicionado suporte para Session.create_dataframe() com o URL de estágio e tipo de dados FILE.

• Foi adicionado suporte a diferentes modos para lidar com registros corrompidos XML ao ler um arquivo XML usando session.read.option('mode', <mode>), option('rowTag', <tag_name>).xml(<stage_file_path>). Atualmente, PERMISSIVE, DROPMALFORMED e FAILFAST são compatíveis.

• Aprimorou a mensagem de erro do leitor de XML quando o ROWTAG especificado não é encontrado no arquivo.

• Melhoria na geração de consultas para que o Dataframe.drop use SELECT * EXCLUDE () para excluir as colunas descartadas. Para ativar esse recurso, defina session.conf.set("use_simplified_query_generation", True).

• Adição de suporte para VariantType a StructType.from_json.

Correções de bugs¶

• Corrigido um bug em DataFrameWriter.dbapi (versão preliminar privada) em que os nomes de colunas unicode ou com aspas duplas em bancos de dados externos causavam erros porque não eram citados corretamente.

• Corrigido um bug em que os campos nomeados nos dados aninhados do OBJECT podiam causar erros quando continham espaços.

Atualizações de testes locais do Snowpark¶

Atualizações da Snowpark pandas API¶

Novos recursos¶

• Foi adicionado suporte para a permissão restricted caller do argumento execute_as em StoredProcedure.register():code:.

• Foi adicionado suporte a instruções não selecionadas em DataFrame.to_pandas().

• Foi adicionado suporte ao parâmetro artifact_repository a Session.add_packages, Session.add_requirements, Session.get_packages, Session.remove_package e Session.clear_packages.

• Foi adicionado suporte à leitura de um arquivo XML usando uma tag de linha por session.read.option('rowTag', <tag_name>).xml(<stage_file_path>) (experimental).

  • Cada registro do XML é extraído como uma linha separada.

  • Cada campo dentro desse registro se torna uma coluna separada do tipo VARIANT, que pode ser consultada posteriormente usando a notação de ponto, como col(a.b.c).

• Atualizações adicionadas ao DataFrameReader.dbapi (PrPr):

  • Foi adicionado o parâmetro fetch_merge_count para otimizar o desempenho, mesclando vários dados obtidos em um único arquivo Parquet.

  • Adição de suporte para Databricks.

  • Foi adicionado suporte para ingestão com o UDTF do Snowflake.

• Adição de suporte para as seguintes funções potencializadas por AI em functions.py (versão preliminar privada):

  • prompt

  • ai_filter (adicionado suporte para a função prompt() e arquivos de imagem, e alterado o nome do segundo argumento de expr para file)

  • ai_classify

Atualizações de testes locais do Snowpark¶

Atualizações da Snowpark pandas API¶

Novos recursos¶

• Adicionado suporte a garantias relaxadas de consistência e ordenação em Dataframe.to_snowpark_pandas com a introdução do parâmetro relaxed_ordering.

• DataFrameReader.dbapi (versão preliminar) agora aceita uma lista de cadeias de caracteres para o parâmetro session_init_statement, permitindo que várias instruções SQL sejam executadas durante a inicialização da sessão.

Melhorias¶

• Melhoria na geração de consultas para Dataframe.stat.sample_by para gerar uma única consulta simples que se adapta bem a um grande dicionário fractions em comparação com o método antigo de criar uma subconsulta UNION ALL para cada chave em fractions. Para ativar esse recurso, defina session.conf.set("use_simplified_query_generation", True).

• Melhoria do desempenho de DataFrameReader.dbapi ao ativar a opção vetorizada ao copiar um arquivo parquet em uma tabela.

• A geração de consultas para DataFrame.random_split foi aprimorada das seguintes maneiras. Elas podem ser ativadas com a configuração session.conf.set("use_simplified_query_generation", True):

  • Removida a necessidade de cache_result na implementação interna do dataframe de entrada, resultando em uma operação pura de dataframe preguiçoso.

  • O argumento seed agora se comporta como esperado, com resultados repetíveis em várias chamadas e sessões.

• DataFrame.fillna e DataFrame.replace agora suportam o ajuste de int e float nas colunas Decimal se include_decimal estiver definido como True.

• Foi adicionada documentação para as seguintes funções de procedimento armazenado e UDF em files.py como resultado de sua disponibilidade geral.

  • SnowflakeFile.write

  • SnowflakeFile.writelines

  • SnowflakeFile.writeable

• Pequenas alterações na documentação para SnowflakeFile e SnowflakeFile.open().

Correções de bugs¶

• Corrigido um bug nas seguintes funções que geravam erros. .cast() é aplicado à saída delas:

  • from_json

  • size

Atualizações de testes locais do Snowpark¶

Atualizações da Snowpark pandas API¶

Atualizações de testes locais do Snowpark¶

Correções de bugs¶

• Corrigido um bug em DataFrameReader.dbapi (versão preliminar privada) que impedia o uso em procedimentos armazenados e Snowbooks.

Novos recursos¶

• Adição de suporte para as seguintes funções potencializadas por AI em functions.py (versão preliminar privada):

  • ai_filter

  • ai_agg

  • summarize_agg

• Foi adicionado suporte ao novo tipo FILE SQL, com as seguintes funções relacionadas em functions.py (versão preliminar privada):

  • fl_get_content_type

  • fl_get_etag

  • fl_get_file_type

  • fl_get_last_modified

  • fl_get_relative_path

  • fl_get_scoped_file_url

  • fl_get_size

  • fl_get_stage

  • fl_get_stage_file_url

  • fl_is_audio

  • fl_is_compressed

  • fl_is_document

  • fl_is_image

  • fl_is_video

• Foi adicionado suporte à importação de pacotes de terceiros do PyPi usando o repositório de artefatos (versão preliminar privada):

  • Use os argumentos de palavra-chave artifact_repository e artifact_repository_packages para especificar o repositório de artefatos e os pacotes, respectivamente, ao registrar procedimentos armazenados ou funções definidas pelo usuário.

  • APIs compatíveis:

    • Session.sproc.register

    • Session.udf.register

    • Session.udaf.register

    • Session.udtf.register

    • functions.sproc

    • functions.udf

    • functions.udaf

    • functions.udtf

    • functions.pandas_udf

    • functions.pandas_udtf

Melhorias¶

• Aprimoramento dos avisos de validação de versão para compatibilidade com o pacote snowflake-snowpark-python ao registrar procedimentos armazenados. Agora, os avisos só são acionados se a versão principal ou secundária não corresponder, enquanto as diferenças de versão de correção de erros não geram mais avisos.

• Atualizada a dependência do cloudpickle para oferecer suporte também ao cloudpickle==3.0.0, além das versões anteriores.

Correções de bugs¶

• Corrigido um bug que fazia com que a criação de um Dataframe com um grande número de valores gerasse o erro Unsupported feature 'SCOPED_TEMPORARY'. se a sessão thread-safe estivesse desativada.

• Corrigido um bug em que df.describe gerava um erro interno de execução SQL quando o DataFrame era criado a partir da leitura de um arquivo de estágio e a otimização de CTE estava ativada.

• Corrigido um bug em que df.order_by(A).select(B).distinct() gerava um SQL inválido quando a geração de consultas simplificadas era ativada usando o session.conf.set("use_simplified_query_generation", True).

  • Desativada a geração de consultas simplificadas por padrão.

Atualizações da Snowpark pandas API¶

Atualizações de testes locais do Snowpark¶

Novos recursos¶

• Adição de suporte para as seguintes funções em functions.py

  • normal

  • randn

• Foi adicionado suporte ao parâmetro allow_missing_columns para Dataframe.union_by_name e Dataframe.union_all_by_name.

Melhorias¶

• Melhoria na geração de nomes de objetos aleatórios para evitar colisões.

• Melhoria na geração de consultas para Dataframe.distinct para gerar SELECT DISTINCT em vez de SELECT com GROUP BY todas as colunas. Para desativar esse recurso, defina session.conf.set("use_simplified_query_generation", False).

Preterições¶

• Função snowflake_cortex_summarize obsoleta do Snowpark Python. Os usuários podem instalar o snowflake-ml-python e usar a função snowflake.cortex.summarize em seu lugar.

• Função snowflake_cortex_sentiment obsoleta do Snowpark Python. Os usuários podem instalar o snowflake-ml-python e usar a função snowflake.cortex.sentiment em seu lugar.

Correções de bugs¶

• Corrigido um bug em que a tag de consulta no nível da sessão era substituída por um rastreamento de pilha para DataFrames que gera várias consultas. Agora, a tag de consulta só será definida para o stacktrace se session.conf.set("collect_stacktrace_in_query_tag", True).

• Corrigido um erro em Session._write_pandas, que passava erroneamente o parâmetro use_logical_type para Session._write_modin_pandas_helper ao gravar um objeto pandas do Snowpark.

• Corrigido um bug nas geração de SQL de opções que poderia fazer com que vários valores fossem formatados incorretamente.

• Corrigido um bug em Session.catalog em que cadeias de caracteres vazias para banco de dados ou esquema não eram tratadas corretamente e geravam instruções SQL errôneas.

Recursos experimentais¶

• Foi adicionado suporte para gravação de tabelas pyarrow em tabelas Snowflake.

Atualizações da Snowpark pandas API¶

Correções de bugs¶

• Corrigido um bug em apply em que os kwargs não estavam sendo passados corretamente para a função aplicada.

Atualizações de testes locais do Snowpark¶

Correções de bugs¶

• Foi corrigido um bug em DataFrame.join que fazia com que as colunas tivessem uma digitação incorreta.

• Corrigido um bug nas instruções when que causava resultados incorretos na cláusula otherwise.

Novos recursos¶

Adição de suporte para as seguintes funções em functions.py:

• array_reverse

• divnull

• map_cat

• map_contains_key

• map_keys

• nullifzero

• snowflake_cortex_sentiment

• acosh

• asinh

• atanh

• bit_length

• bitmap_bit_position

• bitmap_bucket_number

• bitmap_construct_agg

• cbrt

• equal_null

• from_json

• ifnull

• localtimestamp

• max_by

• min_by

• nth_value

• nvl

• octet_length

• position

• regr_avgx

• regr_avgy

• regr_count

• regr_intercept

• regr_r2

• regr_slope

• regr_sxx

• regr_sxy

• regr_syy

• try_to_binary

• base64

• base64_decode_string

• base64_encode

• editdistance

• hex

• hex_encode

• instr

• log1p

• log2

• log10

• percentile_approx

• unbase64

• Adição de suporte para a especificação de uma cadeia de caracteres de esquema (incluindo a sintaxe de estrutura implícita) ao chamar DataFrame.create_dataframe.

• Adição de suporte para DataFrameWriter.insert_into/insertInto. Esse método também é compatível com o modo de teste local.

• Adição de suporte para DataFrame.create_temp_view para criar uma visualização temporária. Isso falhará se a visualização já existir.

• Adição de suporte para várias colunas nas funções map_cat e map_concat.

• Adição de uma opção keep_column_order para manter a ordem original das colunas em DataFrame.with_column e DataFrame.with_columns.

• Adição de opções às conversões por cast de coluna que permitem renomear ou adicionar campos nas colunas de StructType.

• Adição de suporte para contains_null parameter a ArrayType.

• Adição de suporte para a criação de uma visualização temporária via DataFrame.create_or_replace_temp_view a partir de um DataFrame criado pela leitura de um arquivo de um estágio.

• Adição de suporte para o parâmetro value_contains_null a MapType.

• Adicionado interativo à telemetria que indica se o ambiente atual é interativo.

• Permitir que session.file.get em um Native App leia caminhos de arquivos que começam com/a partir da versão atual

• Adição de suporte para várias funções de agregação após DataFrame.pivot.

Recursos experimentais¶

• Adicionada a classe Session.catalog para gerenciar objetos Snowflake. Ela pode ser acessada via Session.catalog.

  • snowflake.core é uma dependência necessária para esse recurso.

• Permissão do esquema de entrada do usuário ou esquemas de entrada do usuário ao ler o arquivo JSON no estágio.

• Adição de suporte para a especificação de uma cadeia de caracteres de esquema (incluindo a sintaxe de estrutura implícita) ao chamar DataFrame.create_dataframe.

Melhorias¶

• Atualização de README.md para incluir instruções sobre como verificar as assinaturas de pacotes usando o cosign.

Correções de bugs¶

• Correção de um bug no modo de teste local que fazia com que uma coluna contivesse Nenhum quando deveria conter 0.

• Correção de um bug em StructField.from_json que impedia que TimestampTypes com tzinfo fosse analisado corretamente.

• Correção de um bug em function date_format que causava um erro quando a coluna de entrada era do tipo data ou carimbo de data/hora.

• Corrigido um bug em DataFrame que permitia a inserção de valores nulos em uma coluna não nula.

• Corrigido um bug nas funções replace e lit que gerava erro de asserção de dica de tipo ao passar objetos de expressão de coluna.

• Corrigido um bug em pandas_udf e pandas_udtf em que os parâmetros de sessão eram erroneamente ignorados.

• Corrigido um bug que gerava um erro de conversão de tipo incorreto para a função do sistema chamada por meio do site session.call.

Atualizações da Snowpark pandas API¶