Notas de lançamento da Biblioteca Snowpark para Python para 2025¶

Correções de bugs¶

• Adicionada uma correção experimental para um bug na geração de consultas de esquema que poderia causar a geração de SQL inválido ao usar tipos estruturados aninhados.

Novos recursos¶

• Rebaixada para o nível logging.DEBUG - 1 ​​a mensagem de log informando que a referência de DataFrame do Snowpark de um objeto DataFrameReference interno foi alterada.

• Eliminadas consultas de verificação de parâmetros duplicadas para o status de maiúsculas e minúsculas ao recuperar a sessão.

• Recuperação da contagem de linhas DataFrame por meio de metadados do objeto para evitar uma consulta COUNT(*) (desempenho).

• Adicionado suporte para aplicação da função Complete do Snowflake Cortex.

• Introdução de pandas mais rápidos: Desempenho aprimorado com o adiamento do cálculo da posição da linha.

  • As seguintes operações são atualmente aceitas e podem se beneficiar da otimização: read_snowflake, repr, loc, reset_index, merge e operações binárias.

  • Se um objeto ocioso (por exemplo, DataFrame ou Series) depender de uma combinação de operações aceitas e não aceitas, a otimização não será utilizada.

• Atualizada a mensagem de erro para quando os pandas do Snowpark são referenciados em apply.

• Adição de um parâmetro de sessão dummy_row_pos_optimization_enabled para ativar/desativar a otimização de posição de linha fictícia em pandas mais rápidos.

Atualizações de dependências¶

• Atualização das versões modin compatíveis >=0.35.0 e <0.37.0 (was previously >=0.34.0 e <0.36.0).

Correções de bugs¶

• Corrigido um problema com drop_duplicates em que a mesma fonte de dados podia ser lida várias vezes na mesma consulta, mas em uma ordem diferente a cada vez, resultando em linhas ausentes no resultado final. A correção garante que a fonte de dados seja lida apenas uma vez.

• Correção de um bug no modo de execução híbrido em que um AssertionError era gerado inesperadamente por certas operações de indexação.

Atualizações de testes locais do Snowpark¶

Novos recursos¶

• Adição de suporte para as seguintes funções baseadas em AI no functions.py:

  • ai_extract

  • ai_parse_document

  • ai_transcribe

• Adicionado suporte a Time Travel para consulta de dados históricos:

  • Session.table() agora oferece suporte a parâmetros de Time Travel:

    • time_travel_mode

    • statement

    • offset

    • timestamp

    • timestamp_type

    • stream

  • DataFrameReader.table() oferece suporte aos mesmos parâmetros de Time Travel que argumentos diretos.

  • DataFrameReader oferece suporte ao Time Travel via encadeamento de opções (por exemplo, session.read.option("time_travel_mode", "at").option("offset", -60).table("my_table")).

• Adição de suporte para especificar os seguintes parâmetros para DataFrameWriter.copy_into_location para validação e gravação de dados em locais externos:

  • validation_mode

  • storage_integration

  • credentials

  • encryption

• Adição de suporte para Session.directory e Session.read.directory para recuperar a lista de todos os arquivos em uma área de preparação com metadados.

• Adição de suporte para DataFrameReader.jdbc(Private Preview), que permite ao driver JDBC ingerir fontes de dados externas.

• Adição de suporte para FileOperation.copy_files para copiar arquivos de um local de origem para uma área de preparação de saída.

• Adição de suporte para as seguintes funções escalares em functions.py:

  • all_user_names

  • bitand

  • bitand_agg

  • bitor

  • bitor_agg

  • bitxor

  • bitxor_agg

  • current_account_name

  • current_client

  • current_ip_address

  • current_role_type

  • current_organization_name

  • current_organization_user

  • current_secondary_roles

  • current_transaction

  • getbit

Correções de bugs¶

• Correção do _repr_ de TimestampType para corresponder ao subtipo real que ele representa.

• Correção de um bug em DataFrameReader.dbapi que fazia com que a ingestão de UDTF não funcionasse em procedimentos armazenados.

• Correção de um bug na inferência de esquema que causava o uso de prefixos de área de preparação incorretos.

Melhorias¶

• Aprimorado o tratamento de erros na ingestão baseada em threads de DataFrameReader.dbapi para evitar operações desnecessárias, o que melhora a eficiência de recursos.

• A dependência do cloudpickle foi expandida para oferecer suporte também a cloudpickle==3.1.1, além das versões anteriores.

• Desempenho de ingestão de DataFrameReader.dbapi (versão preliminar pública) aprimorado para PostgreSQL e MySQL usando um cursor do lado do servidor para buscar dados.

Atualizações da Snowpark pandas API¶

Novos recursos¶

• Suporte concluído para as seguintes funções nos backends «Pandas» e «Ray»:

  • pd.read_snowflake()

  • pd.to_iceberg()

  • pd.to_pandas()

  • pd.to_snowpark()

  • pd.to_snowflake()

  • DataFrame.to_iceberg()

  • DataFrame.to_pandas()

  • DataFrame.to_snowpark()

  • DataFrame.to_snowflake()

  • Series.to_iceberg()

  • Series.to_pandas()

  • Series.to_snowpark()

  • Series.to_snowflake()

    nos backends «Pandas» e «Ray». Anteriormente, apenas algumas dessas funções e métodos eram aceitos no backend Pandas.

• Adição de suporte para Index.get_level_values().

Melhorias¶

• O limite de transferência padrão na execução híbrida para dados que saem do Snowflake foi definido como 100k, o que pode ser substituído pela variável de ambiente SnowflakePandasTransferThreshold. Essa configuração é apropriada para áreas de preparação com dois mecanismos disponíveis, «pandas» e «Snowflake», em cargas de trabalho relacionais.

• Mensagem de erro de importação aprimorada com a adição de --upgrade a pip install "snowflake-snowpark-python[modin]" na mensagem.

• Redução das mensagens de telemetria do cliente modin, pré-agregando-as em janelas de cinco segundos e mantendo apenas uma faixa estreita de métricas úteis para rastrear a execução híbrida e o desempenho nativo do pandas.

• Definição da contagem inicial de linhas somente quando a execução híbrida estiver ativada, o que reduz o número de consultas emitidas para muitas cargas de trabalho.

• Adição de um novo parâmetro de teste para testes de integração, a fim de ativar a execução híbrida.

Correções de bugs¶

• Geração do parâmetro NotImplementedError em vez de AttributeError ao tentar chamar as funções/métodos de extensão do Snowflake to_dynamic_table(), cache_result(), to_view(), create_or_replace_dynamic_table() e create_or_replace_view() em DataFrames ou séries usando os backends pandas ou ray.

Novos recursos¶

• Adição de suporte para as seguintes funções xpath em functions.py:

  • xpath

  • xpath_string

  • xpath_boolean

  • xpath_int

  • xpath_float

  • xpath_double

  • xpath_long

  • xpath_short

• Adição de suporte para o parâmetro use_vectorized_scanner na função Session.write_arrow().

• O criador de perfil DataFrame adiciona as seguintes informações sobre cada consulta: describe query time, execution time e sql query text. Para visualizar estas informações, chame session.dataframe_profiler.enable() e chame get_execution_profile em um DataFrame.

• Adição de suporte para DataFrame.col_ilike.

• Adição de suporte para chamadas de procedimento armazenado sem bloqueio que retornam objetos AsyncJob.

  • Adição do parâmetro block: bool = True a Session.call(). Quando block=False, retorna um AsyncJob em vez de bloquear até a conclusão.

  • Adição do parâmetro block: bool = True a StoredProcedure.__call__() para suporte assíncrono em procedimentos armazenados nomeados e anônimos.

  • Adição de Session.call_nowait() que é equivalente a Session.call(block=False).

Correções de bugs¶

• Correção de um bug no estágio de otimização CTE em que deepcopy dos planos internos causaria um pico de memória quando um DataFrame fosse criado localmente usando session.create_dataframe() usando muitos dados de entrada.

• Correção de um bug em DataFrameReader.parquet em que a opção ignore_case no infer_schema_options não era respeitada.

• Correção de um bug em que to_pandas() tinha um formato diferente de nome de coluna quando o formato de resultado da consulta estava definido como JSON e ARROW.

Preterições¶

• pkg_resources obsoleto.

Atualizações de dependências¶

• Adição de uma dependência em protobuf<6.32

Atualizações da Snowpark pandas API¶

Novos recursos¶

• Adição de suporte para transferência eficiente de dados entre o Snowflake e <Ray com o método DataFrame.set_backend. A versão instalada do modin deve ser pelo menos 0.35.0 e ray deve ser instalado.

Atualizações de dependências¶

• Atualização das versões do modin com suporte para >=0.34.0 e <0.36.0 (was previously >= 0.33.0 e <0.35.0).

• Adição de suporte para pandas 2.3 quando a versão do modin instalada é 0.35.0 ou superior.

Correções de bugs¶

• Correção de um problema no modo de execução híbrida (versão preliminar privada) em que pd.to_datetime e pd.to_timedelta gerariam IndexError inesperadamente.

• Correção de um bug em que pd.explain_switch geraria IndexError ou retornaria None se chamado antes da execução de qualquer operação de troca potencial.

Novos recursos¶

• Session.create_dataframe agora aceita argumentos de palavra-chave que são encaminhados na chamada interna para Session.write_pandas ou Session.write_arrow ao criar um DataFrame de um pandas DataFrame ou uma tabela pyarrow.

• Adição de novas APIs para AsyncJob:

  • AsyncJob.is_failed() retorna um booliano indicando se um trabalho falhou. Pode ser usado em combinação com AsyncJob.is_done() para determinar se um trabalho foi concluído e falhou.

  • AsyncJob.status() retorna uma cadeia de caracteres que representa o status atual da consulta (como «RUNNING», «SUCCESS», «FAILED_WITH_ERROR») para monitoramento detalhado sem chamar result().

• Adição de um criador de perfil DataFrame. Para usar, você pode chamar get_execution_profile() em seu DataFrame desejado. Este criador de perfil relata as consultas executadas para avaliar um DataFrame e estatísticas e sobre cada um dos operadores de consulta. Atualmente um recurso experimental.

• Adição de suporte para as seguintes funções em functions.py:

  • ai_sentiment

• Atualização da interface para o recurso experimental context.configure_development_features. Todos os recursos de desenvolvimento são desabilitados por padrão, a menos que seja explicitamente habilitado pelo usuário.

Melhorias¶

• Melhorias na estimativa da linha de execução híbrida e uma redução de chamadas adiantadas.

• Adição de uma nova variável de configuração para controlar os custos de transferência do Snowflake ao usar a execução híbrida.

• Adição de suporte para criação de UDFs/UDTFs permanentes e imutáveis com DataFrame/Series/GroupBy.apply, mapa e transformação passando o argumento de palavra-chave snowflake_udf_params.

• Adição de suporte para mapping np.unique a DataFrame entradas e série usando pd.unique.

Correções de bugs¶

• Correção de um problema em que o plugin Snowpark pandas desativava incondicionalmente AutoSwitchBackend, mesmo quando os usuários o tivessem configurado explicitamente de forma programática ou com variáveis de ambiente.

Novos recursos¶

• Adição de suporte para as seguintes funções em functions.py:

  • ai_embed

  • try_parse_json

Melhorias¶

• Melhoria do parâmetro query em DataFrameReader.dbapi (versão preliminar privada) para que não sejam necessários parênteses ao redor da consulta.

• Melhoria da experiência de erro em DataFrameReader.dbapi (versão preliminar privada) para exceções geradas ao inferir o esquema da fonte de dados de destino.

Correções de bugs¶

• Correção de um bug em DataFrameReader.dbapi (versão preliminar privada) que falha em dbapi com código de saída do processo 1 em um procedimento armazenado Python.

• Correção de um bug em DataFrameReader.dbapi (versão preliminar privada), em que custom_schema aceita um esquema ilegal.

• Correção de um bug em DataFrameReader.dbapi (versão preliminar privada), em que custom_schema não funciona ao conectar-se ao Postgres e ao MySQL.

• Correção de um bug na inferência de esquema que faz com que ele falhe em estágios externos.

Atualizações de testes locais do Snowpark¶

Novos recursos¶

• Adição de uma nova opção TRY_CAST a DataFrameReader. Quando TRY_CAST é True, as colunas são delimitadas em uma instrução TRY_CAST em vez de uma conversão física ao carregar dados.

• Adição de uma nova opção USE_RELAXED_TYPES ao INFER_SCHEMA_OPTIONS DataFrameReader. Quando definida como True, esta opção converte todas as cadeias de caracteres em cadeias de caracteres de comprimento máximo e todos os tipos numéricos em DoubleType.

• Adição de melhorias de depuração para validar imediatamente os metadados do esquema de dataframe. Habilite usando snowflake.snowpark.context.configure_development_features().

• Adição de uma nova função snowflake.snowpark.dataframe.map_in_pandas que permite aos usuários mapear uma função em um dataframe. A função de mapeamento usa um iterador do pandas DataFrames como entrada e fornece um como saída.

• Adição de um ttl cache para descrever consultas. Consultas repetidas em um intervalo de 15 segundos usam o valor armazenado em cache em vez de consultar novamente o Snowflake.

• Adição de um parâmetro fetch_with_process a DataFrameReader.dbapi (PrPr) para ativar o multiprocessamento para obtenção de dados paralelos em ingestão local. Por padrão, a ingestão local usa multithreading. O multiprocessamento pode melhorar o desempenho para tarefas vinculadas a CPU, como geração de arquivo Parquet.

• Adição de uma nova função snowflake.snowpark.functions.model, que permite aos usuários chamar métodos de um modelo.

Melhorias¶

• Adição de suporte para validação de linha usando esquema XSD usando a opção rowValidationXSDPath ao ler arquivos XML com uma tag de linha usando a opção rowTag.

• Melhoria da geração SQL para session.table().sample() para gerar uma instrução SQL simples.

• Adição de suporte para expressão de coluna complexa como entrada para functions.explode.

• Adição de melhorias de depuração para mostrar a quais linhas Python um erro de compilação SQL corresponde. Habilite usando snowflake.snowpark.context.configure_development_features(). Esse recurso também depende da habilitação de de coleções AST na sessão, o que pode ser feito usando session.ast_enabled = True.

• Definir enforce_ordering=True ao chamar to_snowpark_pandas():code: de um Snowpark DataFrame contendo consultas DML/DDL em vez de lançar um NotImplementedError.

Correções de bugs¶

• Correção de um bug causado por validação redundante ao criar uma tabela Iceberg.

• Correção de um bug em DataFrameReader.dbapi (versão preliminar privada), em que fechar o cursor ou a conexão poderia gerar um erro inesperadamente e encerrar o programa.

• Correção de erros de coluna ambígua ao usar funções de tabela em DataFrame.select() que têm colunas de saída correspondentes às colunas do DataFrame de entrada. Essa melhoria funciona quando as colunas DataFrame são fornecidas como objetos Column.

• Correção de um bug em que ter um NULL em uma coluna com DecimalTypes converteria a coluna em FloatTypes e levaria à perda de precisão.

Atualizações de testes locais do Snowpark¶

• Correção de um bug ao processar funções em janela que levam à indexação incorreta em resultados.

• Quando um numérico escalar é passado para fillna, o Snowflake ignorará as colunas não numéricas em vez de produzir um erro.

Atualizações da Snowpark pandas API¶

Novos recursos¶

• Adição de suporte para MySQL em DataFrameWriter.dbapi (versão preliminar privada) para Parquet e ingestão baseada em UDTF.

• Adição de suporte para PostgreSQL em DataFrameReader.dbapi (versão preliminar privada) para Parquet e ingestão baseada em UDTF.

• Adição de suporte para Databricks no DataFrameWriter.dbapi (versão preliminar privada) para ingestão baseada em UDTF, consolidando com outras menções de suporte a Databricks.

• Adição de suporte a DataFrameReader para habilitar o uso de PATTERN ao ler arquivos com INFER_SCHEMA habilitado.

• Adição de suporte para as seguintes funções baseadas em AI no functions.py:

  • ai_complete

  • ai_similarity

  • ai_summarize_agg (originalmente summarize_agg)

  • diferentes opções de configuração para ai_classify

• Adição de suporte para mais opções ao ler arquivos XML com uma tag de linha usando a opção rowTag:

  • Adição de suporte para remover prefixos de namespace de nomes de colunas usando a opção ignoreNamespace.

  • Adição de suporte para especificar o prefixo para a coluna de atributo na tabela de resultados usando a opção attributePrefix.

  • Suporte adicionado para excluir atributos do elemento XML usando a opção excludeAttributes.

  • Adição de suporte para especificar o nome da coluna para o valor quando há atributos em um elemento que não tem elementos filho usando a opção valueTag.

  • Adição de suporte para especificar o valor a ser tratado como um valor nulo usando a opção nullValue.

  • Adição de suporte para especificar a codificação de caracteres do arquivo XML usando a opção charset.

  • Adição de suporte para ignorar espaços em branco ao redor no elemento XML usando a opção ignoreSurroundingWhitespace.

• Adição de suporte ao parâmetro return_dataframe em Session.call, que pode ser usado para definir o tipo de retorno das funções para um objeto DataFrame.

• Adição de um novo argumento a Dataframe.describe chamado strings_include_math_stats que aciona stddev e mean a serem calculados para colunas da cadeia de caracteres.

• Adição de suporte para recuperar Edge.properties ao recuperar a linhagem de DGQL em DataFrame.lineage.trace.

• Adição de um parâmetro table_exists a DataFrameWriter.save_as_table, que permite especificar se uma tabela já existe. Isso permite pular uma pesquisa de tabela que pode ser cara.

Correções de bugs¶

• Correção de um bug em DataFrameReader.dbapi (versão preliminar privada), em que create_connection definida como função local era incompatível com multiprocessamento.

• Correção de um bug em DataFrameReader.dbapi (versão preliminar privada), em que o tipo TIMESTAMP do Databricks foi convertido no tipo TIMESTAMP_NTZ do Snowflake que deve ser o tipo TIMESTAMP_LTZ.

• Correção de um bug em DataFrameReader.json, em que leituras repetidas com o mesmo objeto de leitor criariam colunas entre aspas incorretamente.

• Correção de um bug em DataFrame.to_pandas() que removeria nomes de colunas ao converter um DataFrame que não se originou de uma instrução selecionada.

• Correção de um bug em que DataFrame.create_or_replace_dynamic_table gera um erro quando DataFrame contém um UDTF e SELECT * no UDTF não é analisado corretamente.

• Correção de um bug em que colunas convertidas não podiam ser usadas na cláusula de valores das funções.

Melhorias¶

• Melhoria da mensagem de erro de Session.write_pandas() e Session.create_dataframe() quando o DataFrame de entrada do pandas não tem uma coluna.

• Melhoria de DataFrame.select quando os argumentos contêm uma função de tabela com colunas de saída que colidem com colunas do DataFrame atual. Com a melhoria, se o usuário fornecer colunas sem colisão em df.select("col1", "col2", table_func(...)) como argumentos de cadeia de caracteres, a consulta gerada pelo cliente Snowpark não gerará um erro de coluna ambígua.

• Melhoria de DataFrameReader.dbapi (versão preliminar privada) para usar a ingestão baseada em Parquet na memória para melhor desempenho e segurança.

• Melhoria de DataFrameReader.dbapi (versão preliminar privada) para usar MATCH_BY_COLUMN_NAME=CASE_SENSITIVE na operação de cópia para tabela.

Atualizações de testes locais do Snowpark¶

Atualizações da Snowpark pandas API¶

Melhorias¶

• A invocação dos procedimentos do sistema Snowflake não invoca uma chamada adicional do describe procedure para verificar o tipo de retorno do procedimento.

• Foi adicionado suporte para Session.create_dataframe() com o URL de estágio e tipo de dados FILE.

• Foi adicionado suporte a diferentes modos para lidar com registros corrompidos XML ao ler um arquivo XML usando session.read.option('mode', <mode>), option('rowTag', <tag_name>).xml(<stage_file_path>). Atualmente, PERMISSIVE, DROPMALFORMED e FAILFAST são compatíveis.

• Aprimorou a mensagem de erro do leitor de XML quando o ROWTAG especificado não é encontrado no arquivo.

• Melhoria na geração de consultas para que o Dataframe.drop use SELECT * EXCLUDE () para excluir as colunas descartadas. Para ativar esse recurso, defina session.conf.set("use_simplified_query_generation", True).

• Adição de suporte para VariantType a StructType.from_json.

Correções de bugs¶

• Corrigido um bug em DataFrameWriter.dbapi (versão preliminar privada) em que os nomes de colunas unicode ou com aspas duplas em bancos de dados externos causavam erros porque não eram citados corretamente.

• Corrigido um bug em que os campos nomeados nos dados aninhados do OBJECT podiam causar erros quando continham espaços.

Atualizações de testes locais do Snowpark¶

Atualizações da Snowpark pandas API¶

Novos recursos¶

• Foi adicionado suporte para a permissão restricted caller do argumento execute_as em StoredProcedure.register():code:.

• Foi adicionado suporte a instruções não selecionadas em DataFrame.to_pandas().

• Foi adicionado suporte ao parâmetro artifact_repository a Session.add_packages, Session.add_requirements, Session.get_packages, Session.remove_package e Session.clear_packages.

• Foi adicionado suporte à leitura de um arquivo XML usando uma tag de linha por session.read.option('rowTag', <tag_name>).xml(<stage_file_path>) (experimental).

  • Cada registro do XML é extraído como uma linha separada.

  • Cada campo dentro desse registro se torna uma coluna separada do tipo VARIANT, que pode ser consultada posteriormente usando a notação de ponto, como col(a.b.c).

• Atualizações adicionadas ao DataFrameReader.dbapi (PrPr):

  • Foi adicionado o parâmetro fetch_merge_count para otimizar o desempenho, mesclando vários dados obtidos em um único arquivo Parquet.

  • Adição de suporte para Databricks.

  • Foi adicionado suporte para ingestão com o UDTF do Snowflake.

• Adição de suporte para as seguintes funções potencializadas por AI em functions.py (versão preliminar privada):

  • prompt

  • ai_filter (adicionado suporte para a função prompt() e arquivos de imagem, e alterado o nome do segundo argumento de expr para file)

  • ai_classify

Atualizações de testes locais do Snowpark¶

Atualizações da Snowpark pandas API¶

Novos recursos¶

• Adicionado suporte a garantias relaxadas de consistência e ordenação em Dataframe.to_snowpark_pandas com a introdução do parâmetro relaxed_ordering.

• DataFrameReader.dbapi (versão preliminar) agora aceita uma lista de cadeias de caracteres para o parâmetro session_init_statement, permitindo que várias instruções SQL sejam executadas durante a inicialização da sessão.

Melhorias¶

• Melhoria na geração de consultas para Dataframe.stat.sample_by para gerar uma única consulta simples que se adapta bem a um grande dicionário fractions em comparação com o método antigo de criar uma subconsulta UNION ALL para cada chave em fractions. Para ativar esse recurso, defina session.conf.set("use_simplified_query_generation", True).

• Melhoria do desempenho de DataFrameReader.dbapi ao ativar a opção vetorizada ao copiar um arquivo parquet em uma tabela.

• A geração de consultas para DataFrame.random_split foi aprimorada das seguintes maneiras. Elas podem ser ativadas com a configuração session.conf.set("use_simplified_query_generation", True):

  • Removida a necessidade de cache_result na implementação interna do dataframe de entrada, resultando em uma operação pura de dataframe preguiçoso.

  • O argumento seed agora se comporta como esperado, com resultados repetíveis em várias chamadas e sessões.

• DataFrame.fillna e DataFrame.replace agora suportam o ajuste de int e float nas colunas Decimal se include_decimal estiver definido como True.

• Foi adicionada documentação para as seguintes funções de procedimento armazenado e UDF em files.py como resultado de sua disponibilidade geral.

  • SnowflakeFile.write

  • SnowflakeFile.writelines

  • SnowflakeFile.writeable

• Pequenas alterações na documentação para SnowflakeFile e SnowflakeFile.open().

Correções de bugs¶

• Corrigido um bug nas seguintes funções que geravam erros. .cast() é aplicado à saída delas:

  • from_json

  • size

Atualizações de testes locais do Snowpark¶

Atualizações da Snowpark pandas API¶

Atualizações de testes locais do Snowpark¶

Correções de bugs¶

• Corrigido um bug em DataFrameReader.dbapi (versão preliminar privada) que impedia o uso em procedimentos armazenados e Snowbooks.

Novos recursos¶

• Adição de suporte para as seguintes funções potencializadas por AI em functions.py (versão preliminar privada):

  • ai_filter

  • ai_agg

  • summarize_agg

• Foi adicionado suporte ao novo tipo FILE SQL, com as seguintes funções relacionadas em functions.py (versão preliminar privada):

  • fl_get_content_type

  • fl_get_etag

  • fl_get_file_type

  • fl_get_last_modified

  • fl_get_relative_path

  • fl_get_scoped_file_url

  • fl_get_size

  • fl_get_stage

  • fl_get_stage_file_url

  • fl_is_audio

  • fl_is_compressed

  • fl_is_document

  • fl_is_image

  • fl_is_video

• Foi adicionado suporte à importação de pacotes de terceiros do PyPi usando o repositório de artefatos (versão preliminar privada):

  • Uso de argumentos de palavra-chave artifact_repository e packages para especificar seu repositório de artefatos e pacotes, respectivamente, ao registrar procedimentos armazenados ou funções definidas pelo usuário.

  • APIs compatíveis:

    • Session.sproc.register

    • Session.udf.register

    • Session.udaf.register

    • Session.udtf.register

    • functions.sproc

    • functions.udf

    • functions.udaf

    • functions.udtf

    • functions.pandas_udf

    • functions.pandas_udtf

Melhorias¶

• Aprimoramento dos avisos de validação de versão para compatibilidade com o pacote snowflake-snowpark-python ao registrar procedimentos armazenados. Agora, os avisos só são acionados se a versão principal ou secundária não corresponder, enquanto as diferenças de versão de correção de erros não geram mais avisos.

• Atualizada a dependência do cloudpickle para oferecer suporte também ao cloudpickle==3.0.0, além das versões anteriores.

Correções de bugs¶

• Corrigido um bug que fazia com que a criação de um Dataframe com um grande número de valores gerasse o erro Unsupported feature 'SCOPED_TEMPORARY'. se a sessão thread-safe estivesse desativada.

• Corrigido um bug em que df.describe gerava um erro interno de execução SQL quando o DataFrame era criado a partir da leitura de um arquivo de estágio e a otimização de CTE estava ativada.

• Corrigido um bug em que df.order_by(A).select(B).distinct() gerava um SQL inválido quando a geração de consultas simplificadas era ativada usando o session.conf.set("use_simplified_query_generation", True).

  • Desativada a geração de consultas simplificadas por padrão.

Atualizações da Snowpark pandas API¶

Atualizações de testes locais do Snowpark¶

Novos recursos¶

• Adição de suporte para as seguintes funções em functions.py

  • normal

  • randn

• Foi adicionado suporte ao parâmetro allow_missing_columns para Dataframe.union_by_name e Dataframe.union_all_by_name.

Melhorias¶

• Melhoria na geração de nomes de objetos aleatórios para evitar colisões.

• Melhoria na geração de consultas para Dataframe.distinct para gerar SELECT DISTINCT em vez de SELECT com GROUP BY todas as colunas. Para desativar esse recurso, defina session.conf.set("use_simplified_query_generation", False).

Preterições¶

• Função snowflake_cortex_summarize obsoleta do Snowpark Python. Os usuários podem instalar o snowflake-ml-python e usar a função snowflake.cortex.summarize em seu lugar.

• Função snowflake_cortex_sentiment obsoleta do Snowpark Python. Os usuários podem instalar o snowflake-ml-python e usar a função snowflake.cortex.sentiment em seu lugar.

Correções de bugs¶

• Corrigido um bug em que a tag de consulta no nível da sessão era substituída por um rastreamento de pilha para DataFrames que gera várias consultas. Agora, a tag de consulta só será definida para o stacktrace se session.conf.set("collect_stacktrace_in_query_tag", True).

• Corrigido um erro em Session._write_pandas, que passava erroneamente o parâmetro use_logical_type para Session._write_modin_pandas_helper ao gravar um objeto pandas do Snowpark.

• Corrigido um bug nas geração de SQL de opções que poderia fazer com que vários valores fossem formatados incorretamente.

• Corrigido um bug em Session.catalog em que cadeias de caracteres vazias para banco de dados ou esquema não eram tratadas corretamente e geravam instruções SQL errôneas.

Recursos experimentais¶

• Foi adicionado suporte para gravação de tabelas pyarrow em tabelas Snowflake.

Atualizações da Snowpark pandas API¶

Correções de bugs¶

• Corrigido um bug em apply em que os kwargs não estavam sendo passados corretamente para a função aplicada.

Atualizações de testes locais do Snowpark¶

Correções de bugs¶

• Foi corrigido um bug em DataFrame.join que fazia com que as colunas tivessem uma digitação incorreta.

• Corrigido um bug nas instruções when que causava resultados incorretos na cláusula otherwise.

Novos recursos¶

Adição de suporte para as seguintes funções em functions.py:

• array_reverse

• divnull

• map_cat

• map_contains_key

• map_keys

• nullifzero

• snowflake_cortex_sentiment

• acosh

• asinh

• atanh

• bit_length

• bitmap_bit_position

• bitmap_bucket_number

• bitmap_construct_agg

• cbrt

• equal_null

• from_json

• ifnull

• localtimestamp

• max_by

• min_by

• nth_value

• nvl

• octet_length

• position

• regr_avgx

• regr_avgy

• regr_count

• regr_intercept

• regr_r2

• regr_slope

• regr_sxx

• regr_sxy

• regr_syy

• try_to_binary

• base64

• base64_decode_string

• base64_encode

• editdistance

• hex

• hex_encode

• instr

• log1p

• log2

• log10

• percentile_approx

• unbase64

• Adição de suporte para a especificação de uma cadeia de caracteres de esquema (incluindo a sintaxe de estrutura implícita) ao chamar DataFrame.create_dataframe.

• Adição de suporte para DataFrameWriter.insert_into/insertInto. Esse método também é compatível com o modo de teste local.

• Adição de suporte para DataFrame.create_temp_view para criar uma visualização temporária. Isso falhará se a visualização já existir.

• Adição de suporte para várias colunas nas funções map_cat e map_concat.

• Adição de uma opção keep_column_order para manter a ordem original das colunas em DataFrame.with_column e DataFrame.with_columns.

• Adição de opções às conversões por cast de coluna que permitem renomear ou adicionar campos nas colunas de StructType.

• Adição de suporte para contains_null parameter a ArrayType.

• Adição de suporte para a criação de uma visualização temporária via DataFrame.create_or_replace_temp_view a partir de um DataFrame criado pela leitura de um arquivo de um estágio.

• Adição de suporte para o parâmetro value_contains_null a MapType.

• Adicionado interativo à telemetria que indica se o ambiente atual é interativo.

• Permitir que session.file.get em um Native App leia caminhos de arquivos que começam com/a partir da versão atual

• Adição de suporte para várias funções de agregação após DataFrame.pivot.

Recursos experimentais¶

• Adicionada a classe Session.catalog para gerenciar objetos Snowflake. Ela pode ser acessada via Session.catalog.

  • snowflake.core é uma dependência necessária para esse recurso.

• Permissão do esquema de entrada do usuário ou esquemas de entrada do usuário ao ler o arquivo JSON no estágio.

• Adição de suporte para a especificação de uma cadeia de caracteres de esquema (incluindo a sintaxe de estrutura implícita) ao chamar DataFrame.create_dataframe.

Melhorias¶

• Atualização de README.md para incluir instruções sobre como verificar as assinaturas de pacotes usando o cosign.

Correções de bugs¶

• Correção de um bug no modo de teste local que fazia com que uma coluna contivesse Nenhum quando deveria conter 0.

• Correção de um bug em StructField.from_json que impedia que TimestampTypes com tzinfo fosse analisado corretamente.

• Correção de um bug em function date_format que causava um erro quando a coluna de entrada era do tipo data ou carimbo de data/hora.

• Corrigido um bug em DataFrame que permitia a inserção de valores nulos em uma coluna não nula.

• Corrigido um bug nas funções replace e lit que gerava erro de asserção de dica de tipo ao passar objetos de expressão de coluna.

• Corrigido um bug em pandas_udf e pandas_udtf em que os parâmetros de sessão eram erroneamente ignorados.

• Corrigido um bug que gerava um erro de conversão de tipo incorreto para a função do sistema chamada por meio do site session.call.

Atualizações da Snowpark pandas API¶