Notas de versão da Biblioteca Snowpark para Python para 2024¶

Adição de suporte parcial para Series.map quando arg é um pandas Series ou um collections.abc.Mapping. Não há suporte para instâncias de dict que implementam __missing__, mas não são instâncias de collections.defaultdict.

Adição de suporte para DataFrame.align e Series.align para axis=1 e axis=None.

Adição de suporte para pd.json_normalize.

Adição de suporte para GroupBy.pct_change com axis=0, freq=None e limit=None.

Adicionado suporte para DataFrameGroupBy.__iter__ e SeriesGroupBy.__iter__.

Adição de suporte para np.sqrt, np.trunc, np.floor, funções trigonométricas numpy, np.exp, np.abs, np.positive e np.negative.

Adição de suporte parcial ao método do protocolo de intercâmbio de dataframe DataFrame.__dataframe__().

Correção de um bug em df.loc, em que a configuração de uma única coluna de uma série resultava em valores None inesperados.

Use UNPIVOT INCLUDE NULLS para desarticular operações no pandas em vez de valores sentinela.

Documentação aprimorada para pd.read_excel.

Adição de suporte para Index.to_numpy.

Adição de suporte para DataFrame.align e Series.align para axis=0.

Adição de suporte para snowflake.snowpark.functions.window

Adição de suporte para pd.read_pickle (Usa o pandas nativo para processamento).

Adição de suporte para pd.read_html (Usa o pandas nativo para processamento).

Adição de suporte para pd.read_xml (Usa o pandas nativo para processamento).

Adição de suporte para funções de agregação "size" e len em GroupBy.aggregate, DataFrame.aggregate e Series.aggregate.

Adição de suporte para valores de lista em Series.str.len.

Correção de um bug em que a agregação de um dataframe de coluna única com uma única função passível de ser chamada (por exemplo, pd.DataFrame([0]).agg(np.mean)) não conseguia transpor o resultado.

Correção de um bug em que DataFrame.dropna():

• Tratava um subset vazio (por exemplo, []) como se ele especificasse todas as colunas em vez de nenhuma coluna.

• Ativava um TypeError para um escalar subset em vez de filtrar apenas essa coluna.

• Ativava um ValueError para um subset do tipo pandas.Index em vez de filtrar as colunas no índice.

Criação de tabelas somente leitura com escopo para atenuar o TableNotFoundError ao usar a articulação dinâmica em um ambiente de notebook.

Correção de um bug quando os objetos concatenados de dataframe ou de série são provenientes do mesmo dataframe quando o eixo = 1.

Melhorar o np.where com valor x escalar, eliminando a junção desnecessária e a criação de tabelas temporárias.

Melhorar o desempenho de get_dummies nivelando a articulação com a junção.

Adição de suporte a funções de patch que não estão disponíveis no módulo snowflake.snowpark.functions.

Adição de suporte para snowflake.snowpark.functions.any_value

Correção de um bug em que Table.update não conseguia lidar com os tipos de dados VariantType, MapType e ArrayType.

Correção de um bug em que os alias de coluna eram resolvidos incorretamente em DataFrame.join, causando erros ao selecionar colunas de uma junção de DataFrame.

Correção de um bug em que Table.update e Table.merge podiam falhar se o índice da tabela de destino não fosse o RangeIndex padrão.

Adição de suporte para np.subtract, np.multiply, np.divide e np.true_divide.

Adição de suporte para rastrear os usos de __array_ufunc__.

Adição de suporte de compatibilidade numpy para np.float_power, np.mod, np.remainder, np.greater, np.greater_equal, np.less, np.less_equal, np.not_equal e np.equal.

Adição de suporte de compatibilidade numpy para np.log, np.log2, e np.log10

Adição de suporte para DataFrameGroupBy.bfill, SeriesGroupBy.bfill, DataFrameGroupBy.ffill e SeriesGroupBy.ffill.

Adição de suporte para o parâmetro on com Resampler.

Adição de suporte para entradas timedelta em value_counts().

Adição de suporte para a aplicação da função Snowpark Python snowflake_cortex_summarize.

Adicionado suporte para DataFrame.attrs e Series.attrs.

Adição de suporte para DataFrame.style.

Adição de suporte de compatibilidade numpy para np.full_like

Aprimoramento da consulta SQL gerada para head e iloc quando a chave da linha é uma fatia.

Aprimoramento da mensagem de erro ao passar um fuso horário desconhecido para tz_convert e tz_localize em Series, DataFrame, Series.dt e DatetimeIndex.

Aprimoramento da documentação para tz_convert e tz_localize em Series, DataFrame, Series.dt e DatetimeIndex para especificar os formatos de fuso horário compatíveis.

Adição de suporte adicional a kwargs para df.apply e series.apply (bem como map e applymap ) ao usar as funções do snowpark. Isso permite alguma compatibilidade independente de posição entre aplicar e funções em que o primeiro argumento não é um objeto pandas.

Aprimoramento da consulta SQL gerada para iloc e iat quando a chave da linha é um escalar.

Removidas todas as junções em iterrows.

Aprimoramento da documentação para Series.map para refletir os recursos sem suporte.

Adição de suporte para np.may_share_memory, que é usado internamente por muitas funções do scikit-learn. Esse método sempre retornará falso quando chamado com um objeto pandas do Snowpark.

Correção de um bug em que DataFrame e Series pct_change() geravam TypeError quando a entrada continha colunas de timedelta.

Correção de um bug em que replace() às vezes propagava incorretamente os tipos Timedelta usando replace(). Em vez disso, acione NotImplementedError para replace() em Timedelta.

Correção de um bug em que DataFrame e Series round() acionavam AssertionError para colunas Timedelta. Em vez disso, acione NotImplementedError para round() em Timedelta.

Correção de um bug em que reindex falhava quando o novo índice era uma série com tipos não sobrepostos do índice original.

Correção de um bug em que chamar __getitem__ em um objeto DataFrameGroupBy sempre retornava um objeto DataFrameGroupBy se as_index=False.

Correção de um bug em que a inserção de valores de timedelta em uma coluna existente convertia silenciosamente os valores em números inteiros em vez de acionar NotImplementedError.

Correção de um bug em que DataFrame.shift() no eixo=0 e no eixo=1 não propagava os tipos de timedelta.

DataFrame.abs(), DataFrame.__neg__(), DataFrame.stack() e DataFrame.unstack() agora acionam NotImplementedError para entradas de timedelta em vez de não propagar tipos de timedelta.

Correção de um bug em que DataFrame.alias aciona KeyError para o nome da coluna de entrada.

Correção de um bug em que to_csv no estágio Snowflake falhava quando os dados continham cadeias de caracteres vazias.

Adição de suporte para o método TimedeltaIndex.mean.

Adição de suporte para alguns casos de agregação de colunas Timedelta em axis=0 com agg ou aggregate.

Adição de suporte para by, left_by, right_by, left_index e right_index para pd.merge_asof.

Adição de suporte para passagem do parâmetro include_describe para Session.query_history.

Adição de suporte aos métodos DatetimeIndex.mean e DatetimeIndex.std.

Adição de suporte para Resampler.asfreq, Resampler.indices, Resampler.nunique e Resampler.quantile.

Adição de suporte para as frequência de resample W, ME e YE com closed = "left".

Adição de suporte para DataFrame.rolling.corr e Series.rolling.corr para pairwise = False e window do tipo inteiro.

Adição de suporte para as cadeias de caracteres baseadas em tempo window e min_periods = None para Rolling.

Adicionado suporte para DataFrameGroupBy.fillna e SeriesGroupBy.fillna.

Adição de suporte para construir de objetos Series e DataFrame com o objeto Index ocioso como os argumentos data, index e columns.

Adição de suporte para construir os objetos Series e DataFrame com os valores index e column não presentes em DataFrame/Series data.

Adição de suporte para pd.read_sas (Usa o pandas nativo para processamento).

Adição de suporte para aplicação de rolling().count() e expanding().count() para as séries e colunas Timedelta.

Adição de suporte para tz em pd.date_range e pd.bdate_range.

Adição de suporte para Series.items.

Adição de suporte para errors="ignore" em pd.to_datetime.

Adicionado suporte para DataFrame.tz_localize e Series.tz_localize.

Adicionado suporte para DataFrame.tz_convert e Series.tz_convert.

Adição de suporte para aplicação de funções Python do Snowpark (por exemplo, sin) em Series.map, Series.apply, DataFrame.apply e DataFrame.applymap.

Melhoria de to_pandas para preservar o deslocamento do fuso horário original para o tipo TIMESTAMP_TZ.

Resultados de dtype aprimorados para o tipo TIMESTAMP_TZ exibir o deslocamento correto do fuso horário.

Resultados de dtype aprimorados para o tipo TIMESTAMP_LTZ exibir o fuso horário correto.

Mensagem de erro aprimorada ao passar valor não booliano para numeric_only em agregações com group by.

Aviso desnecessário removido sobre algoritmo de classificação em sort_values.

Use o objeto SCOPED para criar tabelas temporárias internas. Os objetos SCOPED serão armazenados no escopo do sproc se forem criados dentro do sproc armazenado; caso contrário, serão armazenados no escopo da sessão e o objeto será limpo automaticamente no final do escopo.

Mensagens de aviso aprimoradas para operações que levam à materialização com lentidão inadvertida.

Remoção da mensagem de aviso desnecessária sobre convert_dtype em Series.apply.

Correção de um bug em que um objeto Index criado a partir de um Series/DataFrame atualizava incorretamente o nome do índice do Series/DataFrame após uma atualização local ter sido aplicada ao Series/DataFrame original.

Correção de um SettingWithCopyWarning que às vezes aparecia ao imprimir colunas Timedelta.

Correção do argumento inplace para objetos Series derivados de outros objetos Series.

Correção de um bug no qual Series.sort_values falhava se o nome da série se sobrepusesse ao nome da coluna do índice.

Correção de um bug em que a transposição de um dataframe mapeava níveis de índice Timedelta para níveis de coluna de inteiros.

Correção de um bug em que métodos Resampler em colunas timedelta produziam resultados inteiros.

Correção de um bug em que pd.to_numeric() deixava as entradas Timedelta como Timedelta em vez de convertê-las em números inteiros.

Correção de loc definido ao configurar uma única linha, ou várias linhas, de um DataFrame com um valor de série.

Adição de suporte para coerção de tipo ao passar colunas como entrada para chamadas UDF.

Adição de suporte para Index.identical.

Correção de um bug em que o modo de truncamento em DataFrameWriter.save_as_table tratava incorretamente DataFrames com apenas um subconjunto de colunas da tabela existente.

Correção de um bug em que a função to_timestamp não define o fuso horário padrão do tipo de dados da coluna.

Adição de suporte limitado para o tipo Timedelta, incluindo os seguintes recursos. O Snowpark pandas aumentará NotImplementedError para os casos de uso Timedelta sem suporte.

• suporte para rastrear o tipo Timedelta através de copy, cache_result, shift, sort_index, assign, bfill, ffill, fillna, compare, diff, drop, dropna, duplicated, empty, equals, insert, isin, isna, items, iterrows, join, len, mask, melt, merge, nlargest, nsmallest e to_pandas.

• Suporte à conversão de não timedelta para timedelta via astype.

• NotImplementedError será gerado para o restante dos métodos que não oferecem suporte a Timedelta.

• Suporte à subtração de dois carimbos de data/hora para obter um Timedelta.

• Suporte à indexação com colunas de dados Timedelta.

• Suporte à adição ou subtração de carimbos de data/hora e Timedelta.

• Suporte à aritmética binária entre dois valores Timedelta.

• Suporte à aritmética binária e comparações entre valores Timedelta e valores numérico.

• Suporte para TimedeltaIndex lento.

• Suporte para pd.to_timedelta.

• Suporte às agregações GroupBy min, max, mean, idxmax, idxmin, std, sum, median, count, any, all, size, nunique, head, tail e aggregate.

• Suporte a filtragens GroupBy first e last.

• Suporte aos atributos TimedeltaIndex: days, seconds, microseconds e nanoseconds.

• Suporte para diff com colunas de carimbo de data/hora em axis=0 e axis=1.

• Suporte aos métodos TimedeltaIndex: ceil, floor e round.

• Suporte ao método TimedeltaIndex.total_seconds.

Adição de suporte para operadores aritméticos e de comparação do índice.

Adição de suporte para Series.dt.round.

Adição das páginas de documentação para DatetimeIndex.

Adição de suporte para Index.name, Index.names, Index.rename e Index.set_names.

Adição de suporte para Index.__repr__.

Adicionado suporte para DatetimeIndex.month_name e DatetimeIndex.day_name.

Adição de suporte para Series.dt.weekday, Series.dt.time e DatetimeIndex.time.

Adicionado suporte para Index.min e Index.max.

Adição de suporte para pd.merge_asof.

Adicionado suporte para Series.dt.normalize e DatetimeIndex.normalize.

Adição de suporte para Index.is_boolean, Index.is_integer, Index.is_floating, Index.is_numeric e Index.is_object.

Adição de suporte para DatetimeIndex.round, DatetimeIndex.floor e DatetimeIndex.ceil.

Adicionado suporte para Series.dt.days_in_month e Series.dt.daysinmonth.

Adicionado suporte para DataFrameGroupBy.value_counts e SeriesGroupBy.value_counts.

Adicionado suporte para Series.is_monotonic_increasing e Series.is_monotonic_decreasing.

Adicionado suporte para Index.is_monotonic_increasing e Index.is_monotonic_decreasing.

Adição de suporte para pd.crosstab.

Adição de suporte para pd.bdate_range e inclusão de suporte de frequência comercial (B, BME, BMS, BQE, BQS, BYE, BYS) para pd.date_range e pd.bdate_range.

Adição de suporte para objetos Index lentos como labels em DataFrame.reindex e Series.reindex.

Adição de suporte para Series.dt.days, Series.dt.seconds, Series.dt.microseconds e Series.dt.nanoseconds.

Adição de suporte para criar um DatetimeIndex a partir de um Index de tipo numérico ou de cadeia de caracteres.

Adição de suporte para indexação de cadeia de caracteres com objetos Timedelta.

Adição de suporte ao método Series.dt.total_seconds.

Desempenho melhorado de concatenação e junção quando operações são executadas em uma série proveniente do mesmo DataFrame, evitando junções desnecessárias.

Refatoração de quoted_identifier_to_snowflake_type para evitar a realização de consultas de metadados se os tipos tiverem sido armazenados em cache localmente.

Melhoria de pd.to_datetime para lidar com todos os casos de entrada local.

Crie um índice lento a partir de outro índice lento sem extrair dados para o cliente.

Geração de NotImplementedError para operadores bit a bit de Index.

Exibe uma mensagem de erro mais clara quando Index.names é definido como um objeto que não é do tipo lista.

Emita um aviso sempre que valores MultiIndex forem extraídos localmente.

Mensagem de aviso aprimorada para pd.read_snowflake para incluir o motivo da criação quando a criação da tabela temporária é acionada.

Desempenho aprimorado para DataFrame.set_index, ou definir DataFrame.index ou Series.index evitando verificações que exigem avaliação rápida. Como consequência, quando o novo índice não corresponde ao comprimento de objeto atual de Series ou DataFrame, um ValueError não é mais gerado. Em vez disso, quando o objeto Series ou DataFrame é maior que o índice fornecido, o novo índice do Series ou DataFrame é preenchido com valores NaN para os elementos “extras”. Caso contrário, os valores extras no índice fornecido serão ignorados.

Parou de ignorar nanossegundos em escalares pd.Timedelta.

Correção de AssertionError na árvore de operações binárias.

Correção de bug em Series.dt.isocalendar usando uma série nomeada.

Correção do argumento inplace para objetos Series derivados de colunas DataFrame.

Correção de um bug em que Series.reindex e DataFrame.reindex não atualizava o nome do índice de resultados corretamente.

Correção de um bug em que Series.take não dava erro quando axis=1 era especificado.

Adicionado suporte para as seguintes APIs:

• snowflake.snowpark.functions

  • rank

  • dense_rank

  • percent_rank

  • cume_dist

  • ntile

  • datediff

  • array_agg

• snowflake.snowpark.column.Column.within_group

Adição de suporte para análise de sinalizadores em instruções Regex para planos simulados. Isso mantém a paridade com as alterações rlike e regexp acima.

Correção de um bug em que a as funções de janela LEAD e LAG não manipulavam a opção ignore_nulls corretamente.

Correção de um bug em que os valores não eram preenchidos no DataFrame de resultado durante a inserção de uma operação de mesclagem de tabela.

Correção do pandas FutureWarning sobre a indexação de inteiro.

Adição de suporte para DataFrame.backfill, DataFrame.bfill, Series.backfill e Series.bfill.

Adição de suporte para DataFrame.compare e Series.compare com parâmetros padrão.

Adicionado suporte para Series.dt.microsecond e Series.dt.nanosecond.

Adicionado suporte para Index.is_unique e Index.has_duplicates.

Adição de suporte para Index.equals.

Adição de suporte para Index.value_counts.

Adicionado suporte para Series.dt.day_name e Series.dt.month_name.

Adição de suporte para inclusão no Index, por exemplo, df.index[:10].

Adicionado suporte para DataFrame.unstack e Series.unstack.

Adicionado suporte para DataFrame.asfreq e Series.asfreq.

Adicionado suporte para Series.dt.is_month_start e Series.dt.is_month_end.

Adicionado suporte para Index.all e Index.any.

Adicionado suporte para Series.dt.is_year_start e Series.dt.is_year_end.

Adicionado suporte para Series.dt.is_quarter_start e Series.dt.is_quarter_end.

Adição de suporte para DatetimeIndex lento.

Adicionado suporte para Series.argmax e Series.argmin.

Adição de suporte para Series.dt.is_leap_year.

Adição de suporte para DataFrame.items.

Adicionado suporte para Series.dt.floor e Series.dt.ceil.

Adição de suporte para Index.reindex.

Adição de suporte para as propriedades DatetimeIndex: year, month, day, hour, minute, second, microsecond, nanosecond, date, dayofyear, day_of_year, dayofweek, day_of_week, weekday, quarter, is_month_start, is_month_end, is_quarter_start, is_quarter_end, is_year_start, is_year_end e is_leap_year.

Adicionado suporte para Resampler.fillna e Resampler.bfill.

Adição de suporte limitado para o tipo Timedelta, incluindo a criação de colunas Timedelta e to_pandas.

Adicionado suporte para Index.argmax e Index.argmin.

Remoção da mensagem de aviso de versão pública ao importar pandas do Snowpark.

Consulta de contagem desnecessária removida do método SnowflakeQueryCompiler.is_series_like.

Dataframe.columns agora retorna um objeto Index do pandas nativo em vez de um objeto Index do Snowpark.

Refatoração e introdução do argumento query_compiler no construtor Index para criar Index a partir do compilador de consulta.

pd.to_datetime agora retorna um objeto DatetimeIndex em vez de um objeto Series.

pd.date_range agora retorna um objeto DatetimeIndex em vez de um objeto Series.

Agora, passar uma função de agregação sem suporte para pivot_table gera NotImplementedError em vez de KeyError.

Rótulos de eixo e nomes chamáveis ​​removidos de mensagens de erro e telemetria sobre agregações não compatíveis.

Correção de AssertionError em Series.drop_duplicates e DataFrame.drop_duplicates quando chamado depois de sort_values.

Correção de um bug em Index.to_frame no qual o nome da coluna do quadro de resultados pode estar errado quando o nome não é especificado.

Correção de um bug em que algumas docstrings de Index eram ignoradas.

Correção de um bug em Series.reset_index(drop=True) no qual o nome do resultado poderia estar errado.

Correção de um bug na ordenação de Groupby.first/last pelas colunas corretas na expressão de janela subjacente.

Adicionado suporte para as seguintes APIs:

• snowflake.snowpark.functions

  • random

Adição de novos parâmetros à função patch ao registrar uma função simulada:

• distinct permite que uma função alternativa seja especificada para quando uma função SQL deve ser distinta.

• pass_column_index passa um parâmetro nomeado, column_index, para a função simulada que contém o pandas.Index para os dados de entrada.

• pass_row_index passa um parâmetro nomeado, row_index, para a função simulada que é o número da linha com índice 0 na qual a função está operando atualmente.

• pass_input_data passa um parâmetro nomeado, input_data, para a função simulada que contém todo o dataframe de entrada para a expressão atual.

• Adição de suporte ao parâmetro column_order no método DataFrameWriter.save_as_table.

Correção de um bug que fazia com que as colunas DecimalType fossem truncadas incorretamente para precisão de inteiros quando usadas em BinaryExpressions.

Adição de novo suporte de API para o seguinte:

• DataFrames

  • DataFrame.nlargest e DataFrame.nsmallest

  • DataFrame.assign

  • DataFrame.stack

  • DataFrame.pivot

  • DataFrame.to_csv

  • DataFrame.corr

  • DataFrame.corr

  • DataFrame.equals

  • DataFrame.reindex

  • DataFrame.at e DataFrame.iat

• Series

  • Series.nlargest e Series.nsmallest

  • Series.at e Series.iat

  • Series.dt.isocalendar

  • Series.equals

  • Series.reindex

  • Series.to_csv

  • Series.case_when exceto quando a condição ou substituição for exigível

  • series.plot() materializou os dados para o cliente local

• GroupBy

  • DataFrameGroupBy.all e DataFrameGroupBy.any

  • As agregações DataFrameGroupBy e SeriesGroupBy, e first e last.

  • DataFrameGroupBy.get_group

  • SeriesGroupBy.all e SeriesGroupBy.any

• Geral

  • pd.pivot

  • read_excel (Usa pandas local para processamento)

  • df.plot() materializou os dados para o cliente local

APIs de existência estendida, da seguinte forma:

• Adição de suporte para replace e frac > 1 em DataFrame.sample e Series.sample.

• Adição de suporte parcial para Series.str.translate onde os valores em table são cadeias de caracteres de ponto de código único.

• Adição de suporte ao parâmetro limit quando o parâmetro method é usado em fillna.

Adição de páginas de documentação para Index e suas APIs.

Correção de um problema ao usar np.where e df.where quando o other escalar é o literal 0.

Correção de um bug relacionado à perda de precisão ao converter para Snowpark pandas DataFrame ou Series com dtype=np.uint64.

Correção de um bug onde values é definido como index quando index e columns contêm todas as colunas no DataFrame durante pivot_table.

Adição de suporte para Index.copy().

Adição de suporte para Index APIs: dtype, values, item(), tolist(), to_series() e to_frame().

Expanda o suporte para DataFrames sem linhas em pd.pivot_table e DataFrame.pivot_table.

Adição de suporte ao parâmetro inplace em DataFrame.sort_index e Series.sort_index.

Adição de suporte ao parâmetro strict ao registrar UDFs e procedimentos armazenados.

Correção de um bug em convert_timezone que fazia com que a configuração do parâmetro source_timezone retornasse um erro.

Correção de um bug onde a criação de um DataFrame com dados vazios do tipo DateType gerava AttributeError.

Correção de um bug em que a mesclagem de tabela falhava quando havia uma cláusula de atualização, mas nenhuma atualização ocorria.

Correção de um bug na implementação simulada de to_char que gerava IndexError quando uma coluna de entrada tinha um índice de linha não consecutivo.

Correção de um bug no tratamento de expressões CaseExpr que gerava IndexError quando uma coluna de entrada tinha um índice de linha não consecutivo.

Correção de um bug na implementação de Column.like que gerava IndexError quando uma coluna de entrada tinha um índice de linha não consecutivo.

Adição de suporte para coerção de tipo na implementação de DataFrame.replace, DataFrame.dropna e a função simulada iff.

Adição de suporte parcial para DataFrame.pct_change e Series.pct_change sem os parâmetros freq e limit.

Adição de suporte para Series.str.get.

Adição de suporte para Series.dt.dayofweek, Series.dt.day_of_week, Series.dt.dayofyear e Series.dt.day_of_year.

Adição de suporte para Series.str.__getitem__ (Series.str[…]).

Adição de suporte para Series.str.lstrip e Series.str.rstrip.

Adição de suporte para DataFrameGroupby.size e SeriesGroupby.size.

Adição de suporte para DataFrame.expanding e Series.expanding para as agregações count, sum, min, max, mean, std e var com axis=0.

Adição de suporte para DataFrame.rolling e Series.rolling para contagem de agregação com axis=0.

Adição de suporte para Series.str.match.

Adição de suporte para DataFrame.resample e Series.resample para tamanho da agregação.

Correção de um bug que fazia com que a saída das colunas GroupBy.aggregate fosse ordenada incorretamente.

Correção de um bug onde chamar DataFrame.describe em um quadro com colunas duplicadas de diferentes dtypes podia causar um erro ou resultados incorretos.

Correção de um bug em DataFrame.rolling e Series.rolling, para que agora window=0 lance NotImplementedError em vez de ValueError.

Adição de suporte para agregações nomeadas em DataFrame.aggregate e Series.aggregate com axis=0.

pd.read_csv lê usando o analisador nativo do pandas CSV e depois carrega os dados no Snowflake usando Parquet. Isso habilita a maioria dos parâmetros compatíveis com read_csv, incluindo a análise de data e conversões numéricas. O upload via Parquet é quase duas vezes mais rápido que o upload via CSV.

Trabalho inicial para oferecer suporte a um pd.Index diretamente no Snowpark pandas. O suporte para pd.Index como um componente de primeira classe do Snowpark pandas está em desenvolvimento ativo.

Adição de um construtor de índice lento e suporte para len, shape, size, empty, to_pandas() e names. Para df.index, o Snowpark pandas cria um objeto de índice preguiçoso.

Para df.columns, o Snowpark pandas oferece suporte a uma versão não lenta de um Index pois os dados já estão armazenados localmente.

Adicionado suporte para as seguintes opções de leitura DataFrameReader para formatos de arquivo CSV e JSON:

• PURGE

• PATTERN

• INFER_SCHEMA com valor False

• ENCODING com valor UTF8

Adicionado suporte para DataFrame.analytics.moving_agg e DataFrame.analytics.cumulative_agg_agg.

Adicionado suporte para o parâmetro if_not_exists durante o registro da UDF e do procedimento armazenado.

Corrigido um bug com formatos de tempo de processamento em que a parte do segundo fracionário não era manipulada corretamente.

Corrigiu um bug que causava falhas nas chamadas de função em *.

Corrigido um bug que impedia a criação de objetos do tipo map e struct.

Corrigido um bug onde a função date_add não conseguia manipular alguns tipos numéricos.

Corrigido um bug onde a conversão TimestampType resultava em dados incorretos.

Corrigido um bug que fazia com que os dados DecimalType tivessem precisão incorreta em alguns casos.

Corrigido um bug onde referenciar uma tabela ou exibição ausente gerava um IndexError.

Corrigido um bug onde a função simulada to_timestamp_ntz não conseguia lidar com dados None.

Corrigido um bug em que as UDFs simuladas tratavam os dados de saída de None de forma inadequada.

Corrigido um bug onde os atributos ignorados DataFrame.with_column_renamed do pai DataFrames após as operações de junção.

Corrigido um bug onde a precisão inteira de valores grandes era perdida quando convertida para um DataFrame pandas.

Corrigido um bug onde o esquema de um objeto datetime estava errado ao criar um DataFrame de um DataFrame pandas.

Corrigido um bug na implementação de Column.equal_nan onde dados nulos foram manipulados incorretamente.

Corrigido um bug onde os atributos ignorados DataFrame.drop do pai DataFrames após as operações de junção.

Corrigido um bug na função simulada date_part onde o tipo de coluna foi definido incorretamente.

Corrigido um bug onde DataFrameWriter.save_as_table não gerava exceções ao inserir dados nulos em colunas não anuláveis.

Corrigido um bug na implementação de DataFrameWriter.save_as_table onde:

• Falha ao anexar ou truncar quando os dados recebidos tinham um esquema diferente da tabela existente.

• O truncamento falhou quando os dados recebidos não especificaram colunas que são anuláveis.

Foi removida a verificação de dependência para pyarrow porque não é usada.

Melhorou a cobertura do tipo de alvo de Column.cast, adicionando suporte para conversão para tipos booleanos e todos os tipos integrais.

Alinhou a experiência de erro ao chamar UDFs e procedimentos armazenados.

Adicionadas mensagens de erro apropriadas para as opções is_permanent e anonymous em UDFs e registro de procedimentos armazenados para deixar mais claro que esses recursos ainda não são suportados.

Operações de leitura de arquivo com opções e valores não suportados agora aumentam NotImplementedError em vez de avisos e informações de erro pouco claras.

Adicionado suporte para conversão de dados NumericType e VariantType na função simulada to_timestamp_ltz, to_timestamp_ntz, to_timestamp_tz e to_timestamp.

Adicionado suporte para conversão de dados DecimalType, BinaryType, ArrayType, MapType, TimestampType, DateType e TimeType na função simulada to_char.

Adicionado suporte para as seguintes APIs:

• snowflake.snowpark.functions.to_varchar

• snowflake.snowpark.DataFrame.pivot

• snowflake.snowpark.Session.cancel_all

Introduziu uma nova classe de exceção snowflake.snowpark.mock.exceptions.SnowparkLocalTestingException.

Adicionado suporte para conversão para FloatType.

Corrigido um bug que procedimentos armazenados e UDFs não devem remover as importações já existentes sys.path durante a etapa de limpeza.

Corrigido um bug que ao processar o formato datetime, a parte do segundo fracionário não é tratada corretamente.

Corrigido um bug em que as operações de arquivo na plataforma Windows não conseguiam manipular corretamente os separadores de arquivo em nomes de diretório.

Corrigiu um bug na plataforma Windows que, ao ler um dataframe do pandas, um IntervalType coluna com dados inteiros não pode ser processada.

Corrigido um bug que impedia os usuários de selecionar várias colunas com o mesmo alias.

Corrigido um bug onde Session.get_current_[schema |database| role |user| account|warehouse] retorna identificadores em maiúsculas quando os identificadores estão entre aspas.

Corrigido um bug em que a função substr e substring não pode lidar com uma base zero start_expr.

Padronizou a experiência de erro aumentando SnowparkLocalTestingException em casos de erro, o que está no mesmo nível do SnowparkSQLException levantado em execução não local.

Experiência de erro melhorada do método Session.write_pandas, de maneira que NotImplementError será acusado ao chamar.

A experiência de erro foi alinhada com a reutilização de uma sessão fechada em execução não local.

Adicionado suporte para StringType, TimestampType e VariantType conversão de dados na função simulada to_date.

Adicionado suporte para as seguintes APIs:

• snowflake.snowpark.functions:

  • get

  • concat

  • concat_ws

Corrigido um bug que fazia com que os valores NaT e NaN não fossem reconhecidos.

Corrigido um bug em que, ao inferir um esquema, aspas simples eram adicionadas aos arquivos de estágio que já tinham aspas simples.

Corrigido um bug onde DataFrameReader.csv não conseguiu manipular valores entre aspas contendo um delimitador.

Corrigido um bug que quando há um valor None em um cálculo aritmético, a saída deve permanecer None em vez de math.nan.

Corrigido um bug na função sum e covar_pop que quando há um math.nan valor nos dados, a saída também deve ser math.nan.

Corrigido um bug em que as operações de estágio não conseguiam manipular diretórios.

Corrigiu um bug que DataFrame.to_pandas deve tomar tipos numéricos Snowflake com precisão 38 como int64.

Adicionado suporte para registro de UDFs e procedimentos armazenados.

Adicionado suporte para as seguintes APIs:

• snowflake.snowpark.Session:

  • file.put

  • file.put_stream

  • file.get

  • file.get_stream

  • read.json

  • add_import

  • remove_import

  • get_imports

  • clear_imports

  • add_packages

  • add_requirements

  • clear_packages

  • remove_package

  • udf.register

  • udf.register_from_file

  • sproc.register

  • sproc.register_from_file

• snowflake.snowpark.functions

  • current_database

  • current_session

  • date_trunc

  • object_construct

  • object_construct_keep_null

  • pow

  • sqrt

  • udf

  • sproc

Adicionado suporte para StringType, TimestampType e VariantType conversão de dados na função simulada to_time.

Corrigido um bug que preenchia colunas com valores nulos para funções constantes.

Corrigidos to_object, to_array e to_binary para lidar melhor com entradas nulas.

Corrigido um bug que fazia com que a comparação de dados do carimbo de data/hora não pudesse lidar com anos posteriores a 2262.

Corrigido um bug que Session.builder.getOrCreate deve retornar a sessão simulada criada.