Notas de lançamento de Snowflake Connector for Spark para 2024¶

Mudanças de BCR (versão da mudança de comportamento)¶

A partir da versão 3.0.0, Snowflake Connector for Spark introduziu as seguintes alterações drásticas:

• Remoção do recurso Advanced Query Pushdown.

  Alternativas ao recurso estão disponíveis. Por exemplo, em vez de carregar os dados de tabelas Snowflake , os usuários podem carregar dados diretamente de consultas SQL do Snowflake.

  A Snowflake planeja introduzir uma ferramenta para converter DataFrames entre Spark e Snowpark em um lançamento futuro do Snowflake Connector for Spark.

• Cada lançamento agora inclui um artefato em vez de vários artefatos para diferentes versões do Spark.

  O único artefato funciona com várias versões do Spark. Atualmente, a Snowflake verificou o suporte para Spark 3.4 e 3.5 na versão 3.0.0 do Snowflake Connector for Spark.

De acordo com a política de suporte da Snowflake, a Snowflake continuará oferecendo suporte às versões 2.x.x do Spark por até dois anos.

Novos recursos¶

• Atualização do JDBC para 3.17.0 para oferecer suporte para LOB.

• Adição de suporte para o Spark 3.5.0.

Correções de bugs¶

• Remoção do requisito do parâmetro SFUSER ao usar OAUTH.

Novos recursos¶

• Introduzido um novo parâmetro trim_space que você pode usar para cortar valores de colunas StringType automaticamente ao salvar em uma tabela Snowflake. Padrão: false.

Correções de bugs¶

• Corrigido um problema que causava a mensagem “consultas canceladas podem ser reiniciadas nas novas tentativas do Spark após o fechamento do aplicativo”.