Notas de lançamento de Snowflake Connector for Spark para 2023¶

Este artigo contém as notas de versão do Snowflake Connector for Spark, incluindo o seguinte, quando aplicável:

Mudanças de comportamento
Novos recursos
Correções de bugs voltados para o cliente

Snowflake usa controle de versão semântico para atualizações de Snowflake Connector for Spark.

Versão 2.12.0 (23 de maio de 2023)¶

Nota

A partir desta versão (2.12.0), o conector Snowflake para Spark não oferece mais suporte ao Spark 3.1, mas continua a oferecer suporte às versões 3.2, 3.3 e 3.4. As versões anteriores do conector continuam oferecendo suporte para Spark 3.1.

Novos recursos¶

Adicionado suporte para Spark 3.4.
Criado e testado com o driver Snowflake JDBC, versão 3.13.30.

Correções de bugs¶

Nenhum.

Versão 2.11.3 (21 de abril de 2023)¶

Novos recursos¶

Atualizado o mecanismo para gravar DataFrames em contas em GCP. Após dezembro de 2023, as versões anteriores do conector Spark não poderão mais gravar DataFrames devido a alterações no GCP.
Adicionada a opção de desativar a validação preactions e postactions para compartilhamento de sessão.

Para desativar a validação, defina a opção FORCE_SKIP_PRE_POST_ACTION_CHECK_FOR_SHARED_SESSION como true. O padrão é false.

Importante

Antes de definir esta opção, verifique se as consultas em preactions e postactions não afetam as configurações da sessão. Caso contrário, você poderá encontrar problemas com os resultados.

Correções de bugs¶

Corrigido um problema ao realizar uma junção ou união em esquemas diferentes quando os dois DataFrames estão acessando
tabelas com sfSchema diferentes e a tabela com o mesmo nome em sfSchema está no DataFrame à esquerda.

Versão 2.11.2 (21 de março de 2023)¶

Novos recursos¶

Adicionado suporte para compartilhar uma conexão JDBC.

O conector Snowflake para Spark agora pode usar a mesma conexão JDBC para diferentes trabalhos e ações quando o cliente usa as mesmas opções de conexão para acessar o Snowflake. Anteriormente, o conector Spark criava uma nova conexão JDBC para cada trabalho ou ação.

O conector Spark oferece suporte às seguintes opções e métodos de API para ativar e desativar esse recurso:
- Para especificar que o conector não deve usar a mesma conexão JDBC, defina a opção do conector support_share_connection como false. (O valor padrão é true, o que significa que o recurso está ativado.)
- Para ativar ou desativar o recurso programaticamente, chame uma das seguintes funções estáticas globais: SparkConnectorContext.disableSharedConnection() e SparkConnectorContext.enableSharingJDBCConnection().
Nota

Nos seguintes casos especiais, o conector Spark não usará a conexão compartilhada:
- Se preactions ou postactions estiverem definidos e esses preactions ou postactions não forem CREATE TABLE, DROP TABLE ou MERGE INTO, o conector Spark não usará a conexão compartilhada.
- Funções de utilitário em Utils, como Utils.runQuery() e Utils.getJDBCConnection(), não usam a conexão compartilhada.
Atualizado o conector para usar o driver Snowflake JDBC 3.13.29.

Correções de bugs¶

Nenhum.