2023년 Snowflake Connector for Spark 릴리스 정보¶
이 문서에는 Snowflake Connector for Spark 에 대한 릴리스 정보가 있는데, 해당되는 경우 다음을 포함합니다.
동작 변경 사항
새로운 기능
고객이 직면한 버그 수정
Snowflake는 Snowflake Connector for Spark 업데이트에 의미 체계 버전 관리를 사용합니다.
버전 2.12.0(2023년 5월 23일)¶
참고
이 버전(2.12.0)부터는 Spark용 Snowflake 커넥터가 Spark 3.1을 더 이상 지원하지 않지만 버전 3.2, 3.3, 3.4는 계속 지원합니다. 이전 버전의 커넥터에서는 Spark 3.1을 계속해서 지원합니다.
새로운 기능¶
Spark 3.4를 위한 지원을 추가했습니다.
Snowflake JDBC 드라이버 버전 3.13.30으로 빌드 및 테스트되었습니다.
버그 수정 사항¶
없습니다.
버전 2.11.3(2023년 4월 21일)¶
새로운 기능¶
GCP의 계정에 DataFrames를 쓰는 메커니즘을 업데이트했습니다. 2023년 12월 이후에는 GCP에서의 변경 사항으로 인해 이전 버전의 Spark 커넥터가 더 이상 DataFrames를 쓸 수 없습니다.
세션 공유에 대해
preactions및postactions유효성 검사를 비활성화하는 옵션을 추가했습니다.유효성 검사를 비활성화하려면
FORCE_SKIP_PRE_POST_ACTION_CHECK_FOR_SHARED_SESSION옵션을true로 설정하십시오. 기본값은false입니다.중요
이 옵션을 설정하기 전에
preactions및postactions의 쿼리가 세션 설정에 영향을 미치지 않는지 확인하십시오. 그렇지 않으면 결과에 문제가 발생할 수 있습니다.
버그 수정 사항¶
2개의 DataFrames가 서로 다른
sfSchema를 가진 테이블에 액세스하고sfSchema에서 동일한 이름의 테이블이 왼쪽DataFrame에 있는 경우 서로 다른 스키마에서 join 또는 union을 수행할 때 발생하는 문제를 수정했습니다.
버전 2.11.2(2023년 3월 21일)¶
새로운 기능¶
JDBC 연결을 공유하기 위한 지원을 추가했습니다.
이제 Spark용 Snowflake 커넥터는 클라이언트가 동일한 연결 옵션을 사용하여 Snowflake에 액세스할 때 다양한 작업과 동작에 동일한 JDBC 연결을 사용할 수 있습니다. 이전에는 Spark 커넥터가 작업 또는 동작마다 각기 새로운 JDBC 연결을 생성했습니다.
Spark 커넥터는 이 기능을 활성화 및 비활성화하기 위해 다음 옵션과 API 메서드를 지원합니다.
커넥터가 동일한 JDBC 연결을 사용하지 않도록 지정하려면
support_share_connection커넥터 옵션을false로 설정하십시오. (기본값은true이며, 이는 해당 기능이 활성화됨을 의미합니다.)기능을 프로그래밍 방식으로 활성화하거나 비활성화하려면 다음 전역 정적 함수
SparkConnectorContext.disableSharedConnection()과SparkConnectorContext.enableSharingJDBCConnection()중 하나를 호출하십시오.
참고
다음과 같은 특별한 경우에는 Spark 커넥터가 공유 연결을 사용하지 않습니다.
preactions또는postactions가 설정되어 있고 해당preactions또는postactions가 CREATE TABLE, DROP TABLE 또는 MERGE INTO가 아닌 경우 Spark 커넥터는 공유 연결을 사용하지 않습니다.Utils.runQuery()및Utils.getJDBCConnection()과 같은Utils의 유틸리티 함수는 공유 연결을 사용하지 않습니다.
Snowflake JDBC 드라이버 3.13.29를 사용하도록 커넥터를 업데이트했습니다.
버그 수정 사항¶
없습니다.