2024년 Snowflake Connector for Spark 릴리스 정보

이 문서에는 Snowflake Connector for Spark 에 대한 릴리스 정보가 있는데, 해당되는 경우 다음을 포함합니다.

  • 동작 변경 사항

  • 새로운 기능

  • 고객이 직면한 버그 수정

Snowflake는 Snowflake Connector for Spark 업데이트에 의미 체계 버전 관리를 사용합니다.

설명서는 Spark용 Snowflake 커넥터 섹션을 참조하십시오.

버전 3.0.0(2024년 7월 31일)

BCR(동작 변경 릴리스) 변경 사항

버전 3.0.0부터 Snowflake Connector for Spark 에는 다음과 같은 중요한 변경 사항이 도입되었습니다.

  • 고급 쿼리 푸시다운 기능을 제거했습니다.

    이 기능의 대체 기능을 사용할 수 있습니다. 예를 들어, 사용자는 Snowflake 테이블에서 데이터를 로드하는 대신 Snowflake SQL 쿼리에서 직접 데이터를 로드할 수 있습니다.

    Snowflake는 향후 Snowflake Connector for Spark 릴리스에서 Spark와 Snowpark 간에 DataFrames를 변환하는 도구를 도입할 계획입니다.

  • 이제 각 릴리스에는 다양한 Spark 버전에 대한 여러 아티팩트 대신 하나의 아티팩트가 포함됩니다.

    단일 아티팩트는 여러 Spark 버전에서 작동합니다. 현재, Snowflake는 Snowflake Connector for Spark 3.0.0 버전에서 Spark 3.4 및 3.5에 대한 지원을 확인했습니다.

Snowflake의 지원 정책에 따라, Snowflake는 최대 2년간 Spark 2.x.x 버전을 계속 지원할 것입니다.

새로운 기능

  • LOB를 지원하도록 JDBC를 3.17.0으로 업그레이드했습니다.

  • Spark 3.5.0을 위한 지원을 추가했습니다.

버그 수정 사항

  • OAUTH를 사용할 때 SFUSER 매개 변수의 요구 사항을 제거했습니다.

버전 2.15.0(2024년 2월 26일)

새로운 기능

  • Snowflake 테이블에 저장할 때 StringType 열의 값을 자동으로 자르는 데 사용할 수 있는 새로운 trim_space 매개 변수를 도입했습니다. 기본값: false.

버그 수정 사항

  • “cancelled queries can be restarted in the Spark retries after application closed” 메시지가 표시되는 문제를 수정했습니다.

언어: 한국어