2026년 Snowpark Connect for Spark 릴리스 정보

Snowflake는 Snowpark Connect for Spark 업데이트에 의미 체계 버전 관리를 사용합니다.

설명서는 Snowpark Connect for Spark 를 사용하여 Snowflake에서 Apache Spark™ 워크로드 실행Spark 애플리케이션 제출하기 섹션을 참조하세요.

1.14.0(2026년 2월 19일)

Snowpark Connect for Spark

버그 수정 사항

  • saveAsTable 실행 시 캐시 테이블 유형

  • :code:`coalesce`에 대한 하위 문자열 및 유형 캐스팅에 대한 리터럴 입력 최적화

  • avg/:code:`mean`에서 10진수 오버플로 처리 및 10진수 형식 강제 변환 수정

  • Iceberg - 덮어쓰기 시 권한 유지

  • SQL 통과 모드 표준화

  • 리터럴 타임존에 from_utc_timestamp/to_utc_timestamp 최적화

  • Spark 의미 체계와 일치하도록 정형 타입으로 JSON null 값 처리

  • SQL에서 테이블 생성 시 정수 유형 에뮬레이션

  • Scala UDFs에서 중첩 행 매핑으로 극단적인 사례 수정

  • Parquet이 복잡한 정형 데이터 타입의 읽기 및 쓰기를 처리하는 방식 수정

  • Parquet 파일에 대한 저장 무시 인자 지원

  • 아티팩트 리포지토리에 대한 지원 추가

  • Scala UDxF에서 배열 null 허용 여부 수정

  • (-1, 0) 범위의 인자에 대한 log1p 수정

  • 집계 컨텍스트의 first_valuelast_value 수정

  • Scala 클라이언트에 대한 DayTimeIntervalType 읽기 수정

새로운 기능

  • Scala UDFs에서 타임존을 올바르게 처리

  • 구성 없이 Java 11 및 17 지원

Snowpark Submit 업데이트

새로운 기능

  • python 3.9에 대한 snowpark-submit 지원

  • snowpark-submit 워크플로에서 사용할 수 있도록 init_spark_session 개선

1.13.0(2026년 2월 13일)

Snowpark Connect for Spark

버그 수정 사항

  • split 함수 문제를 수정함

  • snowflake-snowpark-python 종속성을 버전 1.44로 다운그레이드함

  • SQL 번역을 개선하기 위해 Neo4j 방언 매칭을 수정함

  • 일관성을 위해 실행 응답에서 반환된 작업 ID를 수정함

  • TCP 채널 연결에 대한 gRPC 메타데이터 처리를 수정함

새로운 기능

  • mapPartitions 작업에서 :code:`partition_hint`에 대한 지원을 추가함

  • 사용자 정의 스키마가 있는 시나리오에 대한 XML 독자 지원을 추가함

1.11.0(2026년 1월 28일)

Snowpark Connect for Spark

버그 수정 사항

  • 다양한 DataFrame 연산자 이후에 숨겨진 열 유지

  • scala udf 입력 유형(byte, binary, scala.math.BigDecimal)에 대한 문제 수정

기타 업데이트

  • 설명할 snowpark-submit 사용자 정의 인자 추가

1.10.0(2026년 1월 22일)

Snowpark Connect for Spark

버그 수정 사항

  • 세션 구성에 대한 구성 설정 해제 오류를 수정했습니다.

  • 복사를 사용하여 CSV 파일을 병렬로 로드합니다.

  • 외부 조인을 사용하여 DataFrames에 대한 작성을 수정합니다.

  • Scala UDFs에서 null을 처리합니다.

  • 매개 변수 보호를 사용한 CTE 쿼리 생성을 최적화합니다.

  • :code:`DATEDIFF`의 인자 캐스팅을 방지합니다.

  • 분할된 파일 추가 및 null 파티션 읽기를 수정했습니다.

  • SQL을 사용하여 기수 10과 16 사이의 변환 성능을 10배 개선했습니다.

새로운 기능

  • Parquet 파일의 수정된 파티션만 덮어씁니다.

기타 업데이트

  • |spconnect|가 XP에서 실행 중인 경우 감지하도록 논리를 업데이트했습니다.

  • Snowflake에서 베리언트 데이터 타입이 있는 테이블에 작성을 지원합니다.

  • 불필요한 정보 로그를 제거합니다.

  • Scala 테스트 작업에서 별도의 작업으로 Java 테스트를 이동합니다.

  • gcsfs의 종속성 버전을 업데이트합니다.

Snowpark Submit

없습니다.

1.9.0(2026년 1월 14일)

Snowpark Connect for Spark

버그 수정 사항

  • Scala 튜플 직렬화를 수정합니다.

  • 대용량 JSON 파일 로딩을 수정합니다.

  • 고객 문제에 대한 작은 수정 사항을 구현합니다.

  • 구조체 비교에 대한 수정 사항을 구현합니다.

  • 0-열 DataFrames에 대한 처리를 추가합니다.

  • 업로드 파일 경로를 수정합니다.

  • :code:`Upload_files_if_needed`가 병렬로 실행되지 않는 문제를 수정합니다.

  • UDF 입력 유형이 proto에 정의되지 않은 경우 입력 유형 추론을 개선합니다.

  • NA 에지 케이스를 수정합니다.

새로운 기능

  • 단일 JSON BZ2 파일 읽기를 지원합니다.

  • 서버 측 |spconnect|에서 Scala UDFs를 지원합니다.

  • 문자열 및 daytime 간의 캐스트를 구현합니다.

  • :code:`group_map`에서 Scala UDFs에 대한 지원을 추가합니다.

Snowpark Submit

버그 수정 사항

  • 생성된 워크로드 이름을 줄입니다.

1.8.0(2026년 1월 7일)

Snowpark Connect for Spark

버그 수정 사항

  • Windows용 JAVA_HOME 처리를 수정했습니다.

새로운 기능

  • JDBC를 통해 neo4j 데이터 원본을 지원합니다.

Snowpark Submit

없습니다.