2025년 Snowpark Connect for Spark 릴리스 정보¶

새로운 기능¶

• Add support for Spark integral types.

• Scala 2.13에 대한 지원을 추가합니다.

• snowpark.connect.handleIntegralOverflow 구성 뒤에 정수 유형 오버플로에 대한 지원을 도입합니다.

• UDFs에서 사용자 지정 JAR 파일을 사용하기 위한 구성을 추가합니다.

• :code:`UDFPacket`에 입력 유형 메타데이터가 없는 경우 Scala UDFs를 지원합니다.

• reduce 함수에서 케이스 클래스를 입력 및 출력 유형으로 허용합니다.

버그 수정 사항¶

• Parquet 논리 유형(TIMESTAMP, DATE, DECIMAL) 처리를 수정합니다. 이전에는 Parquet 파일을 물리적 유형(예: 타임스탬프의 경우 LongType)만 사용하여 읽었습니다. 이제 TimestampType, DateType, :code:`DecimalType`과 같은 적절한 유형을 반환하여 논리 유형을 해석할 수 있습니다. Spark 구성 :code:`snowpark.connect.parquet.useLogicalType`을 :code:`true`로 설정하여 이를 활성화할 수 있습니다.

• Spark의 :code:`Row`를 :code:`Variant`로 변환할 때 출력 스키마를 사용합니다.

• 빈 :code:`JAVA_HOME`을 처리합니다.

• MapType`에 대한 :code:`from_json 함수를 수정합니다.

• NTZ 타임존에 대한 구성 :code:`spark.sql.parquet.outputTimestampType`을 지원합니다.

개선 사항¶

없습니다.

New Features¶

• Scala 2.13에 대한 지원을 추가합니다.

• Add support for --files argument.

Bug Fixes¶

• pyspark 워크로드에 대한 --jars 지원을 추가합니다.

• Snowpark Submit JWT 인증에 대한 버그를 수정합니다.

새로운 기능¶

• Scala map 및 flatmap 함수에서 모든 유형을 출력 또는 입력 유형으로 지원합니다.

• Support joinWith.

• Scala UDFs에서 모든 반환 유형을 지원합니다.

• Support registerJavaFunction.

버그 수정 사항¶

• Scala에서 JSON 읽기에 대한 JSON 스키마 추론 문제를 수정합니다.

• 잘못된 정수 유형을 반환하는 함수의 반환 유형을 변경합니다.

• struct 유형의 필드 업데이트 버그를 수정합니다.

• 무제한 입력 디코더를 수정합니다.

• 인자가 unresolved_star`인 경우 :code:`struct 함수를 수정합니다.

• proto에 함수 이름이 없는 경우 Scala UDFs의 열 이름을 수정합니다.

• Parquet 형식의 PATTERN에 대한 지원을 추가합니다.

• error 및 errorIfExists 쓰기 모드를 처리합니다.

개선 사항¶

없습니다.

새로운 기능¶

• Snowflake-connector-python을 4.2.0 미만으로 업데이트합니다.

• Scala 데이터 세트에 대한 단일 열 맵 및 flatMap 작업에 대한 기본 지원을 추가합니다.

• Iceberg 쓰기에서 TargetFileSize 및 :code:`PartitionBy`를 지원합니다.

버그 수정 사항¶

• SAS 서버 초기화 동기를 지원합니다.

• snowpark-connect-deps-1==3.56.3 을 사용합니다.

• saveAsTable`(:code:`input_filename 포함) 열을 수정합니다.

• Scala UDFs에서 캐시의 중복 읽기를 제거합니다.

• 재귀 제한을 늘립니다.

• Fix format_number.

• 쿼리가 JDBC 읽기에서 제공되는 경우 추론 스키마를 수정합니다.

• :code:`cache.py`에서 dict 작업만 잠궈 사용하여 성능을 개선합니다.

• 그룹화된 데이터 테스트를 수정합니다.

• 테이블 및 읽기/쓰기 작업에 대해 더 자세한 오류 메시지를 표시합니다.

개선 사항¶

없습니다.

새로운 기능¶

• Scala용 reduce 함수를 도입합니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• nullable 요소에 대해 실패한 배열 삽입을 수정합니다.

• 공분산에서 숫자가 아닌 인자에 대해 올바른 오류 메시지를 표시합니다.

새로운 기능¶

• 단순(단일 열) :code:`Dataset`에 대한 :code:`filter`를 지원합니다.

• Azure 스키마 URL 구문 분석 및 특수 문자 파일 이름을 지원합니다.

버그 수정 사항¶

• Scala 카탈로그 API에서 “Dataframe에 특성 데이터 프레임이 없음” 오류를 수정합니다.

• 하위 쿼리의 별칭을 수정하고, 하위 쿼리가 작동하지 않는 문서를 수정합니다.

• 조인 후 plan_id 확인을 수정합니다.

• 다중 파이 버전에 대한 :file:`meta.yaml`을 수정합니다.

• Parquet 파일에서 맵 유형의 오류가 발생하여 :code:`use_vectorized_scanner`를 활성화합니다.

• CSV 읽기 inferSchema 옵션은 데이터 타입을 지정합니다.

• 음수 길이의 substr 함수 처리를 수정합니다.

• :code:`read_parquet`에서 캐시된 파일 형식을 사용합니다.

• 로컬 관계 성능을 개선합니다.

• Parquet 파일에 대한 summary_common_metadata를 생성합니다.

• Snowflake 푸시다운을 위해 반복되는 setSchema, setRole 등을 제거합니다.

개선 사항¶

없습니다.

새로운 기능¶

• grpcio 및 aiobotocore에 대한 버전 요구 사항을 완화합니다.

개선 사항¶

• :file:`meta.yaml`에서 종속성 버전을 지정합니다.

• 컴파일된 아키텍처별 conda 패키지를 빌드합니다.

• 모든 :code:`CloudPickleSerializer.loads`가 TCM에서 완료되지 않도록 합니다.

• WITH 절로 시작하는 OSS SQL 테스트를 포함합니다.

• pyt용 서버를 실행할 때 Spark jar를 업로드하지 않습니다.

• 내부 쿼리 수를 업데이트합니다.

버그 수정 사항¶

• tcm에 대한 테스트를 수정합니다.

• Spark에서 CSV 열 이름 불일치를 수정합니다.

• 빈 프레임에 타입 캐시를 사용합니다.

• Windows OSS 실행기 일반 문제를 확인합니다.

개선 사항¶

• 고유한 워크로드 이름을 생성합니다.

Bug Fixes¶

• 스테이징된 파일 읽기를 수정합니다.

새로운 기능¶

• 뷰 생성 전략을 위한 매개 변수를 추가합니다.

• 문자열 <-> 연도 월 간격을 지원합니다.

• Spark SQL에서 피벗 값에 대한 여러 피벗 열 및 별칭을 지원합니다.

• OpenTelemetry 범위 및 추적을 통합합니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• remove 명령에 후행 슬래시를 추가합니다.

• 집계 함수 및 nilary 함수에 유효하지 않은 GROUP BY가 있는 문제를 수정합니다.

• 노트북이 gRPC 최대 메시지 크기를 초과하는 문제를 수정합니다.

• 이름이 충돌하는 임시 뷰 생성 문제를 수정합니다.

• null 인자가 있는 :code:`array_size`를 개선합니다.

• get_json_object 함수에서 $.0 JSON 배열 액세스 문제를 수정합니다

• 자체 ANTI 및 SEMI LEFT 조인 문제를 수정합니다.

• SQL 함수 범위에서 서로 다른 데이터 유형을 처리합니다.

• 임시 뷰 설명을 수정했습니다.

새로운 기능¶

• CSV 읽기를 위해 :code:`rowToInferSchema`를 추가합니다.

• CTE SQL 명령을 사용한 INSERT INTO를 지원합니다.

• _SUCCESS 파일 생성 및 메타데이터 파일 필터링을 추가하기 위한 I/O 변경 사항을 적용합니다.

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

개선 사항¶

없습니다.

버그 수정 사항¶

• _SUCCESS 경로 업데이트를 수정합니다.

• 제거 실패 업데이트 시 오류가 발생합니다.

• 시퀀스 함수에 정수 유형 입력을 지원합니다.

• 빈 :code:`CreateTempViewUsing`의 유형을 수정합니다.

• 쓰기 작업 시 Parquet 파일 재분할을 수정합니다.

• ORDER BY 절에서 별칭을 올바르게 확인합니다.

• 범위 임시 세션 매개 변수를 제거합니다.

• 조인 조건이 있는 여러 개의 자체 조인을 수정했습니다.

• 피벗에서 열 이름 확인을 수정합니다.

• SQL 구문 분석기가 세션 타임존을 인식합니다.

• 다른 유형과의 간격 유형 강제 변환을 개선합니다.

• 중첩된 CTEs가 있는 문제를 수정합니다.

• Spark에서 정규화된 이름 확인을 개선합니다.

새로운 기능¶

• SQLs 병합을 위한 Git 작업의 출력에서 실행할 스크립트를 추가합니다.

• 노트북 테스트 실행기에 --rebuild-whl 매개 변수를 추가합니다.

• 조인 후에 두 한정자 모두에 대한 지원을 추가합니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• SQL LIKE 명령에서 이스케이프 매개 변수를 지원합니다.

• 파티션의 덮어쓰기 버그를 수정합니다.

• INSERT에서 열 수의 유효성을 검사합니다.

• pow와 NAN의 비호환성을 수정합니다.

• 조건부 크로스 JOIN을 개선합니다.

• 중첩 쿼리의 열 특성 논리를 개선합니다.

• 간격 테스트에 대한 오류 메시지를 업데이트합니다.

• 집한 연산 UNION 및 EXCEPT에서 문자열 강제 변환, NUMERIC, DATE, DATETIME을 STRING로의 강제 변환을 개선합니다.

• 전체 외부 자체 JOIN 후 Snowpark 열을 올바르게 확인합니다.

• 집계 함수의 식은 개선되지 않았을 수 있습니다.

• 업데이트: 집한 연산의 “[SCOS GA BUG] 문자열 유형 강제 변환”을 되돌립니다.

• 이제 필요에 따라 10진수 유형 열의 DataFrame 합집합이 확대됩니다.

• 집한 연산 UNION 및 EXCEPT에서 문자열 강제 변환, NUMERIC, DATE, DATETIME을 STRING로의 강제 변환(파트1)을 개선합니다.

• TCM에 오브젝트가 존재하지 않는 문제를 수정합니다.

• :code:`x`에 홀수 개의 문자와 숫자가 있는 경우의 :code:`to_binary(x, ‘hex’)`를 수정합니다.

• 빈 테이블이 있는 조인을 수정합니다.

• 이름이 동일한 집계 별칭보다 그룹화 열을 우선시하도록 HAVING 절을 수정합니다.

새로운 기능¶

• RepairTable 지원

• :code:`jdk4py`를 |spconnect|의 선택적 종속성으로 지정하여 최종 사용자를 위한 Java 홈 구성을 간소화합니다.

• 더 많은 간격 유형 사례를 지원합니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• 한정자를 리팩터링하여 Join 문제를 해결합니다.

• 필터 및 정렬 순서 표현식을 허용하도록 :code:`percentile_cont`를 수정합니다.

• histogram_numeric UDAF를 수정합니다.

• 여러 인자와 함께 호출할 때 COUNT 함수를 수정합니다.

새로운 기능¶

• GROUP BY 절이 명시적으로 선택된 경우 해당 절에서 표현식을 지원하도록 했습니다.

• 더 나은 문제 해결을 위해 오류 메시지에 오류 코드를 추가했습니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• 지원되지 않는 캐스팅 문제를 해결하도록 윈도우 함수를 수정했습니다.