2025년 Snowpark Connect for Spark 릴리스 정보¶

새로운 기능¶

• Support any type as output or input type in the Scala map and flatmap functions.

• Support joinWith.

• Support any return type in Scala UDFs.

• Support registerJavaFunction.

버그 수정 사항¶

• Fix JSON schema inference issue for JSON reads from Scala.

• Change return types of functions returning incorrect integral types.

• Fix update fields bug with struct type.

• Fix unbounded input decoder.

• Fix struct function when the argument is unresolved_star.

• Fix column name for Scala UDFs when the proto contains no function name.

• Add support for PATTERN in Parquet format.

• Handle error and errorIfExists write modes.

개선 사항¶

없습니다.

새로운 기능¶

• Bump snowflake-connector-python to <4.2.0.

• Add basic support for single-column map and flatMap operations on Scala datasets.

• Iceberg writing support TargetFileSize and PartitionBy.

버그 수정 사항¶

• Make SAS server initialization synchronous.

• Use snowpark-connect-deps-1==3.56.3.

• Fix saveAsTable with input_filename columns.

• Remove duplicated reading of the cache in Scala UDFs.

• Increase recursion limit.

• Fix format_number.

• Fix infer schema when query is provided in JDBC read.

• Only lock dict operation in cache.py to improve performance.

• Fix grouped data tests.

• Throw more detailed errors on table and read/write operations.

개선 사항¶

없습니다.

새로운 기능¶

• Introduce reduce function for Scala.

개선 사항¶

없습니다.

버그 수정 사항¶

• Fix failing array insert for nullable elements.

• Throw correct error on non-numeric args in covariance.

새로운 기능¶

• Support filter on a simple (single column) Dataset.

• Support Azure scheme URL parsing and special character file name.

버그 수정 사항¶

• Fix “Dataframe has no attribute dataframe” error in Scala catalog API.

• Fix aliases in subquery, document not working subqueries.

• Fix plan_id resolution after joins.

• Fix meta.yaml for multi-py versions.

• Enable use_vectorized_scanner as map type from parquet file was error.

• CSV reading inferSchema option specify datatype.

• Fix substr function handling of negative length.

• Use cached file formats in read_parquet.

• Improve local relation performance.

• Generate summary _common_metadata for parquet files.

• Remove repetitive setSchema, setRole, etc, for Snowflake pushdown.

개선 사항¶

없습니다.

새로운 기능¶

• Relax version requirements for grpcio and aiobotocore.

개선 사항¶

• Specify dependencies version in meta.yaml.

• Build compiled and architecture-specific conda package.

• Ensure all CloudPickleSerializer.loads are not done in TCM.

• Include OSS SQL tests that start with the WITH clause.

• Do not upload Spark jars when running the server for pyt.

• Update internal queries count.

버그 수정 사항¶

• Fix tests for tcm.

• Fix CSV column name discrepancy from Spark.

• Use type cache for empty frames.

• Resolve Windows OSS runner general issues.

개선 사항¶

• Generate unique workload names.

Bug Fixes¶

• Fix staged file reading.

새로운 기능¶

• 뷰 생성 전략을 위한 매개 변수를 추가합니다.

• 문자열 <-> 연도 월 간격을 지원합니다.

• Spark SQL에서 피벗 값에 대한 여러 피벗 열 및 별칭을 지원합니다.

• OpenTelemetry 범위 및 추적을 통합합니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• remove 명령에 후행 슬래시를 추가합니다.

• 집계 함수 및 nilary 함수에 유효하지 않은 GROUP BY가 있는 문제를 수정합니다.

• 노트북이 gRPC 최대 메시지 크기를 초과하는 문제를 수정합니다.

• 이름이 충돌하는 임시 뷰 생성 문제를 수정합니다.

• null 인자가 있는 :code:`array_size`를 개선합니다.

• get_json_object 함수에서 $.0 JSON 배열 액세스 문제를 수정합니다

• 자체 ANTI 및 SEMI LEFT 조인 문제를 수정합니다.

• SQL 함수 범위에서 서로 다른 데이터 유형을 처리합니다.

• 임시 뷰 설명을 수정했습니다.

새로운 기능¶

• CSV 읽기를 위해 :code:`rowToInferSchema`를 추가합니다.

• CTE SQL 명령을 사용한 INSERT INTO를 지원합니다.

• _SUCCESS 파일 생성 및 메타데이터 파일 필터링을 추가하기 위한 I/O 변경 사항을 적용합니다.

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

개선 사항¶

없습니다.

버그 수정 사항¶

• _SUCCESS 경로 업데이트를 수정합니다.

• 제거 실패 업데이트 시 오류가 발생합니다.

• 시퀀스 함수에 정수 유형 입력을 지원합니다.

• 빈 :code:`CreateTempViewUsing`의 유형을 수정합니다.

• 쓰기 작업 시 Parquet 파일 재분할을 수정합니다.

• ORDER BY 절에서 별칭을 올바르게 확인합니다.

• 범위 임시 세션 매개 변수를 제거합니다.

• 조인 조건이 있는 여러 개의 자체 조인을 수정했습니다.

• 피벗에서 열 이름 확인을 수정합니다.

• SQL 구문 분석기가 세션 타임존을 인식합니다.

• 다른 유형과의 간격 유형 강제 변환을 개선합니다.

• 중첩된 CTEs가 있는 문제를 수정합니다.

• Spark에서 정규화된 이름 확인을 개선합니다.

새로운 기능¶

• SQLs 병합을 위한 Git 작업의 출력에서 실행할 스크립트를 추가합니다.

• 노트북 테스트 실행기에 --rebuild-whl 매개 변수를 추가합니다.

• 조인 후에 두 한정자 모두에 대한 지원을 추가합니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• SQL LIKE 명령에서 이스케이프 매개 변수를 지원합니다.

• 파티션의 덮어쓰기 버그를 수정합니다.

• INSERT에서 열 수의 유효성을 검사합니다.

• pow와 NAN의 비호환성을 수정합니다.

• 조건부 크로스 JOIN을 개선합니다.

• 중첩 쿼리의 열 특성 논리를 개선합니다.

• 간격 테스트에 대한 오류 메시지를 업데이트합니다.

• 집한 연산 UNION 및 EXCEPT에서 문자열 강제 변환, NUMERIC, DATE, DATETIME을 STRING로의 강제 변환을 개선합니다.

• 전체 외부 자체 JOIN 후 Snowpark 열을 올바르게 확인합니다.

• 집계 함수의 식은 개선되지 않았을 수 있습니다.

• 업데이트: 집한 연산의 “[SCOS GA BUG] 문자열 유형 강제 변환”을 되돌립니다.

• 이제 필요에 따라 10진수 유형 열의 DataFrame 합집합이 확대됩니다.

• 집한 연산 UNION 및 EXCEPT에서 문자열 강제 변환, NUMERIC, DATE, DATETIME을 STRING로의 강제 변환(파트1)을 개선합니다.

• TCM에 오브젝트가 존재하지 않는 문제를 수정합니다.

• :code:`x`에 홀수 개의 문자와 숫자가 있는 경우의 :code:`to_binary(x, ‘hex’)`를 수정합니다.

• 빈 테이블이 있는 조인을 수정합니다.

• 이름이 동일한 집계 별칭보다 그룹화 열을 우선시하도록 HAVING 절을 수정합니다.

새로운 기능¶

• RepairTable 지원

• :code:`jdk4py`를 |spconnect|의 선택적 종속성으로 지정하여 최종 사용자를 위한 Java 홈 구성을 간소화합니다.

• 더 많은 간격 유형 사례를 지원합니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• 한정자를 리팩터링하여 Join 문제를 해결합니다.

• 필터 및 정렬 순서 표현식을 허용하도록 :code:`percentile_cont`를 수정합니다.

• histogram_numeric UDAF를 수정합니다.

• 여러 인자와 함께 호출할 때 COUNT 함수를 수정합니다.

새로운 기능¶

• GROUP BY 절이 명시적으로 선택된 경우 해당 절에서 표현식을 지원하도록 했습니다.

• 더 나은 문제 해결을 위해 오류 메시지에 오류 코드를 추가했습니다.

개선 사항¶

없습니다.

버그 수정 사항¶

• 지원되지 않는 캐스팅 문제를 해결하도록 윈도우 함수를 수정했습니다.