2026년 Snowpark Connect for Spark 릴리스 정보¶

JSON 및 CSV 압축 추론을 개선합니다.

:code:`coalesce`의 단일 파일 생성을 수정합니다.

단일 파일을 읽을 때 COPY INTO`를 사용하도록 JSON을 리팩터링하고 :code:`VariantType 스키마 추론을 추가합니다.

명시적 스키마 없이 JSON 로딩을 허용합니다.

JSON의 :code:`multi_line`을 수정합니다.

전체 파일을 스캔하지 않도록 JSON 스키마 추론을 수정합니다.

타임스탬프 :code:`ltz`에 대한 캐스팅을 올바르게 처리합니다.

해시가 반환하는 값을 제한합니다.

:code:`partitionBy`를 통한 :code:`repartition`을 수정합니다.

config.toml`에서 :code:`[connections.spark-connect] 섹션 헤더를 사용하도록 수정합니다.

CSV를 읽을 때 Java date/timestamp 형식 토큰을 Snowflake에 해당하는 형식으로 변환합니다.

pivot 함수에 대한 스키마를 계산합니다.

별칭이 지정된 래터럴 조인의 UDTFs를 수정합니다.

SQL SET 명령에 대한 결과를 정렬합니다.

CEIL 및 :code:`FLOOR`에 대한 반환 유형을 수정합니다.

unbase64 v2에서 쿼리 생성을 개선합니다.

CSV용 Snowflake 매핑에 대한 일부 옵션을 수정합니다.

:code:`POJO`에 대한 직렬화를 수정합니다.

CSV 헤더 오류 메시지를 개선합니다.

Parquet을 읽을 때 try_cast`를 통한 :code:`mapType 감지 논리를 개선합니다.

reduceGroups API 지원.

init_spark_session 내부에서 연결 이름 지정을 지원합니다.

:code:`unbase64`에 UDF를 사용하기 위해 구성 매개 변수를 추가합니다.

함수 :code:`unbase64`에서 SQL 생성 최적화

from_json 회귀 수정

여러 BZ2 압축 블록 경계에 걸쳐 있는 레코드 수정

확인되지 않은 특성의 Null 허용 여부 매핑 수정

이름이 spark-connect`인 세션뿐만 아니라 모든 연결이 있는 :code:`spark-connect 세션 초기화

XML 옵션 유효성 검사 추가

컴파일 오류를 방지하기 위해 따옴표 문자와 일치하는 경우 CSV ESCAPE 옵션 삭제

:code:`productEncoder`에서 명명된 튜플의 잘못된 변환 수정

CSV 및 JSON에 :code:`mergeSchema`가 지원되는지 확인

Parquet 복합 유형 왕복(쓰기 + 읽기) 수정

pivot/:code:`unpivot`에 대한 스키마 수정

MOD 및 PMOD 함수의 반환 유형 수정

선행 공백 줄이 있는 파일의 CSV 헤더 추출 수정

타임존을 올바르게 테스트하고 문자열 기반 날짜/시간 직렬화를 Epoch 기반으로 바꿈

Windows용 Java 버전 확인 업데이트

중첩된 withColumn 호출 평면화

추가/하위 작업에서 :code:`Literal _IntegralType`에 대한 논리 변경

COUNT 함수에 LongType 반환

JSON 읽기: 테스트 압축 = bz2/bzip2/none

to_varchar/:code:`to_char`의 성능 개선

I/O 테스트에서 더 나은 비교 생성

복사 JSON에 대해 기본적으로 :code:`multi_line`을 :code:`False`로 설정

지정되지 않은 컴퓨팅 풀에서 오류가 발생했습니다.

df.count() 호출 시 결과 스캔 제거

JSON을 읽을 때 스키마 추론이 제한된 행에서 실행되는지 확인

간격 유형에 대한 createDataFrame 수정

곱하기 및 나누기 연산에서 :code:`Literal _IntegralType`에 대한 논리 변경

Set 작업에 대한 유형 확장 및 강제 변환

neo4j 다중 레이블 지원 수정

Grype가 Netty 취약점을 감지하지 못하도록 JAR 메타데이터 수정

ANY_VALUE 함수에 대한 올바른 유형 반환

시퀀스에 대해 확장된 유형 반환

구성 :code:`spark.sql.parquet.inferTimestampNTZ.enabled`에 대한 지원 추가

:code:`_validate_schema_and_get_writer`에서 일괄 열 이름 바꾸기/캐스팅

가져오기 크기가 지정된 분할 쿼리에서 JDBC 중단

HTTP 헤더 제한 초과 시 잘린 예외 메시지 반환

BigDecimal`에 대한 :code:`map_type_to_snowflake_type 수정

리터럴 소수점 전체 자릿수 및 소수 자릿수 수정

임의 문자열 생성 개선

BZ2 압축 JSON 로딩 시 손상된 레코드를 무시하도록 설정

Scala UDFs의 구성에서 스테이징된 파일 사용

JSON을 읽을 때 허용적으로 TRY_CAST 사용

서버 스레드 수를 구성 가능하도록 설정

테스트에 init_spark_session() 다시 추가하기

snowflake-connection-name`을 명확하게 하기 위해 :code:`snowpark-submit 명령줄 출력을 업데이트해야 합니다.

saveAsTable 실행 시 캐시 테이블 유형

:code:`coalesce`에 대한 하위 문자열 및 유형 캐스팅에 대한 리터럴 입력 최적화

avg/:code:`mean`에서 10진수 오버플로 처리 및 10진수 형식 강제 변환 수정

Iceberg - 덮어쓰기 시 권한 유지

SQL 통과 모드 표준화

리터럴 타임존에 from_utc_timestamp/to_utc_timestamp 최적화

Spark 의미 체계와 일치하도록 정형 타입으로 JSON null 값 처리

SQL에서 테이블 생성 시 정수 유형 에뮬레이션

Scala UDFs에서 중첩 행 매핑으로 극단적인 사례 수정

Parquet이 복잡한 정형 데이터 타입의 읽기 및 쓰기를 처리하는 방식 수정

Parquet 파일에 대한 저장 무시 인자 지원

아티팩트 리포지토리에 대한 지원 추가

Scala UDxF에서 배열 null 허용 여부 수정

(-1, 0) 범위의 인자에 대한 log1p 수정

집계 컨텍스트의 first_value 및 last_value 수정

Scala 클라이언트에 대한 DayTimeIntervalType 읽기 수정

Scala UDFs에서 타임존을 올바르게 처리

구성 없이 Java 11 및 17 지원

python 3.9에 대한 snowpark-submit 지원

snowpark-submit 워크플로에서 사용할 수 있도록 init_spark_session 개선

split 함수 문제를 수정함

snowflake-snowpark-python 종속성을 버전 1.44로 다운그레이드함

SQL 번역을 개선하기 위해 Neo4j 방언 매칭을 수정함

일관성을 위해 실행 응답에서 반환된 작업 ID를 수정함

TCP 채널 연결에 대한 gRPC 메타데이터 처리를 수정함

mapPartitions 작업에서 :code:`partition_hint`에 대한 지원을 추가함

사용자 정의 스키마가 있는 시나리오에 대한 XML 독자 지원을 추가함

다양한 DataFrame 연산자 이후에 숨겨진 열 유지

scala udf 입력 유형(byte, binary, scala.math.BigDecimal)에 대한 문제 수정

설명할 snowpark-submit 사용자 정의 인자 추가

세션 구성에 대한 구성 설정 해제 오류를 수정했습니다.

복사를 사용하여 CSV 파일을 병렬로 로드합니다.

외부 조인을 사용하여 DataFrames에 대한 작성을 수정합니다.

Scala UDFs에서 null을 처리합니다.

매개 변수 보호를 사용한 CTE 쿼리 생성을 최적화합니다.

:code:`DATEDIFF`의 인자 캐스팅을 방지합니다.

분할된 파일 추가 및 null 파티션 읽기를 수정했습니다.

SQL을 사용하여 기수 10과 16 사이의 변환 성능을 10배 개선했습니다.

Parquet 파일의 수정된 파티션만 덮어씁니다.

|spconnect|가 XP에서 실행 중인 경우 감지하도록 논리를 업데이트했습니다.

Snowflake에서 베리언트 데이터 타입이 있는 테이블에 작성을 지원합니다.

불필요한 정보 로그를 제거합니다.

Scala 테스트 작업에서 별도의 작업으로 Java 테스트를 이동합니다.

gcsfs의 종속성 버전을 업데이트합니다.

Scala 튜플 직렬화를 수정합니다.

대용량 JSON 파일 로딩을 수정합니다.

고객 문제에 대한 작은 수정 사항을 구현합니다.

구조체 비교에 대한 수정 사항을 구현합니다.

0-열 DataFrames에 대한 처리를 추가합니다.

업로드 파일 경로를 수정합니다.

:code:`Upload_files_if_needed`가 병렬로 실행되지 않는 문제를 수정합니다.

UDF 입력 유형이 proto에 정의되지 않은 경우 입력 유형 추론을 개선합니다.

NA 에지 케이스를 수정합니다.

단일 JSON BZ2 파일 읽기를 지원합니다.

서버 측 |spconnect|에서 Scala UDFs를 지원합니다.

문자열 및 daytime 간의 캐스트를 구현합니다.

:code:`group_map`에서 Scala UDFs에 대한 지원을 추가합니다.

생성된 워크로드 이름을 줄입니다.

Windows용 JAVA_HOME 처리를 수정했습니다.

JDBC를 통해 neo4j 데이터 원본을 지원합니다.