2025년 Python용 Snowpark 라이브러리 릴리스 정보¶

버그 수정 사항¶

• 중첩된 정형화 타입을 사용할 때 유효하지 않은 SQL의 생성을 유발할 수 있는 스키마 쿼리 생성의 버그에 대한 실험적 수정 사항을 추가했습니다.

새로운 기능¶

• 내부 DataFrameReference 오브젝트의 Snowpark DataFrame 참조가 변경되었다는 로그 메시지가 레벨 :code:`logging.DEBUG - 1`로 다운그레이드되었습니다.

• 세션을 검색할 때 대/소문자 상태에 대한 중복 매개 변수 검사 쿼리를 제거합니다.

• COUNT(*) 쿼리를 방지하기 위해 오브젝트 메타데이터를 통해 DataFrame 행 수를 검색합니다(성능).

• Snowflake Cortex 함수 Complete 적용에 대한 지원을 추가했습니다.

• 더 빠른 pandas 도입: 행 위치 계산을 연기하여 성능을 개선했습니다.

  • 현재 지원되는 작업은 read_snowflake, repr, loc, reset_index, :code:`merge`이며 이진 연산 최적화의 이점을 누릴 수 있습니다.

  • 지연 오브젝트(예: DataFrame 또는 시리즈)가 지원되는 작업과 지원되지 않는 작업을 함께 사용하는 경우에는 최적화가 사용되지 않습니다.

• apply 내에서 Snowpark pandas가 참조되는 경우에 대한 오류 메시지를 업데이트했습니다.

• 더 빠른 pandas에서 더미 행 위치 최적화를 활성화/비활성화하기 위해 dummy_row_pos_optimization_enabled 세션 매개 변수 추가했습니다.

종속성 업데이트¶

• 지원되는 modin 버전을 >=0.35.0 및 <0.37.0 (was previously >= 0.34.0 및 <0.36.0)으로 업데이트했습니다.

버그 수정 사항¶

• :code:`drop_duplicates`에서 동일한 데이터 소스를 동일한 쿼리에서 여러 번 읽을 수 있지만 매번 다른 순서로 읽어 최종 결과에서 행이 누락되는 문제를 수정했습니다. 이 수정 사항은 데이터 원본을 한 번만 읽도록 보장합니다.

• 특정 인덱싱 작업으로 인해 예기치 않게 :code:`AssertionError`가 발생하는 하이브리드 실행 모드의 버그를 수정했습니다.

Snowpark 로컬 테스트 업데이트¶

새로운 기능¶

• functions.py 에서 다음의 AI 지원 함수에 대한 지원을 추가했습니다.

  • ai_extract

  • ai_parse_document

  • ai_transcribe

• 과거 데이터 쿼리를 위한 Time Travel 지원을 추가했습니다.

  • 이제 :code:`Session.table()`은 Time Travel 매개 변수를 지원합니다.

    • time_travel_mode

    • statement

    • offset

    • timestamp

    • timestamp_type

    • stream

  • :code:`DataFrameReader.table()`은 직접 인자와 동일한 Time Travel 매개 변수를 지원합니다.

  • DataFrameReader`는 옵션 체이닝을 통한 시간 이동(예: :code:`session.read.option("time_travel_mode", "at").option("offset", -60).table("my_table"))을 지원합니다.

• 유효성 검사 및 외부 위치에 작성을 위해 다음 매개 변수를 :code:`DataFrameWriter.copy_into_location`에 지정하는 것에 대한 지원을 추가했습니다.

  • validation_mode

  • storage_integration

  • credentials

  • encryption

• 메타데이터가 있는 스테이징의 모든 파일 목록을 검색하기 위해 Session.directory 및 :code:`Session.read.directory`에 대한 지원을 추가했습니다.

• JDBC 드라이버가 외부 데이터 소스를 수집할 수 있도록 허용하기 위해 :code:`DataFrameReader.jdbc(Private Preview)`에 대한 지원을 추가했습니다.

• 소스 위치에서 출력 스테이징으로 파일을 복사하기 위해 :code:`FileOperation.copy_files`에 대한 지원을 추가했습니다.

• :code:`functions.py`에서 다음 함수에 대한 지원을 추가했습니다.

  • all_user_names

  • bitand

  • bitand_agg

  • bitor

  • bitor_agg

  • bitxor

  • bitxor_agg

  • current_account_name

  • current_client

  • current_ip_address

  • current_role_type

  • current_organization_name

  • current_organization_user

  • current_secondary_roles

  • current_transaction

  • getbit

버그 수정 사항¶

• 나타내는 실제 하위 유형과 일치하도록 :code:`TimestampType`의 :code:`_repr_`을 수정했습니다.

• DataFrameReader.dbapi`에서 :code:`UDTF 수집이 저장 프로시저에서 작동하지 않는 버그를 수정했습니다.

• 잘못된 스테이징 접두사가 사용되는 스키마 추론의 버그를 수정했습니다.

개선 사항¶

• 불필요한 작업을 방지하기 위해 DataFrameReader.dbapi 스레드 기반 수집에서 향상된 오류 처리를 통해 리소스 효율성이 개선되었습니다.

• 이전 버전 외에 cloudpickle==3.1.1 도 지원하도록 클라우드피클 종속성을 변경했습니다.

• 서버 측 커서를 통해 데이터를 가져와서 PostgreSQL 및 MySQL에 대한 :code:`DataFrameReader.dbapi`(공개 미리 보기) 수집 성능을 개선했습니다.

Snowpark pandas API 업데이트¶

새로운 기능¶

• “Pandas” 및 “Ray” 백엔드에서 다음 함수에 대한 지원을 완료했습니다.

  • pd.read_snowflake()

  • pd.to_iceberg()

  • pd.to_pandas()

  • pd.to_snowpark()

  • pd.to_snowflake()

  • DataFrame.to_iceberg()

  • DataFrame.to_pandas()

  • DataFrame.to_snowpark()

  • DataFrame.to_snowflake()

  • Series.to_iceberg()

  • Series.to_pandas()

  • Series.to_snowpark()

  • Series.to_snowflake()

    이전에는 이러한 함수와 메서드 중 일부만 Pandas 백엔드에서 지원되었습니다.

• :codenowrap:`Index.get_level_values()`에 대한 지원을 추가했습니다.

개선 사항¶

• Snowflake에서 나가는 데이터에 대한 하이브리드 실행의 기본 전송 제한을 100,000로 설정합니다. 이 제한은 SnowflakePandasTransferThreshold 환경 변수로 재정의할 수 있습니다. 이 구성은 관계형 워크로드에서 사용 가능한 두 개의 엔진 “pandas” 및 “Snowflake”가 있는 시나리오에 적합합니다.

• 메시지에서 :code:`–upgrade`를 :code:`pip install “snowflake-snowpark-python[modin]”`에 추가하여 가져오기 오류 메시지를 개선했습니다.

• 5초 기간으로 사전 집계하고 하이브리드 실행 및 네이티브 pandas 성능을 추적하는 데 유용한 좁은 범위의 메트릭만 유지하여 modin 클라이언트의 원격 분석 메시지를 줄였습니다.

• 하이브리드 실행이 활성화된 경우에만 초기 행 수를 설정하여 많은 워크로드에 대해 실행되는 쿼리 수를 줄입니다.

• 하이브리드 실행을 활성화하기 위해 통합 테스트를 위한 새로운 테스트 매개 변수를 추가했습니다.

버그 수정 사항¶

• pandas 또는 ray 백엔드를 사용하여 DataFrames 또는 시리즈에서 Snowflake 확장 함수/메서드 to_dynamic_table(), cache_result(), to_view(), create_or_replace_dynamic_table() 및 create_or_replace_view()`를 호출하려고 시도하면 :code:`AttributeError 대신 :code:`NotImplementedError`가 발생합니다.

새로운 기능¶

• functions.py 에서 다음 xpath 함수에 대한 지원을 추가했습니다.

  • xpath

  • xpath_string

  • xpath_boolean

  • xpath_int

  • xpath_float

  • xpath_double

  • xpath_long

  • xpath_short

• Session.write_arrow() 함수에서 use_vectorized_scanner 매개 변수에 대한 지원을 추가했습니다.

• DataFrame 프로파일러에서 각 쿼리에 대해 describe query time, execution time 및 sql query text 정보를 추가합니다. 이 정보를 보려면 DataFrame에 대해 session.dataframe_profiler.enable() 및 get_execution_profile 을 호출합니다.

• :code:`DataFrame.col_ilike`를 지원하는 기능이 추가되었습니다.

• AsyncJob 오브젝트를 반환하는 비차단 저장 프로시저 호출에 대한 지원을 추가했습니다.

  • Session.call() 에 block: bool = True 매개 변수를 추가했습니다. block=False 인 경우 완료될 때까지 차단하는 대신 AsyncJob 을 반환합니다.

  • 명명된 저장 프로시저와 익명 저장 프로시저 모두에서 비동기 지원을 하기 위해 StoredProcedure.__call__() 에 block: bool = True 매개 변수를 추가했습니다.

  • Session.call(block=False) 에 해당하는 Session.call_nowait() 을 추가했습니다.

버그 수정 사항¶

• 대규모 입력 데이터를 사용하고 session.create_dataframe() 을 로컬로 사용하여 DataFrame 을 만들 때 내부 플랜의 deepcopy 로 인해 메모리 스파이크가 발생하는 CTE 최적화 스테이지의 버그를 수정했습니다.

• infer_schema_options 의 ignore_case 옵션이 적용되지 않는 DataFrameReader.parquet 의 버그를 수정했습니다.

• 쿼리 결과 형식이 JSON 및 ARROW 로 설정된 경우 to_pandas() 의 열 이름 형식이 달라지는 버그를 수정했습니다.

사용 중단¶

• pkg_resources 를 지원 중단했습니다.

종속성 업데이트¶

• protobuf<6.32 에 대한 종속성을 추가했습니다.

Snowpark pandas API 업데이트¶

새로운 기능¶

• DataFrame.set_backend 메서드를 사용하여 Snowflake와 <Ray 간에 효율적으로 데이터를 전송하기 위한 지원을 추가했습니다. modin 의 설치된 버전은 0.35.0 이상이어야 하며, ray 를 설치해야 합니다.

종속성 업데이트¶

• 지원되는 modin 버전을 >=0.34.0 및 <0.36.0으로 업데이트했습니다(이전 >= 0.33.0 및 <0.35.0).

• 설치된 modin 버전이 0.35.0 이상인 경우 pandas 2.3에 대한 지원을 추가했습니다.

버그 수정 사항¶

• pd.to_datetime 및 pd.to_timedelta 가 예기치 않게 IndexError 를 발생시키는 하이브리드 실행 모드(비공개 미리 보기)의 문제를 수정했습니다.

• 잠재적인 전환 작업을 수행하기 전에 호출된 경우 pd.explain_switch 가 IndexError 를 발생시키거나 None 을 반환하는 버그를 수정했습니다.

새로운 기능¶

• Session.create_dataframe 은 이제 pandas DataFrame 또는 pyarrow 테이블에서 DataFrame을 만들 때 Session.write_pandas 또는 Session.write_arrow 에 대한 내부 호출에 전달되는 키워드 인자를 수락합니다.

• AsyncJob용 새 APIs를 추가했습니다.

  • AsyncJob.is_failed() 는 작업의 실패 여부를 나타내는 부울을 반환합니다. AsyncJob.is_done() 과 함께 사용하여 작업이 완료되고 오류가 발생했는지 확인할 수 있습니다.

  • AsyncJob.status() 는 result() 를 호출하지 않고도 자세한 모니터링을 수행하기 위해 현재 쿼리 상태를 나타내는 문자열(예: “RUNNING”, “SUCCESS”, “FAILED_WITH_ERROR”)을 반환합니다.

• DataFrame 프로파일러를 추가했습니다. 사용하려면 원하는 DataFrame에 대해 get_execution_profile() 을 호출하면 됩니다. 이 프로파일러는 DataFrame을 평가하기 위해 실행된 쿼리와 각 쿼리 연산자에 대한 통계를 보고합니다. 현재는 실험적인 기능입니다.

• functions.py 에서 다음 함수에 대한 지원을 추가했습니다.

  • ai_sentiment

• context.configure_development_features 실험적 기능의 인터페이스를 업데이트했습니다. 사용자가 명시적으로 활성화하지 않는 한, 모든 개발 기능은 기본적으로 비활성화됩니다.

개선 사항¶

• 하이브리드 실행 행의 예측이 개선되고 즉시 호출이 감소했습니다.

• 하이브리드 실행을 사용할 때 Snowflake 외부로의 전송 비용을 제어하는 새 구성 변수를 추가했습니다.

• snowflake_udf_params 키워드 인자를 전달하여 DataFrame/Series/GroupBy.apply, map 및 transform으로 영구 및 변경 불가능한 UDFs/UDTFs를 생성하기 위한 지원을 추가했습니다.

• pd.unique 를 사용하는 DataFrame 및 Series 입력에 대한 mapping np.unique 지원을 추가했습니다.

버그 수정 사항¶

• 사용자가 프로그래밍 방식으로 또는 환경 변수를 사용하여 명시적으로 구성한 경우에도 Snowpark pandas 플러그인이 AutoSwitchBackend 를 무조건적으로 비활성화하는 문제를 수정했습니다.

새로운 기능¶

• functions.py 에서 다음 함수에 대한 지원을 추가했습니다.

  • ai_embed

  • try_parse_json

개선 사항¶

• 쿼리 주위에 괄호가 필요하지 않도록 DataFrameReader.dbapi`(비공개 미리 보기)에서 :code:`query 매개 변수가 개선되었습니다.

• 대상 데이터 소스의 스키마를 추론할 때 발생하는 예외에 대한 DataFrameReader.dbapi (비공개 미리 보기)의 오류 경험이 개선되었습니다.

버그 수정 사항¶

• Python 저장 프로시저의 프로세스 종료 코드 1에서 dbapi 가 실패하는 :code:`DataFrameReader.dbapi`(비공개 미리 보기)의 버그를 수정했습니다.

• custom_schema 가 잘못된 스키마를 허용하는 DataFrameReader.dbapi (비공개 미리 보기)의 버그를 수정했습니다.

• custom_schema 가 Postgres 및 MySQL에 연결할 때 작동하지 않는 DataFrameReader.dbapi (비공개 미리 보기)의 버그를 수정했습니다.

• 외부 스테이지에 대해 실패하는 스키마 추론의 버그를 수정했습니다.

Snowpark 로컬 테스트 업데이트¶

새로운 기능¶

• 새 옵션 TRY_CAST 를 DataFrameReader 에 추가했습니다. TRY_CAST 가 True 인 경우 데이터를 로드할 때 열이 하드 캐스트 대신 TRY_CAST 문에 래핑됩니다.

• 새 옵션 USE_RELAXED_TYPES 를 DataFrameReader 의 INFER_SCHEMA_OPTIONS 에 추가했습니다. True 로 설정할 경우 이 옵션은 모든 문자열을 최대 길이 문자열로 캐스팅하고 모든 숫자 유형을 DoubleType 으로 캐스팅합니다.

• 데이터프레임 스키마 메타데이터의 유효성을 즉시 검사할 수 있도록 디버그 기능이 개선되었습니다. snowflake.snowpark.context.configure_development_features() 를 사용하여 활성화합니다.

• 사용자가 데이터 프레임 전체에서 함수를 매핑할 수 있는 새 함수 snowflake.snowpark.dataframe.map_in_pandas 를 추가했습니다. 매핑 함수는 pandas DataFrames의 반복자를 입력으로 사용하고 하나를 출력으로 제공합니다.

• 쿼리를 설명하기 위한 ttl cache 를 추가했습니다. 15초 간격으로 반복되는 쿼리는 Snowflake를 다시 쿼리하는 대신 캐시된 값을 사용합니다.

• 로컬 수집에서 병렬 데이터 가져오기를 위한 다중 처리를 활성화하기 위해 매개 변수 fetch_with_process 를 :code:`DataFrameReader.dbapi`(PrPr)에 추가했습니다. 기본적으로 로컬 수집은 멀티스레딩을 사용합니다. 다중 처리는 Parquet 파일 생성과 같은 CPU 바인딩 작업의 성능을 향상시킬 수 있습니다.

• 사용자가 모델의 메서드를 호출할 수 있도록 새 함수 snowflake.snowpark.functions.model 을 추가했습니다.

개선 사항¶

• rowTag 옵션을 사용하여 row 태그가 있는 XML 파일을 읽을 때, rowValidationXSDPath 옵션을 사용하여 XSD 스키마를 통해 행 유효성 검사를 수행하는 지원을 추가했습니다.

• 플랫 SQL 문을 생성하는 session.table().sample() 에 대한 SQL 생성 기능이 개선되었습니다.

• functions.explode 에 대한 입력으로 사용할 수 있도록 복잡한 열 식에 대한 지원을 추가했습니다.

• SQL 컴파일 오류에 해당하는 Python 줄을 보여주는 개선된 디버깅 기능을 추가했습니다. snowflake.snowpark.context.configure_development_features() 를 사용하여 활성화할 수 있습니다. 이 기능은 또한 세션에서 활성화되는 AST 컬렉션에 따라 달라집니다. 이 컬렉션을 활성화하려면 session.ast_enabled = True 를 사용합니다.

• DML/DDL 쿼리를 포함하는 Snowpark DataFrame에서 to_snowpark_pandas():code: 를 호출할 때 NotImplementedError 를 발생시키지 않도록 enforce_ordering=True 를 설정했습니다.

버그 수정 사항¶

• Iceberg 테이블을 생성할 때 중복 유효성 검사로 인해 발생하는 버그를 수정했습니다.

• 커서 또는 연결을 닫으면 예기치 않게 오류가 발생하고 프로그램이 종료될 수 있는 DataFrameReader.dbapi (비공개 미리 보기)의 버그를 수정했습니다.

• 입력 DataFrame의 열과 일치하는 출력 열이 있는 DataFrame.select() 에서 테이블 함수를 사용할 때 발생하는 모호한 열 오류를 수정했습니다. 이 개선 사항은 DataFrame 열이 Column 오브젝트로 제공될 때 작동합니다.

• DecimalTypes의 열에 NULL이 있는 경우 대신 열이 FloatTypes로 캐스팅되고 정밀도 손실이 발생하는 버그를 수정했습니다.

Snowpark 로컬 테스트 업데이트¶

• 윈도우 함수를 처리할 때 결과에서 잘못된 인덱싱이 발생하는 버그를 수정했습니다.

• 스칼라 숫자가 fillna 에 전달되는 경우 Snowflake에서 오류를 발생시키는 대신 숫자가 아닌 열을 무시합니다.

Snowpark pandas API 업데이트¶

새로운 기능¶

• Parquet 및 UDTF 기반 수집 모두에 대해 DataFrameWriter.dbapi (비공개 미리 보기)의 MySQL 지원을 추가했습니다.

• Parquet 및 UDTF 기반 수집 모두에 대해 DataFrameReader.dbapi (비공개 미리 보기)의 PostgreSQL 지원을 추가했습니다.

• UDTF 기반 수집에 대한 DataFrameWriter.dbapi (비공개 미리 보기)의 Databricks 지원을 추가했으며, Databricks 지원의 다른 멘션과 통합되었습니다.

• INFER_SCHEMA 가 활성화된 파일을 읽을 때 PATTERN 의 사용을 활성화하기 위해 DataFrameReader 에 대한 지원을 추가했습니다.

• functions.py 에서 다음의 AI 지원 함수에 대한 지원을 추가했습니다.

  • ai_complete

  • ai_similarity

  • ai_summarize_agg (원래 summarize_agg)

  • ai_classify 에 대한 다양한 구성 옵션

• rowTag 옵션을 사용하는 행 태그가 있는 XML 파일을 읽을 때 더 많은 옵션을 사용할 수 있도록 지원을 추가했습니다.

  • ignoreNamespace 옵션을 사용하여 열 이름에서 네임스페이스 접두사를 제거하기 위한 지원을 추가했습니다.

  • attributePrefix 옵션을 사용하여 결과 테이블의 특성 열에 대한 접두사를 지정하기 위한 지원을 추가했습니다.

  • excludeAttributes 옵션을 사용하여 XML 요소에서 특성을 제외하기 위한 지원을 추가했습니다.

  • 하위 요소가 없는 요소에 특성이 있는 경우 valueTag 옵션을 사용하여 값의 열 이름을 지정하기 위한 지원을 추가했습니다.

  • nullValue 옵션을 사용하여 null 값으로 처리할 값을 지정하기 위한 지원을 추가했습니다.

  • charset 옵션을 사용하여 XML 파일의 문자 인코딩을 지정하기 위한 지원을 추가했습니다.

  • ignoreSurroundingWhitespace 옵션을 사용하여 XML 요소에서 주변 공백을 무시하기 위한 지원을 추가했습니다.

• 함수의 반환 타입을 DataFrame 오브젝트로 설정하는 데 사용할 수 있는 Session.call 의 매개 변수 return_dataframe 에 대한 지원을 추가했습니다.

• stddev 및 mean 이 문자열 열에 대해 계산되도록 트리거하는 strings_include_math_stats 라는 Dataframe.describe 에 새 인자를 추가했습니다.

• DataFrame.lineage.trace 의 DGQL 에서 계보를 검색할 때 Edge.properties 를 검색하기 위한 지원을 추가했습니다.

• 테이블이 이미 존재하는지 지정할 수 있도록 매개 변수 table_exists 를 DataFrameWriter.save_as_table 에 추가했습니다. 이를 통해 비용이 많이 들 수 있는 테이블 조회를 건너뛸 수 있습니다.

버그 수정 사항¶

• 로컬 함수로 정의된 create_connection 이 다중 처리와 호환되지 않는 DataFrameReader.dbapi (비공개 미리 보기)의 버그를 수정했습니다.

• Databricks TIMESTAMP 유형이 TIMESTAMP_LTZ 유형이어야 하지만, Snowflake TIMESTAMP_NTZ 유형으로 변환되는 DataFrameReader.dbapi (비공개 미리 보기)의 버그를 수정했습니다.

• 동일한 리더 오브젝트로 반복 읽기를 수행하면 잘못 인용된 열이 생성되는 DataFrameReader.json 의 버그를 수정했습니다.

• select 문에서 시작되지 않은 DataFrame을 변환할 때 열 이름을 삭제하는 DataFrame.to_pandas() 의 버그를 수정했습니다.

• DataFrame에 UDTF가 포함되어 있고 UDTF의 SELECT * 가 올바르게 구문 분석되지 않을 때 DataFrame.create_or_replace_dynamic_table 에서 오류가 발생하는 버그를 수정했습니다.

• 함수의 값 절에서 캐스팅된 열을 사용할 수 없는 버그를 수정했습니다.

개선 사항¶

• 입력 pandas DataFrame에 열이 없을 때 Session.write_pandas() 및 Session.create_dataframe() 에서 발생하는 오류 메시지를 개선했습니다.

• 인자에 현재 DataFrame의 열과 충돌하는 출력 열이 있는 테이블 함수가 포함된 경우의 DataFrame.select 를 개선했습니다. 이 개선을 통해 사용자가 df.select("col1", "col2", table_func(...)) 에서 충돌하지 않는 열을 문자열 인자로 제공하는 경우 Snowpark 클라이언트에서 생성된 쿼리가 모호한 열 오류를 발생시키지 않습니다.

• 더 나은 성능과 보안을 위해 인메모리 Parquet 기반 수집을 사용하도록 DataFrameReader.dbapi (비공개 미리 보기)를 개선했습니다.

• 테이블에 복사 작업에서 MATCH_BY_COLUMN_NAME=CASE_SENSITIVE 를 사용하도록 DataFrameReader.dbapi (비공개 미리 보기)를 개선했습니다.

Snowpark 로컬 테스트 업데이트¶

Snowpark pandas API 업데이트¶

개선 사항¶

• Snowflake 시스템 프로시저를 호출해도 프로시저의 반환 유형을 확인하기 위한 describe procedure 호출이 추가로 호출되지 않습니다.

• 스테이지 URL 및 FILE 데이터 타입으로 Session.create_dataframe() 지원이 추가되었습니다.

• session.read.option('mode', <mode>), option('rowTag', <tag_name>).xml(<stage_file_path>) 를 사용하여 XML 파일을 읽을 때 손상된 XML 레코드를 처리하기 위한 다양한 모드 지원이 추가되었습니다. 현재는 PERMISSIVE 및 FAILFAST 가 지원됩니다.

• 파일에서 지정된 ROWTAG 를 찾을 수 없을 때 XML 리더의 오류 메시지가 표시되는 문제를 개선했습니다.

• Dataframe.drop 에서 삭제된 열을 제외하기 위해 SELECT * EXCLUDE () 를 사용하도록 쿼리 생성을 개선했습니다. 이 기능을 활성화하려면 session.conf.set("use_simplified_query_generation", True) 를 설정합니다.

• VariantType 에 대한 지원을 StructType.from_json 에 추가했습니다.

버그 수정 사항¶

• DataFrameWriter.dbapi (비공개 미리 보기)에서 외부 데이터베이스의 Unicode 또는 큰따옴표로 묶인 열 이름이 올바르게 인용되지 않아 오류가 발생하는 버그가 수정되었습니다.

• 중첩된 OBJECT 데이터의 명명된 필드에 공백이 포함될 때 오류가 발생할 수 있는 버그가 수정되었습니다.

Snowpark 로컬 테스트 업데이트¶

Snowpark pandas API 업데이트¶

새로운 기능¶

• StoredProcedure.register():code: 에서 execute_as 인자의 restricted caller 권한에 대한 지원을 추가했습니다.

• DataFrame.to_pandas() 에서 비선택 문에 대한 지원이 추가되었습니다.

• Session.add_packages, Session.add_requirements, Session.get_packages, Session.remove_package, Session.clear_packages 에 artifact_repository 매개 변수에 대한 지원이 추가되었습니다.

• session.read.option('rowTag', <tag_name>).xml(<stage_file_path>) (실험적) 를 사용하여 XML 파일의 행 태그를 읽는 기능이 추가되었습니다.

  • 각 XML 레코드는 별도의 행으로 추출됩니다.

  • 해당 레코드 내의 각 필드는 VARIANT 유형의 별도 열이 되며, col(a.b.c) 와 같은 점 표기법을 사용하여 추가로 쿼리할 수 있습니다.

• DataFrameReader.dbapi (PrPr)에 업데이트가 추가되었습니다.

  • 여러 개의 가져온 데이터를 1개의 Parquet 파일로 병합하여 성능을 최적화하는 fetch_merge_count 매개 변수를 추가했습니다.

  • Databricks에 대한 지원이 추가되었습니다.

  • Snowflake UDTF 를 통한 수집 지원을 추가했습니다.

• functions.py (비공개 미리 보기)에서 다음 AI 기반 함수에 대한 지원이 추가되었습니다.

  • prompt

  • ai_filter (prompt() 함수 및 이미지 파일 지원 추가, 두 번째 인자 이름을 expr 에서 file 로 변경했습니다.)

  • ai_classify

Snowpark 로컬 테스트 업데이트¶

Snowpark pandas API 업데이트¶

새로운 기능¶

• relaxed_ordering 매개 변수를 도입하여 Dataframe.to_snowpark_pandas 에서 완화된 일관성 및 주문 보증을 지원합니다.

• DataFrameReader.dbapi (미리 보기)는 이제 session_init_statement 매개 변수에 대한 문자열 목록을 허용하여 세션 초기화 중에 여러 개의 SQL 문을 실행할 수 있습니다.

개선 사항¶

• Dataframe.stat.sample_by 가 fractions 에서 각 키에 대해 UNION ALL 하위 쿼리를 생성하는 기존 방식에 비해 대규모 fractions 사전과 잘 어울리는 단일 플랫 쿼리를 생성하도록 쿼리 생성을 개선했습니다. 이 기능을 활성화하려면 session.conf.set("use_simplified_query_generation", True) 를 설정합니다.

• Parquet 파일을 테이블에 복사본으로 복사할 때 벡터화 옵션을 활성화하여 DataFrameReader.dbapi 의 성능을 개선했습니다.

• DataFrame.random_split 에 대한 쿼리 생성이 다음과 같은 방식으로 개선되었습니다. session.conf.set("use_simplified_query_generation", True) 를 설정하여 활성화할 수 있습니다.

  • 입력 데이터프레임의 내부 구현에서 cache_result 를 제거하여 순수한 지연 데이터프레임 작업을 수행할 필요가 없어졌습니다.

  • 이제 seed 인자는 여러 호출과 세션에서 반복 가능한 결과를 제공하는 예상대로 작동합니다.

• DataFrame.fillna 및 DataFrame.replace 는 이제 include_decimal 이 True 로 설정된 경우 int 및 float 를 Decimal 열에 맞추는 기능을 지원합니다.

• 다음 UDF 및 files.py 의 저장 프로시저 함수에 대한 설명서를 일반 공급에 따라 추가했습니다.

  • SnowflakeFile.write

  • SnowflakeFile.writelines

  • SnowflakeFile.writeable

• SnowflakeFile 및 SnowflakeFile.open() 에 대한 설명서가 일부 변경되었습니다.

버그 수정 사항¶

• 오류를 발생시키는 다음 함수의 버그를 수정했습니다. .cast() 가 출력에 적용됩니다.

  • from_json

  • size

Snowpark 로컬 테스트 업데이트¶

Snowpark pandas API 업데이트¶

Snowpark 로컬 테스트 업데이트¶

버그 수정 사항¶

• 저장 프로시저 및 Snowbooks에서 사용할 수 없는 DataFrameReader.dbapi (비공개 미리 보기)의 버그가 수정되었습니다.

새로운 기능¶

• functions.py (비공개 미리 보기)에서 다음 AI 기반 함수에 대한 지원이 추가되었습니다.

  • ai_filter

  • ai_agg

  • summarize_agg

• 새로운 FILE SQL 유형에 대한 지원이 추가되었으며 functions.py (비공개 미리 보기)에 다음과 같은 관련 함수가 추가되었습니다.

  • fl_get_content_type

  • fl_get_etag

  • fl_get_file_type

  • fl_get_last_modified

  • fl_get_relative_path

  • fl_get_scoped_file_url

  • fl_get_size

  • fl_get_stage

  • fl_get_stage_file_url

  • fl_is_audio

  • fl_is_compressed

  • fl_is_document

  • fl_is_image

  • fl_is_video

• 아티팩트 저장소(비공개 미리 보기)를 사용하여 PyPi 에서 서드 파티 패키지를 가져오는 기능이 추가되었습니다.

  • 저장 프로시저 또는 사용자 정의 함수를 등록할 때 키워드 인자 artifact_repository 및 packages 를 사용하여 아티팩트 리포지토리와 패키지를 각각 지정합니다.

  • 지원되는 APIs 는 다음과 같습니다.

    • Session.sproc.register

    • Session.udf.register

    • Session.udaf.register

    • Session.udtf.register

    • functions.sproc

    • functions.udf

    • functions.udaf

    • functions.udtf

    • functions.pandas_udf

    • functions.pandas_udtf

개선 사항¶

• 저장 프로시저 등록 시 snowflake-snowpark-python 패키지 호환성에 대한 버전 유효성 검사 경고가 개선되었습니다. 이제 메이저 또는 마이너 버전이 일치하지 않는 경우에만 경고가 트리거되며, 버그 수정 버전 차이로 인해 더 이상 경고가 생성되지 않습니다.

• 이전 버전 외에 cloudpickle==3.0.0 도 지원하도록 클라우드피클 종속성을 변경했습니다.

버그 수정 사항¶

• 스레드 안전 세션이 비활성화된 경우 많은 수의 값이 있는 데이터프레임을 생성하면 Unsupported feature 'SCOPED_TEMPORARY'. 오류가 발생하는 버그를 수정했습니다.

• 스테이지 파일을 읽어 DataFrame 을 생성하고 CTE 최적화가 활성화된 경우 df.describe 가 내부 SQL 실행 오류를 발생시키는 버그를 수정했습니다.

• session.conf.set("use_simplified_query_generation", True) 를 사용하여 간소화된 쿼리 생성이 활성화된 경우 df.order_by(A).select(B).distinct() 가 잘못된 SQL 을 생성하는 버그를 수정했습니다.

  • 기본적으로 단순화된 쿼리 생성을 비활성화합니다.

Snowpark pandas API 업데이트¶

Snowpark 로컬 테스트 업데이트¶

새로운 기능¶

• functions.py 에서 다음 함수에 대한 지원을 추가했습니다.

  • normal

  • randn

• Dataframe.union_by_name 및 Dataframe.union_all_by_name 에 allow_missing_columns 매개 변수에 대한 지원을 추가했습니다.

개선 사항¶

• 충돌을 방지하기 위해 무작위 오브젝트 이름 생성을 개선했습니다.

• Dataframe.distinct 쿼리 생성이 GROUP BY all columns 을 사용하여 SELECT 대신 SELECT DISTINCT 를 생성하도록 개선되었습니다. 이 기능을 비활성화하려면 session.conf.set("use_simplified_query_generation", False) 로 설정하십시오.

사용 중단¶

• 사용되지 않는 Snowpark Python 함수 snowflake_cortex_summarize. 사용자는 snowflake-ml-python 을 설치하고 대신 snowflake.cortex.summarize 함수를 사용할 수 있습니다.

• 사용되지 않는 Snowpark Python 함수 snowflake_cortex_sentiment. 사용자는 snowflake-ml-python 을 설치하고 대신 snowflake.cortex.sentiment 함수를 사용할 수 있습니다.

버그 수정 사항¶

• 여러 쿼리를 생성하는 DataFrames 에 대한 스택 추적에 의해 세션 수준 쿼리 태그를 덮어쓰는 버그를 수정했습니다. 이제 쿼리 태그는 session.conf.set("collect_stacktrace_in_query_tag", True) 경우에만 스택트레이스로 설정됩니다.

• Session._write_pandas 에서 Snowpark Pandas 오브젝트를 작성할 때 use_logical_type 매개 변수를 Session._write_modin_pandas_helper 로 잘못 전달하던 버그를 수정했습니다.

• 여러 값의 형식이 잘못 지정될 수 있는 SQL 생성 옵션의 버그를 수정했습니다.

• 데이터베이스 또는 스키마의 빈 문자열이 올바르게 처리되지 않고 잘못된 SQL 문을 생성하는 버그가 Session.catalog 에서 수정되었습니다.

실험적 기능¶

• Snowflake 테이블에 파이로우 테이블 쓰기 지원이 추가되었습니다.

Snowpark pandas API 업데이트¶

버그 수정 사항¶

• apply 에서 kwargs가 적용된 함수에 올바르게 전달되지 않던 버그를 수정했습니다.

Snowpark 로컬 테스트 업데이트¶

버그 수정 사항¶

• DataFrame.join 에서 열에 잘못된 입력이 발생하는 버그가 수정되었습니다.

• otherwise 절에서 잘못된 결과를 유발하는 when 문의 버그를 수정했습니다.

새로운 기능¶

functions.py 에서 다음 함수에 대한 지원을 추가했습니다.

• array_reverse

• divnull

• map_cat

• map_contains_key

• map_keys

• nullifzero

• snowflake_cortex_sentiment

• acosh

• asinh

• atanh

• bit_length

• bitmap_bit_position

• bitmap_bucket_number

• bitmap_construct_agg

• cbrt

• equal_null

• from_json

• ifnull

• localtimestamp

• max_by

• min_by

• nth_value

• nvl

• octet_length

• position

• regr_avgx

• regr_avgy

• regr_count

• regr_intercept

• regr_r2

• regr_slope

• regr_sxx

• regr_sxy

• regr_syy

• try_to_binary

• base64

• base64_decode_string

• base64_encode

• editdistance

• hex

• hex_encode

• instr

• log1p

• log2

• log10

• percentile_approx

• unbase64

• DataFrame.create_dataframe 을 호출할 때 스키마 문자열(암시적 구조체 구문 포함) 지정에 대한 지원을 추가했습니다.

• DataFrameWriter.insert_into/insertInto 를 지원하는 기능이 추가되었습니다. 이 방법은 로컬 테스트 모드도 지원합니다.

• 임시 뷰를 만들기 위한 DataFrame.create_temp_view 지원을 추가했습니다. 뷰가 이미 존재하면 실패합니다.

• map_cat 및 map_concat 함수에서 여러 열에 대한 지원을 추가했습니다.

• DataFrame.with_column 및 DataFrame.with_columns 에서 원래 열 순서를 유지하기 위한 옵션 keep_column_order 를 추가했습니다.

• StructType 열의 필드 이름을 바꾸거나 필드를 추가할 수 있는 열 캐스트에 옵션을 추가했습니다.

• contains_null parameter 에 대한 지원을 ArrayType 에 추가했습니다.

• 스테이지에서 파일을 읽어 만든 DataFrame 에서 DataFrame.create_or_replace_temp_view 를 통해 임시 뷰를 생성하는 기능을 추가했습니다.

• MapType 에 value_contains_null 매개 변수에 대한 지원을 추가했습니다.

• 현재 환경이 대화형 환경인지 여부를 나타내는 원격 분석에 대화형 기능을 추가했습니다.

• Native App에서 session.file.get 이 현재 버전에서 /로 시작하는 파일 경로를 읽을 수 있도록 허용합니다.

• DataFrame.pivot 이후 여러 집계 함수에 대한 지원을 추가했습니다.

실험적 기능¶

• Snowflake 오브젝트를 관리하는 Session.catalog 클래스를 추가했습니다. Session.catalog 를 통해 액세스할 수 있습니다.

  • snowflake.core 는 이 기능에 필요한 종속성입니다.

• 스테이지에서 JSON 파일을 읽을 때 사용자 입력 스키마 또는 사용자 입력 스키마를 허용합니다.

• DataFrame.create_dataframe 을 호출할 때 스키마 문자열(암시적 구조체 구문 포함) 지정에 대한 지원을 추가했습니다.

개선 사항¶

• cosign 을 사용하여 패키지 서명을 확인하는 방법에 대한 지침을 포함하도록 README.md 를 업데이트했습니다.

버그 수정 사항¶

• 로컬 테스트 모드에서 열에 0이 포함되어야 하는데 None이 포함되는 버그를 수정했습니다.

• StructField.from_json 에서 tzinfo 를 포함한 TimestampTypes 가 올바르게 구문 분석되지 않는 버그를 수정했습니다.

• 입력 열이 날짜 유형 또는 타임스탬프 유형일 때 오류를 발생시키는 function date_format 버그를 수정했습니다.

• Null이 아닌 열에 null 값을 삽입할 수 있는 DataFrame 버그를 수정했습니다.

• 열 식 오브젝트를 전달할 때 유형 힌트 어설션 오류가 발생하던 replace 및 lit 함수의 버그를 수정했습니다.

• pandas_udf 및 pandas_udtf 에서 세션 매개 변수가 잘못 무시되던 버그를 수정했습니다.

• session.call 을 통해 호출되는 시스템 함수에 대해 잘못된 유형 변환 오류가 발생하던 버그를 수정했습니다.

Snowpark pandas API 업데이트¶