Snowpark Migration Accelerator: 릴리스 노트¶

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core: 8.1.8

수정됨¶

• Fixed an issue where the SMA generated corrupted Databricks notebook files in the output directory during Assessment mode execution.

• Fixed an issue where the SMA would crash if the input directory contained folders named “SMA_ConvertedNotebooks”.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core: 8.1.7

추가됨¶

• Added the Snowpark Connect readiness score. This new score measures the percentage of Spark API references in your codebase that are supported by Snowpark Connect for Spark.

  • This will now be the only score shown in assessment mode. To generate the Snowpark API Readiness Score, run the SMA in conversion mode.

• Added support for SQL embedded migration for literal string concatenations assigned to a local variable in the same scope of execution.

  • Included scenarios now include:

    sqlStat = "SELECT colName " + "FROM myTable" 
    session.sql(sqlStat)
    

    Copy

변경됨¶

• Updated the EWI URLs in the Issues.csv inventory to point to the main Snowflake documentation site.

수정됨¶

• Fixed a code issue that caused inner project configuration files (e.g., pom.xml, build.sbt, build.gradle) to be incorrectly placed in the root of the output directory instead of the correct inner directories after migration.

추가됨¶

• Added the Snowpark Connect readiness score and updated the assessment execution flow.

  • When running the application in assessment mode, only the Snowpark Connect readiness score is now displayed.

  • When running the application in conversion mode, the Snowpark API readiness score is displayed (the Snowpark Connect Readiness will not be shown).

변경됨¶

Updated all in-application documentation links to point to the official Snowflake documentation, replacing the legacy SnowConvert site.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 8.0.73

수정됨¶

• Fixed an issue where the Snowpark Migration Accelerator failed converting DBC files into Jupyter Notebooks properly.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 8.0.72

추가됨¶

• Snowpark Scala v1.17.0에 대한 지원이 추가되었습니다.

‘NotSupported’에서 ‘Direct’로 변경:

데이터 세트:

• org.apache.spark.sql.Dataset.isEmpty → com.snowflake.snowpark.DataFrame.isEmpty

행:

• org.apache.spark.sql.Row.mkString → com.snowflake.snowpark.Row.mkString

StructType:

• org.apache.spark.sql.types.StructType.fieldNames → com.snowflake.snowpark.types.StructType.fieldNames

‘NotSupported’에서 ‘Rename’으로 변경:

함수:

• org.apache.spark.functions.flatten → com.snowflake.snowpark.functions.array_flatten

‘Direct’에서 ‘Rename’으로 변경:

함수:

• org.apache.spark.functions.to_date → com.snowflake.snowpark.functions.try_to_date

• org.apache.spark.functions.to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

‘DirectHelper’에서 ‘Rename’으로 변경:

함수:

• org.apache.spark.sql.functions.concat_ws → com.snowflake.snowpark.functions.concat_ws_ignore_nulls

‘NotDefined’에서 ‘Direct’로 변경:

함수:

• org.apache.spark.functions.try_to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

• 이제 SQL 문 리터럴이 로컬 변수에 할당되면 임베드된 SQL이 마이그레이션됩니다.

예: sqlStat = “SELECT colName FROM myTable” session.sql(sqlStat)

• 이제 리터럴 문자열 연결에 임베드된 SQL이 지원됩니다.

예: session.sql(“SELECT colName “ + “FROM myTable”)

변경됨¶

• Snowpark Python API 및 Snowpark Pandas API의 지원되는 버전이 1.36.0에서 1.39.0으로 업데이트되었습니다.

• 다음 PySpark xpath 함수에 대한 매핑 상태가 NotSupported에서 EWI SPRKPY1103를 통해 Direct로 업데이트되었습니다.

  • pyspark.sql.functions.xpath

  • pyspark.sql.functions.xpath_boolean

  • pyspark.sql.functions.xpath_double

  • pyspark.sql.functions.xpath_float

  • pyspark.sql.functions.xpath_int

  • pyspark.sql.functions.xpath_long

  • pyspark.sql.functions.xpath_number

  • pyspark.sql.functions.xpath_short

  • pyspark.sql.functions.xpath_string

• 다음 PySpark 요소에 대한 매핑 상태가 NotDefined에서 Direct로 업데이트되었습니다.

  • pyspark.sql.functions.bit_and → snowflake.snowpark.functions.bitand_agg

  • pyspark.sql.functions.bit_or → snowflake.snowpark.functions.bitor_agg

  • pyspark.sql.functions.bit_xor → snowflake.snowpark.functions.bitxor_agg

  • pyspark.sql.functions.getbit → snowflake.snowpark.functions.getbit

• 다음 Pandas 요소에 대한 매핑 상태가 NotSupported에서 Direct로 업데이트되었습니다.

  • pandas.core.indexes.base.Index → modin.pandas.Index

  • pandas.core.indexes.base.Index.get_level_values → modin.pandas.Index.get_level_values

• 다음 PySpark 함수에 대한 매핑 상태가 NotSupported에서 Rename으로 업데이트되었습니다.

  • pyspark.sql.functions.now → snowflake.snowpark.functions.current_timestamp

수정됨¶

• 이름 바꾸기가 있을 때 Scala가 가져오기를 마이그레이션하지 않는 문제가 수정되었습니다.

  예:

  소스 코드:

  .. code-block:: scala

  package com.example.functions
  import org.apache.spark.sql.functions.{to_timestamp, lit}
  object ToTimeStampTest extends App { to_timestamp(lit(“sample”)) to_timestamp(lit(“sample”), “yyyy-MM-dd”) }

  출력 코드:

  .. code-block:: scala

  package com.example.functions
  import com.snowflake.snowpark.functions.{try_to_timestamp, lit} import com.snowflake.snowpark_extensions.Extensions._ import com.snowflake.snowpark_extensions.Extensions.functions._
  object ToTimeStampTest extends App { try_to_timestamp(lit(“sample”)) try_to_timestamp(lit(“sample”), “yyyy-MM-dd”) }

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 8.0.62

추가됨¶

• Python 형식 보간이 임베드된 SQL을 마이그레이션하는 기능이 추가되었습니다.

• 데이터 처리 유연성 향상을 위한 DataFrame.select 및 DataFrame.sort 변환에 대한 지원이 추가되었습니다.

변경됨¶

• Snowpark Python API 및 Snowpark Pandas API의 지원되는 버전이 1.36.0으로 업데이트되었습니다.

• pandas.core.frame.DataFrame.boxplot에 대한 매핑 상태가 NotSupported에서 Direct로 업데이트되었습니다.

• DataFrame.select, Dataset.select, DataFrame.sort 및 Dataset.sort에 대한 매핑 상태가 Direct에서 Transformation으로 업데이트되었습니다.

• Snowpark Scala에서는 열 시퀀스를 select 및 sort 함수에 직접 전달할 수 있으므로, 이 변환은 df.select(cols: _*)를 df.select(cols)로, df.sort(cols: _*)를 df.sort(cols)로 변경하는 등 모든 사용을 변경합니다.

• Python AST 및 Parser 버전이 149.1.9로 업데이트되었습니다.

• Pandas 함수의 상태가 Direct로 업데이트되었습니다.

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas의 상태가 EWI SPRKPY1102를 사용하는 WorkAround로 업데이트되었습니다.

수정됨¶

• 연결된 메서드 호출을 사용할 때 SqlEmbedded 변환에 영향을 미치는 문제가 수정되었습니다.

• 뒷부분을 잃지 않도록 방지하기 위해 새 PyLiteralSql을 사용하여 관련된 PySqlExpr 변환이 수정되었습니다.

• 도구의 견고성과 안정성을 개선하기 위해 내부 안정성 문제가 해결되었습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 8.0.46

추가됨¶

• 새로운 Pandas EWI 설명서 PNDSPY1011이 추가되었습니다.

• 다음 Pandas 함수에 대한 지원이 추가되었습니다.

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

다음 Spark Scala 함수에 대한 지원이 추가되었습니다.

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

변경됨¶

• SMA에서 지원하는 Snowpark Pandas API 버전이 1.33.0으로 업데이트되었습니다.

• SMA에서 지원하는 Snowpark Scala API 버전이 1.16.0으로 업데이트되었습니다.

• pyspark.sql.group.GroupedData.pivot에 대한 매핑 상태가 Transformation에서 Direct로 업데이트되었습니다.

• org.apache.spark.sql.Builder.master에 대한 매핑 상태가 NotSupported에서 Transformation으로 업데이트되었습니다. 이 변환은 코드 변환 중에 식별된 이 요소의 모든 사용을 제거합니다.

• org.apache.spark.sql.types.StructType.fieldIndex에 대한 매핑 상태가 NotSupported에서 Direct로 업데이트되었습니다.

• org.apache.spark.sql.Row.fieldIndex에 대한 매핑 상태가 NotSupported에서 Direct로 업데이트되었습니다.

• org.apache.spark.sql.SparkSession.stop에 대한 매핑 상태가 NotSupported에서 Rename으로 업데이트되었습니다. 코드 변환 중에 식별된 이 요소의 모든 사용은 com.snowflake.snowpark.Session.close로 이름이 바뀝니다.

• org.apache.spark.sql.DataFrame.unpersist 및 org.apache.spark.sql.Dataset.unpersist에 대한 매핑 상태가 NotSupported에서 Transformation으로 업데이트되었습니다. 이 변환은 코드 변환 중에 식별된 이 요소의 모든 사용을 제거합니다.

수정됨¶

• 제거된 꼬리 함수에서 연속 백슬래시가 수정되었습니다.

• ConversionStatusLibraries.csv 파일의 LIBRARY_PREFIX 열을 수정하여 scikit-learn 라이브러리 패밀리(scikit-*)에 대한 올바른 식별자를 사용합니다.

• 여러 라인으로 그룹화된 연산을 구문 분석하지 못하는 버그가 수정되었습니다.

추가됨¶

• 이제 org.apache.spark.sql.Dataset[T]에 대해 다음 매핑이 수행됩니다.

  • 이제 org.apache.spark.sql.Dataset.union은 com.snowflake.snowpark.DataFrame.unionAll입니다.

  • 이제 org.apache.spark.sql.Dataset.unionByName은 com.snowflake.snowpark.DataFrame.unionAllByName입니다.

• org.apache.spark.sql.functions.broadcast에 대한 변환 지원이 추가되었습니다.

변경됨¶

• SMA에 대해 지원되는 Snowpark Python API 버전이 1.27.0에서 1.33.0으로 업데이트되었습니다.

• pyspark.sql.function.randn 함수에 대한 상태가 Direct로 업데이트되었습니다.

수정됨¶

• org.apache.spark.SparkContext.parallelize가 해결되지 않는 문제가 해결되었으며 이제 변환으로 지원됩니다.

• Dataset[Row]뿐만 아니라 모든 유형의 데이터 세트에서 작동하도록 Dataset.persist 변환이 수정되었습니다.

추가됨¶

• Spark DataReader 메서드에 대한 매핑이 조정되었습니다.

• 이제 DataFrame.union은 DataFrame.unionAll입니다.

• 이제 DataFrame.unionByName은 DataFrame.unionAllByName입니다.

• 아티팩트 인벤토리에 다중 수준 아티팩트 종속성 열이 추가되었습니다.

• 새로운 Pandas EWIs 설명서가 PNDSPY1005에서 PNDSPY1010까지 추가되었습니다.

• pandas.core.series.Series.apply에 대한 특정 EWI가 추가되었습니다.

변경됨¶

• SMA에서 지원하는 Snowpark Pandas API 버전이 1.27.0에서 1.30.0으로 업데이트되었습니다.

수정됨¶

• SQL 준비도 점수를 획득하기 위한 수식에서 값이 누락되는 문제가 수정되었습니다.

• 일부 Pandas 요소에 PySpark의 기본 EWI 메시지가 표시되는 버그가 수정되었습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 8.0.19

변경됨¶

• 리팩터링된 Pandas 가져오기: 이제 Pandas 가져오기는 snowflake.snowpark.modin.pandas 대신 `modin.pandas`를 사용합니다.

• 개선된 `dbutils` 및 Magic 명령 변환:

  • 이제 새로운 sfuutils.py 파일이 생성되고 모든 dbutils접두사가 sfutils로 바뀝니다.

  • Databricks(DBX) 노트북의 경우, sfutils에 대한 암시적 가져오기가 자동으로 추가됩니다.

  • sfutils 모듈은 정의된 Snowflake FileSystem(SFFS) 스테이지를 통해 파일 시스템 작업(dbutils.fs)을 포함한 다양한 dbutils 메서드를 시뮬레이션하며, 노트북 실행(dbutils.notebook.run)을 EXECUTE NOTEBOOK SQL 함수로 변환하여 처리합니다.

  • dbutils.노트북.exit는 Snowflake에서 필요하지 않으므로 제거되었습니다.

수정됨¶

• SnowConvert 보고서 업데이트: 이제 인스턴스가 SMA에서 시작되면 SnowConvert 보고서에 CellId 열이 포함되고 FileName 열에는 전체 경로가 표시됩니다.

• SnowConvert 보고서에서 업데이트된 아티팩트 종속성: 이전에 SnowConvert 통합으로 인해 영향을 받은 SMA의 아티팩트 인벤토리 보고서가 복원되었습니다. 이 업데이트를 통해 SMA 도구는 SnowConvert 보고서에서 오브젝트 참조 및 _누락된 오브젝트 참조_를 정확하게 캡처하고 분석하여 인벤토리에 대한 SQL 종속성을 올바르게 검색할 수 있습니다.

추가됨¶

• 원격 분석 개선 사항이 추가되었습니다.

수정됨¶

• 변환 설정 팝업 및 Pandas EWIs의 문서 링크가 수정되었습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 8.0.16

추가됨¶

• Spark XML을 Snowpark로 변환

• SQL 소스 언어의 Databricks SQL 옵션

• JDBC 읽기 연결 변환.

변경됨¶

• 모든 SnowConvert 보고서가 백업 Zip 파일에 복사됩니다.

• 폴더 이름이 SqlReports에서 SnowConvertReports로 변경됩니다.

• SqlFunctionsInventory가 폴더 Reports로 이동됩니다.

• 모든 SnowConvert 보고서가 원격 분석으로 전송됩니다.

수정됨¶

• SQL 준비도 점수의 비결정론적 문제가 수정되었습니다.

• 데스크톱 충돌을 유발하는 치명적인 위양성 결과가 수정되었습니다.

• 아티팩트 종속성 보고서에 SQL 오브젝트가 표시되지 않는 문제가 수정되었습니다.

수정됨¶

• 이전에 보고된 대로 최신 Windows OS에서 SMA 실행과 관련된 문제가 해결되었습니다. 이 수정 사항으로 버전 2.7.1에서 발생한 문제가 해결되었습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 8.0.1

추가됨¶

이제 Snowpark Migration Accelerator(SMA)는 Python 및 Scala 코드에 임베드된 SQL, Notebook SQL 셀, .sql 파일, .hql 파일을 포함하여 사용자 워크로드에 있는 SQL을 처리하도록 SnowConvert을 오케스트레이션합니다.

이제 SnowConvert는 이전의 SMA 기능을 개선합니다.

• Spark SQL

SQL 보고서의 새 폴더에는 SnowConvert에서 생성된 보고서가 포함되어 있습니다.

Known Issues¶

SQL 보고서용 이전 SMA 버전은 다음의 경우 비어 있는 상태로 표시됩니다.

• Reports/SqlElementsInventory.csv의 경우 Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv.에 부분적으로 포함됩니다.

• Reports/SqlFunctionsInventory.csv의 경우 동일한 이름의 새 위치인 Reports/SqlReports/SqlFunctionsInventory.csv를 참조합니다

아티팩트 종속성 인벤토리:

• ArtifactDependencyInventory에서 SQL 오브젝트에 대한 열은 비어 있는 상태로 표시됩니다

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 7.4.0

수정됨¶

• ‘checkpoints.json’ 파일에서 잘못된 값을 수정되었습니다.

  • ‘sample’ 값에 소수(정수 값의 경우)와 따옴표가 없습니다.

  • ‘entryPoint’ 값에 슬래시 대신 점이 있고 파일 확장명이 누락되었습니다.

• ‘DBX 노트북을 Snowflake 노트북으로 변환’ 설정의 기본값이 TRUE로 업데이트되었습니다.

데스크톱 앱¶

• 검사점 실행 설정 메커니즘 인식이 추가되었습니다.

• DBX Magic 명령을 DbxElementsInventory.csv로 수집하는 메커니즘이 추가되었습니다.

• 입력 디렉터리에 ‘checkpoints.json’ 생성이 추가되었습니다.

• 지원되지 않는 모든 Magic 명령에 대한 새 EWI가 추가되었습니다.

• scala 소스 노트북에서 DbxElementsInventory.csv에 dbutils 컬렉션이 추가되었습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 7.2.53

변경됨¶

• DBX Scala 요소와 Jupyter Python 요소 간 변환을 처리하고 셀에서 전체 코드를 주석 처리하도록 업데이트되었습니다.

• 마지막 명령에 대해 dbutils.notebook.run 및 “r” 명령의 변환을 처리하고 셀에서 전체 코드를 주석 처리하도록 업데이트되었습니다.

• 노트북 파일을 변환할 수 있도록 키의 이름과 문자가 업데이트되었습니다.

수정됨¶

• DBX 노트북이 .ipynb 파일로 변환될 때 형식이 잘못되는 버그가 수정되었습니다.

• .py DBX 노트북이 .ipynb 파일로 변환되지 않는 버그가 수정되었습니다.

• DBX 노트북의 출력 코드에서 설명이 누락되는 버그가 수정되었습니다.

• 원시 Scala 파일이 ipynb 파일로 변환되는 버그가 수정되었습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 7.2.42

변경됨¶

EntryPoints 열을 채우도록 DataFramesInventory가 업데이트되었습니다

데스크톱 앱¶

추가됨¶

• UI 결과 페이지의 DBx EWI 링크 업데이트

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 7.2.39

추가됨¶

• 실행 흐름 인벤토리 생성이 추가되었습니다.

• 모든 DBx 노트북 변환에 암시적 세션 설정이 추가되었습니다.

변경됨¶

• 이름이 DbUtilsUsagesInventory.csv에서 DbxElementsInventory.csv로 변경되었습니다.

수정됨¶

• 유형 힌트 뒤에 백슬래시가 올 때 구문 분석 오류를 유발하는 버그가 수정되었습니다.

• 점으로 시작하지 않고 별표로 시작하는 상대 가져오기가 수정되었습니다.

데스크톱 앱¶

추가됨¶

• Sma-Checkpoints 기능을 활성화하거나 비활성화하는 새로운 변환 설정 토글이 추가되었습니다.

• 게시 API가 500을 반환할 때 충돌이 발생하지 않도록 보고서 문제가 수정되었습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 7.2.26

추가됨¶

• DataFramesInventory.csv를 기반으로 출력 폴더에 checkpoints.json 파일 생성이 추가되었습니다.

• CLI 명령 및 코드 프로세서의 추가 매개 변수에 “disableCheckpoints” 플래그가 추가되었습니다.

• dbutils.notebook.run 노드를 변환하기 위해 Python용 새 대체 프로그램이 추가되었습니다.

• Magic %run 명령을 변환하는 새로운 대체 프로그램이 추가되었습니다.

• dbutils.notebook.exit 노드를 제거하기 위해 새로운 대체 프로그램(Python 및 Scala)이 추가되었습니다.

• 아티팩트 인벤토리에 위치 열이 추가되었습니다.

변경됨¶

• 솔루션의 일부에서 사용되는 정규화된 디렉터리 구분 기호가 리팩터링되었습니다.

• DBC 추출 작업 폴더 이름 처리를 한곳에서 관리하도록 개선되었습니다.

• Snowpark 및 Pandas 버전이 v1.27.0으로 업데이트되었습니다.

• 아티팩트 인벤토리 열이 다음과 같이 업데이트되었습니다.

  • 이름 -> 종속성

  • 파일 -> FileId

  • 상태 -> Status_detail

• 아티팩트 인벤토리에 새 열이 추가되었습니다.

  • 성공

수정됨¶

• Dataframe 인벤토리가 스테이지에 올바르게 업로드되지 않는 문제가 해결되었습니다.

포함된 SMA 핵심 버전 ¶

• Snowpark Conversion Core 7.2.0

추가됨¶

• 아티팩트 종속성 인벤토리

• pyspark.sql.types.StructType.fieldNames에서 snowflake.snowpark.types.StructType.fieldNames 특성으로 대체하는 대체 프로그램 및 EWI.

• 다음 PySpark 함수는 다음 상태입니다.

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

다음 Pandas 함수는 다음 상태입니다.

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

다음 Pyspark 함수는 다음 상태로 업데이트됩니다.

WorkAround에서 Direct로

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

NotSupported에서 Direct로

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

다음 Pandas 함수는 다음 상태로 업데이트되었습니다.

NotSupported에서 Direct로

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

포함된 SMA 핵심 버전 ¶

• Snowpark Conversion Core 7.1.13

추가됨¶

• 새 인벤토리 생성을 위한 csv 생성기 클래스가 추가되었습니다.

• 사용량 인벤토리를 가져오기 위해 “full_name” 열이 추가되었습니다.

• pyspark.sql.functions.concat_ws에서 snowflake.snowpark.functions._concat_ws_ignore_nulls로의 변환이 추가되었습니다.

• checkpoints.json 생성을 위한 논리가 추가되었습니다.

• 인벤토리가 추가되었습니다.

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

데스크톱 앱 ¶

• 라이선스 계약이 업데이트되었으며 동의가 필요합니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 7.1.2

추가됨

다음 Pandas 요소에 대한 매핑 상태가 NotSupported에서 Direct로 업데이트되었습니다.

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

다음 PySpark 요소에 대한 매핑 상태가 Rename에서 Direct로 업데이트되었습니다.

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

수정됨¶

• 인벤토리의 버전 번호 형식이 표준화되었습니다.

추가됨¶

변경됨¶

• .NET 버전을 v9.0.0으로 업데이트합니다.

• EWI SPRKPY1068 이 개선되었습니다.

• SMA 에서 지원하는 Snowpark Python API 버전을 1.24.0에서 1.25.0으로 상향 조정했습니다.

• 상세 보고서 템플릿을 업데이트하여 이제 Pandas용 Snowpark 버전이 추가되었습니다.

• 다음 라이브러리를 ThirdPartyLib 에서 BuiltIn 으로 변경했습니다.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

알려진 문제¶

• 이 버전에는 샘플 프로젝트를 변환 할 때이 버전에서 작동하지 않는 문제가 포함되어 있으며 다음 릴리스에서 수정 될 예정입니다

데스크톱 앱¶

• 충돌 보고서 모달에 문제 해결 가이드 링크를 추가했습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 4.15.0

추가됨¶

• ConversionStatusPySpark.csv 파일에 다음 PySpark 요소를 NotSupported 로 추가했습니다.

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

변경됨¶

• Hive SQL EWIs 형식이 업데이트되었습니다.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Spark SQL EWIs 형식이 업데이트되었습니다.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

수정됨¶

• 일부 PySpark 요소가 도구에서 식별되지 않던 버그를 수정했습니다.

• ThirdParty 식별자 호출과 ThirdParty 가져오기 호출 번호의 불일치를 수정했습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 4.14.0

추가됨 added¶

• ConversionStatusPySpark.csv에 다음 Spark 요소를 추가했습니다.

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

변경됨¶

• Pandas EWIs, PNDSPY1001, PNDSPY1002 and PNDSPY1003 SPRKSCL1137 의 설명서를 표준화된 형식에 맞게 업데이트하여 모든 EWIs 에서 일관성과 명확성을 보장합니다.

• 다음 Scala EWIs: SPRKSCL1106 및 SPRKSCL1107 의 설명서를 업데이트했습니다. 표준화된 형식에 맞춰 모든 EWIs 에서 일관성과 명확성을 보장합니다.

수정됨¶

• 서드 파티 사용량 인벤토리에 UserDefined 기호가 표시되던 버그를 수정했습니다.

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 4.13.1

명령줄 인터페이스¶

변경됨

• 출력 폴더에 타임스탬프를 추가했습니다.

추가됨¶

• 라이브러리 매핑 테이블에 ‘소스 언어’ 열을 추가했습니다

• DetailedReport.docx의 Pandas API Summary 테이블에서 기타 가 새 카테고리로 추가되었습니다

변경됨¶

• Python EWI SPRKPY1058 에 대한 설명서를 업데이트했습니다.

• Pandas 관련 Pandas 요소를 표시하도록 Pandas EWI PNDSPY1002 에 대한 메시지를 업데이트했습니다.

• .csv 보고서 생성 방식을 업데이트하여 이제 두 번째 실행 후 덮어씁니다.

수정됨¶

• 출력 시 노트북 파일이 생성되지 않던 버그를 수정했습니다.

• pyspark.sql.conf.RuntimeConfig 의 get 및 set 메서드에 대한 대체자를 수정했습니다. 이제 대체자가 올바른 전체 이름과 일치합니다.

• 쿼리 태그가 잘못된 버전을 수정했습니다.

• UserDefined 패키지를 ThirdPartyLib 로 수정했습니다.

\

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 4.12.0

데스크톱 앱¶

수정됨

• SQL 옵션에서 대/소문자를 구분하는 문제를 수정했습니다.

제거됨

• 쇼-액션 메시지에서 플랫폼 이름을 제거합니다.

추가됨¶

• Snowpark Python 1.23.0 및 1.24.0에 대한 지원이 추가되었습니다.

• pyspark.sql.dataframe.DataFrame.writeTo 함수에 대한 새로운 EWI 를 추가했습니다 이 기능의 모든 사용법에는 이제 EWI SPRKPY1087 이 적용됩니다.

변경됨¶

• 모든 EWIs 에서 일관성과 명확성을 보장하기 위해 표준화된 형식에 맞게 Scala EWIs 의 설명서를 SPRKSCL1137 에서 SPRKSCL1156 으로 업데이트했습니다.

• 모든 EWIs 에서 일관성과 명확성을 보장하기 위해 표준화된 형식에 맞게 Scala EWIs 의 설명서를 SPRKSCL1117 에서 SPRKSCL1136 으로 업데이트했습니다.

• 다음 EWIs 에 표시되는 메시지를 업데이트했습니다.

  • SPRKPY1082

  • SPRKPY1083

• Scala EWIs 의 설명서를 SPRKSCL1100 에서 SPRKSCL1105 로, SPRKSCL1108 에서 SPRKSCL1116 으로, SPRKSCL1157 에서 SPRKSCL1175 로 업데이트하여 모든 EWIs 에서 일관성과 명확성을 보장하는 표준화된 형식에 맞췄습니다.

• 다음 PySpark 요소의 매핑 상태를 NotSupported 에서 EWI 를 사용한 Direct 로 업데이트했습니다.

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: 이 함수의 모든 사용에는 이제 EWI SPRKPY1088 이 적용됩니다.

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: 이제 이 함수의 모든 사용에는 EWI SPRKPY1089 가 적용됩니다.

• 다음 PySpark 요소의 매핑 상태를 해결 방법 에서 이름 변경 으로 업데이트했습니다.

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• EWI 설명서 업데이트: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

제거됨¶

• 변환 상태에서 pyspark.sql.dataframe.DataFrameStatFunctions.writeTo 요소를 제거했습니다. 이 요소는 존재하지 않습니다.

사용되지 않음¶

• 다음 EWI 코드가 사용 중단되었습니다.

  • SPRKPY1081

  • SPRKPY1084

추가됨¶

• Issues.csv 파일에 Url 이라는 새 열을 추가하여 해당 EWI 설명서로 리디렉션합니다.

• 다음 Spark 요소에 대해 EWIs 를 새로 추가했습니다.

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38개의 새로운 Pandas 요소가 추가되었습니다.

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

포함된 SMA 핵심 버전¶

• Snowpark Conversion Core 4.10.0

데스크톱 앱¶

수정됨¶

• Windows 버전의 메뉴 모음에서 SMA 가 Snowpark Migration Accelerator 대신 SnowConvert 레이블로 표시되는 버그를 수정했습니다.

• macOS 의 .config 디렉터리 및 Windows의 AppData 디렉터리에 읽기 및 쓰기 권한이 없을 때 SMA 가 충돌하는 버그를 수정했습니다.

명령줄 인터페이스¶

변경됨

• CLI 실행 파일 이름을 snowct 에서 sma 로 변경했습니다.

• 소스 언어 인자를 제거하여 더 이상 Python 평가/변환을 실행 중인지 또는 Scala 평가/변환을 실행 중인지 지정할 필요가 없습니다.

• 다음과 같은 새로운 인자를 추가하여 CLI 에서 지원하는 명령줄 인자를 확장했습니다.

  • --enableJupyter | -j: Databricks 노트북을 Jupyter로 변환할지 여부를 나타내는 플래그입니다.

  • --sql | -f: SQL 명령이 감지될 때 사용할 데이터베이스 엔진 구문입니다.

  • --customerEmail | -e: 고객 이메일을 구성합니다.

  • --customerCompany | -c: 고객 회사를 구성합니다.

  • --projectName | -p: 고객 프로젝트를 구성합니다.

• 애플리케이션의 정확한 이름을 반영하여 모든 메시지의 일관성과 명확성을 보장하기 위해 일부 텍스트를 업데이트했습니다.

• 애플리케이션의 이용 약관을 업데이트했습니다.

• 최신 기능, 개선 사항 및 변경 사항을 반영하기 위해 CLI 설명서를 업데이트 및 확장했습니다.

• SMA 실행을 진행하기 전에 표시되는 텍스트를 업데이트하여 개선했습니다

• 사용자 확인 메시지를 표시할 때 “Yes” 를 유효한 인자로 허용하도록 CLI 를 업데이트했습니다.

• -y 또는 --yes 인자를 지정하여 CLI 가 사용자 상호 작용을 기다리지 않고 실행을 계속할 수 있도록 허용했습니다.

• --sql 인자의 도움말 정보를 업데이트하여 이 인자가 예상하는 값을 표시하도록 했습니다.

추가됨¶

• pyspark.sql.readwriter.DataFrameWriter.partitionBy 함수에 대한 새로운 EWI 를 추가했습니다. 이 기능의 모든 사용법에는 이제 EWI SPRKPY1081 이 적용됩니다.

• ImportUsagesInventory.csv 파일에 Technology 라는 새 열을 추가했습니다.

변경됨¶

• 알 수 없는 라이브러리도 고려하도록 서드 파티 라이브러리 준비도 점수를 업데이트했습니다.

• .pam 파일 대신 .json 파일을 포함하도록 AssessmentFiles.zip 파일을 업데이트했습니다.

• CSV 에서 JSON 으로의 변환 메커니즘을 개선하여 인벤토리 처리 성능을 향상시켰습니다.

• 다음 EWIs 의 설명서를 개선했습니다.

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• 다음 Spark Scala 요소의 매핑 상태를 직접 에서이름 변경 으로 변경했습니다.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• 다음 Spark Scala 요소의 매핑 상태를 지원되지 않음 에서 직접 으로 업데이트했습니다.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

수정됨¶

• SMA 가 ImportUsagesInventory.csv 파일의 Origin 열을 잘못 채우던 버그를 수정했습니다.

• SMA 가 ImportUsagesInventory.csv 파일 및 DetailedReport.docx 파일에서 io, json, logging 및 unittest 라이브러리의 가져오기를 Python 내장 가져오기로 분류하지 않는 버그가 수정되었습니다.

추가됨¶

• 설명서를 재구성하기 위해 EwiCatalog.csv 및 .md 파일을 추가했습니다

• pyspark.sql.functions.ln Direct의 매핑 상태를 추가했습니다.

• pyspark.context.SparkContext.getOrCreate 에 대한 변환을 추가했습니다.

  • 자세한 내용은 EWI SPRKPY1080 섹션에서 확인할 수 있습니다.

• 함수의 매개 변수에 대한 SymbolTable, 유추 유형에 대한 개선 사항이 추가되었습니다.

• SymbolTable 이 정적 메서드를 지원하며, 첫 번째 매개 변수가 self라고 가정하지 않습니다.

• 누락된 EWIs 에 대한 설명서가 추가되었습니다.

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

변경됨¶

• 다음의 매핑 상태를 업데이트했습니다.

  • pyspark.sql.functions.array_remove 를 NotSupported 에서 Direct 로.

수정됨¶

• 세부 보고서의 코드 파일 크기 조정 테이블을 수정하여 .sql 및 .hql 파일을 제외하도록 하고 테이블에 Extra Large 행을 추가했습니다.

• SparkSession 가 Python 에서 여러 라인으로 정의된 경우 update_query_tag 가 누락되는 것을 수정했습니다.

• SparkSession 이 Scala 에서 여러 라인으로 정의된 경우 update_query_tag 가 누락되는 것을 수정했습니다.

• 구문 분석 오류가 있는 일부 SQL 문에 EWI SPRKHVSQL1001 누락을 수정했습니다.

• 문자열 리터럴 안에 새 라인 값 유지 수정

• 파일 유형 요약 테이블에 표시되는 총 코드 줄 수를 수정했습니다

• 파일을 성공적으로 인식하면 구문 분석 점수가 0으로 표시되는 문제 수정

• Databricks Magic SQL Cells의 인벤토리에서 LOC 카운트를 수정했습니다.

추가됨¶

• pyspark.sql.readwriter.DataFrameReader.parquet 에 대한 변환을 추가했습니다.

• Parquet 메서드인 경우 pyspark.sql.readwriter.DataFrameReader.option 에 대한 변환을 추가했습니다.

변경됨¶

• 다음의 매핑 상태를 업데이트했습니다.

  • pyspark.sql.types.StructType.fields 를 NotSupported 에서 Direct 로.

  • pyspark.sql.types.StructType.names 을 NotSupported 에서 Direct 로.

  • pyspark.context.SparkContext.setLogLevel 을 Workaround 에서 Transformation 으로.

    • 자세한 내용은 EWIs SPRKPY1078 및 SPRKPY1079 에서 확인할 수 있습니다.

  • org.apache.spark.sql.functions.round 를 WorkAround 에서 Direct 로.

  • org.apache.spark.sql.functions.udf 를 NotDefined 에서 Transformation 으로.

    • 자세한 내용은 EWIs SPRKSCL1174 및 SPRKSCL1175 에서 확인할 수 있습니다.

• 다음 Spark 요소의 매핑 상태를 DirectHelper 에서 Direct 로 업데이트했습니다.

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

수정됨¶

• 전체 Pandas API의 백분율에 표시되는 수정된 값

• DetailReport 에서 ImportCalls 테이블의 총 퍼센트를 수정했습니다

핫픽스됨¶

• 사용량이 없을 때 Spark 사용량 요약에 총 행이 추가되는 문제 수정

• Python 어셈블리를 Version=1.3.111 로 업그레이드했습니다.

  • 여러 라인 인자의 후행 쉼표 구문 분석

추가됨¶

• pyspark.sql.readwriter.DataFrameReader.option 에 대한 변환을 추가했습니다.

  • 체인이 CSV 메서드 호출에서 비롯된 경우.

  • 체인이 JSON 메서드 호출에서 비롯된 경우.

• pyspark.sql.readwriter.DataFrameReader.json 에 대한 변환을 추가했습니다.

변경됨¶

• Python/Scala 함수로 전달된 SQL 문자열에서 SMA 실행

  • Scala/Python에서 임시 SQL 단위를 출력하기 위해 AST 생성

  • SqlEmbeddedUsages.csv 인벤토리 생성

  • SqlStatementsInventroy.csv 및 SqlExtractionInventory.csv 사용 중단

  • SQL 리터럴을 처리 할 수없는 경우 EWI 통합

  • SQL 임베드된 코드를 처리할 새 작업 생성하기

  • Python에서 SqlEmbeddedUsages.csv 인벤토리에 대한 정보 수집

  • Python에서 SQL 변환된 코드를 리터럴로 바꿉니다

  • 구현 후 테스트 케이스 업데이트

  • Create Table, SqlEmbeddedUsages 인벤토리에서 원격 측정을 위한 뷰

  • Scala에서 SqlEmbeddedUsages.csv 보고서에 대한 정보 수집

  • Scala에서 SQL 변환된 코드를 리터럴로 바꿉니다

  • 임베디드 SQL 보고를 위한 라인 번호 순서 확인

• SqlFunctionsInfo.csv 에 SparkSQL 및 HiveSQL 에 대해 문서화된 SQL 함수를 적용했습니다.

• 다음에 대한 매핑 상태를 업데이트했습니다.

  • org.apache.spark.sql.SparkSession.sparkContext 를 NotSupported 에서 Transformation으로.

  • org.apache.spark.sql.Builder.config 를 NotSupported 에서 Transformation 으로. 이 새로운 매핑 상태를 사용하면 SMA 는 소스 코드에서 이 함수의 모든 사용을 제거합니다.

추가됨¶

• 노트북 셀에서 식별된 요소의 라인과 열을 가져오는 메커니즘(데코레이션을 통해)을 추가했습니다

• Pyspark.sql.functions.from_json에 대한 EWI 를 추가했습니다.

• pyspark.sql.readwriter.DataFrameReader.csv에 대한 변환을 추가했습니다.

• Scala 파일에 쿼리 태그 메커니즘을 사용하도록 설정했습니다.

• 상세 보고서에 코드 분석 점수 및 추가 링크가 추가되었습니다.

• InputFilesInventory.csv에 OriginFilePath 라는 열을 추가했습니다

변경됨¶

• Pyspark.sql.functions.from_json의 매핑 상태를 지원되지 않음에서 변환으로 업데이트했습니다.

• 다음 Spark 요소의 매핑 상태를 해결 방법에서 직접으로 업데이트했습니다.

  • org.apache.sql.functions.countDistinct

  • org.apache.sql.functions.max

  • org.apache.sql.functions.min

  • org.apache.sql.functions.mean

사용되지 않음¶

• 다음 EWI 코드가 사용 중단되었습니다.

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

수정됨¶

• Spark API 점수가 잘못 계산되던 버그가 수정되었습니다.

• 출력 폴더에 비어 있거나 설명이 있는 파일(SQL)을 복사본으로 생성하지 않는 오류를 수정했습니다.

• DetailedReport, 노트북 통계 LOC 및 셀 수가 정확하지 않은 버그가 수정되었습니다.

추가됨¶

• technology 열을 SparkUsagesInventory 에 추가합니다

• 정의되지 않은 SQL 요소에 대해 EWI 를 추가했습니다.

• SqlFunctions 인벤토리 추가됨

• SqlFunctions 인벤토리에 대한 정보 수집

변경됨¶

• 이제 엔진은 원본 파일을 수정 없이 그대로 두는 대신 부분적으로 구문 분석된 Python 파일을 처리하고 출력합니다.

• 구문 분석 오류가 있는 Python 노트북 셀도 처리되어 인쇄됩니다.

수정됨¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime 이 잘못 보고되는 오류가 수정되었습니다.

• SQL 준비도 점수와 SQL 지원 상태별 사용량 간의 불일치를 수정했습니다.

• SMA 에서 잘못된 매핑 상태로 pandas.core.series.Series.empty 를 보고하는 버그를 수정했습니다.

• DetailedReport.docx에서 Spark API 사용량 준비 열과 Assessment.json에서 UsagesReadyForConversion 행의 불일치를 수정했습니다.

추가됨¶

• AssessmentReport.json 파일에 다음 정보를 추가했습니다

  • 서드 파티 라이브러리 준비도 점수입니다.

  • 식별된 서드 파티 라이브러리 호출 수입니다.

  • Snowpark에서 지원되는 서드 파티 라이브러리 호출 수입니다.

  • 서드 파티 준비도 점수, Spark API 준비도 점수 및 SQL 준비도 점수와 관련된 색상 코드입니다.

• Spark create tables에서 SqlSimpleDataType 을 변환했습니다.

• pyspark.sql.functions.get 의 매핑을 직접적으로 추가했습니다.

• pyspark.sql.functions.to_varchar 의 매핑이 직접으로 추가되었습니다.

• 통합 후 변경 사항의 일환으로 이제 도구가 엔진에서 실행 정보 파일을 생성합니다.

• pyspark.sql.SparkSession.builder.appName 에 대한 대체자를 추가했습니다.

변경됨¶

• 다음 Spark 요소에 대한 매핑 상태를 업데이트했습니다

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• 노트북 셀 목록 보고서가 열 요소에 있는 모든 셀의 내용 종류를 표시하도록 변경했습니다

• Scala 파일에서 Spark API 참조에만 관련된 것으로 준비도 점수를 보고하는 SCALA_READINESS_SCORE 열을 추가했습니다.

• ALTER TABLE 및 ALTER VIEW 에서 테이블 속성을 변환하는 부분 지원

• Spark create tables에서 노드 SqlSimpleDataType 의 변환 상태를 보류 중에서 변환으로 업데이트했습니다

• SMA 가 지원하는 Snowpark Scala API 버전이 1.7.0 에서 1.12.1 로 업데이트되었습니다.

  • 다음의 매핑 상태를 업데이트했습니다.

    • org.apache.spark.sql.SparkSession.getOrCreate 를 Rename에서 Direct로

    • org.apache.spark.sql.functions.sum 을 Workaround에서 Direct로

• SMA 가 지원하는 Snowpark Python API 버전이 1.15.0 에서 1.20.0 으로 업데이트되었습니다.

  • 다음의 매핑 상태를 업데이트했습니다.

    • pyspark.sql.functions.arrays_zip 을 Not Supported에서 Direct로

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • 지원되지 않음에서 이름 바꾸기 매핑으로:

    • pandas.core.frame.DataFrame.map

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • 지원되지 않음 매핑:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • EWI 를 사용한 직접 매핑하기:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • 지원되지 않음 매핑:

    • pandas.core.series.Series.dt.strftime

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• SQL 준비도 점수의 이해하기에 대한 설명을 업데이트했습니다.

• 패키지를 수집하고 현재 패키지 인벤토리를 Python 소스 코드의 데이터로 채우도록 PyProgramCollector 를 업데이트했습니다.

• pyspark.sql.SparkSession.builder.appName 의 매핑 상태를 이름 바꾸기에서 변환으로 업데이트했습니다.

• 다음 Scala 통합 테스트를 제거했습니다.

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• pandas.core.generic.NDFrame.shape 의 매핑 상태를 지원되지 않음에서 직접으로 업데이트했습니다.

• pandas.core.series 의 매핑 상태를 지원되지 않음에서 직접 지원으로 업데이트했습니다.

사용되지 않음¶

• org.apache.sql.functions.sum 은 이제 직접 매핑되므로 EWI 코드 SPRKSCL1160 은 더 이상 사용되지 않습니다.

수정됨¶

• Jupyter Notebook 셀에서 인자가 없는 Custom Magics을 지원하지 않는 버그를 수정했습니다.

• 구문 분석 오류가 발생할 때 issues.csv 보고서에서 EWIs 가 잘못 생성되던 문제를 수정했습니다.

• SMA 가 내보낸 Databricks 노트북을 Databricks 노트북으로 처리하지 않던 버그를 수정했습니다.

• 패키지 오브젝트 내에서 생성된 선언의 유형 이름이 충돌하는 것을 처리하는 동안 스택 오버플로 오류가 수정되었습니다.

• 제네릭이 포함된 복잡한 Lambda 타입 이름(예: def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...)의 처리를 수정했습니다.

• SMA 가 아직 인식되지 않은 Pandas 요소에 Pandas EWI 코드 대신 PySpark EWI 코드를 추가하는 버그를 수정했습니다.

• 세부 보고서 템플릿의 오타 수정: 열 이름을 “Percentage of all Python Files”에서 “Percentage of all files”로 변경했습니다.

• pandas.core.series.Series.shape 이 잘못 보고되는 버그를 수정했습니다.