Snowpark Migration Accelerator: 릴리스 노트¶

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.62

추가됨¶

• Added functionality to migrate SQL embedded with Python format interpolation.

• Added support for DataFrame.select and DataFrame.sort transformations for greater data processing flexibility.

변경됨¶

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API to 1.36.0.

• Updated the mapping status of pandas.core.frame.DataFrame.boxplot from Not Supported to Direct.

• Updated the mapping status of DataFrame.select, Dataset.select, DataFrame.sort and Dataset.sort from Direct to Transformation.

• Snowpark Scala allows a sequence of columns to be passed directly to the select and sort functions, so this transformation changes all the usages such as df.select(cols: _*) to df.select(cols) and df.sort(cols: _*) to df.sort(cols).

• Bumped Python AST and Parser version to 149.1.9.

• Updated the status to Direct for pandas functions:

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Updated the status for pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas to workaround using the EWI SPRKPY1102.

수정됨¶

• Fixed issue that affected SqlEmbedded transformations when using chained method calls.

• Fixed transformations involving PySqlExpr using the new PyLiteralSql to avoid losing Tails.

• Resolved internal stability issues to improve tool robustness and reliability.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.46

추가됨¶

• Added new Pandas EWI documentation PNDSPY1011.

• Added support to the following Pandas functions:

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Added support to the following Spark Scala functions:

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

변경됨¶

• Bumped the version of Snowpark Pandas API supported by the SMA to 1.33.0.

• Bumped the version of Snowpark Scala API supported by the SMA to 1.16.0.

• Updated the mapping status of pyspark.sql.group.GroupedData.pivot from Transformation to Direct.

• Updated the mapping status of org.apache.spark.sql.Builder.master from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

• Updated the mapping status of org.apache.spark.sql.types.StructType.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.Row.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.SparkSession.stop from NotSupported to Rename. All the identified usages of this element are renamed to com.snowflake.snowpark.Session.close during code conversion.

• Updated the mapping status of org.apache.spark.sql.DataFrame.unpersist and org.apache.spark.sql.Dataset.unpersist from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

수정됨¶

• Fixed continuation backslash on removed tailed functions.

• Fix the LIBRARY_PREFIX column in the ConversionStatusLibraries.csv file to use the right identifier for scikit-learn library family (scikit-*).

• Fixed bug not parsing multiline grouped operations.

추가됨¶

• The following mappings are now performed for org.apache.spark.sql.Dataset[T]:

  • org.apache.spark.sql.Dataset.union is now com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName is now com.snowflake.snowpark.DataFrame.unionAllByName

• Added support for org.apache.spark.sql.functions.broadcast as a transformation.

변경됨¶

• Increased the supported Snowpark Python API version for SMA from 1.27.0 to 1.33.0.

• The status for the pyspark.sql.function.randn function has been updated to Direct.

수정됨¶

• Resolved an issue where org.apache.spark.SparkContext.parallelize was not resolving and now supports it as a transformation.

• Fixed the Dataset.persist transformation to work with any type of Dataset, not just Dataset[Row].

추가됨¶

• Adjusted mappings for spark.DataReader methods.

• DataFrame.union is now DataFrame.unionAll.

• DataFrame.unionByName is now DataFrame.unionAllByName.

• Added multi-level artifact dependency columns in artifact inventory

• Added new Pandas EWIs documentation, from PNDSPY1005 to PNDSPY1010.

• Added a specific EWI for pandas.core.series.Series.apply.

변경됨¶

• Bumped the version of Snowpark Pandas API supported by the SMA from 1.27.0 to 1.30.0.

수정됨¶

• Fixed an issue with missing values in the formula to get the SQL readiness score.

• Fixed a bug that was causing some Pandas elements to have the default EWI message from PySpark.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.19

변경됨¶

• Refactored Pandas Imports: Pandas imports now use `modin.pandas` instead of snowflake.snowpark.modin.pandas.

• Improved `dbutils` and Magic Commands Transformation:

  • A new sfutils.py file is now generated, and all dbutils prefixes are replaced with sfutils.

  • For Databricks (DBX) notebooks, an implicit import for sfutils is automatically added.

  • The sfutils module simulates various dbutils methods, including file system operations (dbutils.fs) via a defined Snowflake FileSystem (SFFS) stage, and handles notebook execution (dbutils.notebook.run) by transforming it to EXECUTE NOTEBOOK SQL functions.

  • dbutils.notebook.exit is removed as it is not required in Snowflake.

수정됨¶

• Updates in SnowConvert Reports: SnowConvert reports now include the CellId column when instances originate from SMA, and the FileName column displays the full path.

• Updated Artifacts Dependency for SnowConvert Reports: The SMA’s artifact inventory report, which was previously impacted by the integration of SnowConvert, has been restored. This update enables the SMA tool to accurately capture and analyze Object References and Missing Object References directly from SnowConvert reports, thereby ensuring the correct retrieval of SQL dependencies for the inventory.

추가됨¶

• Added telemetry improvements.

수정됨¶

• Fix documentation links in conversion settings pop-up and Pandas EWIs.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.16

추가됨¶

• Transforming Spark XML to Snowpark

• Databricks SQL option in the SQL source language

• Transform JDBC read connections.

변경됨¶

• All the SnowConvert reports are copied to the backup Zip file.

• The folder is renamed from SqlReports to SnowConvertReports.

• SqlFunctionsInventory is moved to the folder Reports.

• All the SnowConvert Reports are sent to Telemetry.

수정됨¶

• Non-deterministic issue with SQL Readiness Score.

• Fixed a false-positive critical result that made the desktop crash.

• Fixed issue causing the Artifacts dependency report not to show the SQL objects.

수정됨¶

• Addressed an issue with SMA execution on the latest Windows OS, as previously reported. This fix resolves the issues encountered in version 2.7.1.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.1

추가됨¶

The Snowpark Migration Accelerator (SMA) now orchestrates SnowConvert to process SQL found in user workloads, including embedded SQL in Python / Scala code, Notebook SQL cells, .sql files, and .hql files.

The SnowConvert now enhances the previous SMA capabilities:

• Spark SQL

A new folder in the Reports called SQL Reports contains the reports generated by SnowConvert.

Known Issues¶

The previous SMA version for SQL reports will appear empty for the following:

• For Reports/SqlElementsInventory.csv, partially covered by the Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv.

• For Reports/SqlFunctionsInventory.csv refer to the new location with the same name at Reports/SqlReports/SqlFunctionsInventory.csv

The artifact dependency inventory:

• In the ArtifactDependencyInventory the column for the SQL Object will appear empty

Included SMA Core Versions¶

• Snowpark Conversion Core 7.4.0

수정됨¶

• Fixed wrong values in the ‘checkpoints.json’ file.

  • The ‘sample’ value was without decimals (for integer values) and quotes.

  • The ‘entryPoint’ value had dots instead of slashes and was missing the file extension.

• Updated the default value to TRUE for the setting ‘Convert DBX notebooks to Snowflake notebooks’

Desktop App¶

• Added checkpoints execution settings mechanism recognition.

• Added a mechanism to collect DBX magic commands into DbxElementsInventory.csv

• Added ‘checkpoints.json’ generation into the input directory.

• Added a new EWI for all not supported magic command.

• Added the collection of dbutils into DbxElementsInventory.csv from scala source notebooks

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.53

변경됨¶

• Updates made to handle transformations from DBX Scala elements to Jupyter Python elements, and to comment the entire code from the cell.

• Updates made to handle transformations from dbutils.notebook.run and “r” commands, for the last one, also comment out the entire code from the cell.

• Updated the name and the letter of the key to make the conversion of the notebook files.

수정됨¶

• Fixed the bug that was causing the transformation of DBX notebooks into .ipynb files to have the wrong format.

• Fixed the bug that was causing .py DBX notebooks to not be transformable into .ipynb files.

• Fixed a bug that was causing comments to be missing in the output code of DBX notebooks.

• Fixed a bug that was causing raw Scala files to be converted into ipynb files.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.42

변경됨¶

Updated DataFramesInventory to fill EntryPoints column

Desktop App¶

추가됨¶

• Update DBx EWI link in the UI results page

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.39

추가됨¶

• Added Execution Flow inventory generation.

• Added implicit session setup in every DBx notebook transformation

변경됨¶

• Renamed the DbUtilsUsagesInventory.csv to DbxElementsInventory.csv

수정됨¶

• Fixed a bug that caused a Parsing error when a backslash came after a type hint.

• Fixed relative imports that do not start with a dot and relative imports with a star.

Desktop App¶

추가됨¶

• Added a new conversion setting toggle to enable or disable Sma-Checkpoints feature.

• Fix report issue to not crash when post api returns 500

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.26

추가됨¶

• Added generation of the checkpoints.json file into the output folder based on the DataFramesInventory.csv.

• Added “disableCheckpoints” flag into the CLI commands and additional parameters of the code processor.

• Added a new replacer for Python to transform the dbutils.notebook.run node.

• Added new replacers to transform the magic %run command.

• Added new replacers (Python and Scala) to remove the dbutils.notebook.exit node.

• Added Location column to artifacts inventory.

변경됨¶

• Refactored the normalized directory separator used in some parts of the solution.

• Centralized the DBC extraction working folder name handling.

• Updated Snowpark and Pandas version to v1.27.0

• Updated the artifacts inventory columns to:

  • Name -> Dependency

  • File -> FileId

  • Status -> Status_detail

• Added new column to the artifacts inventory:

  • Success

수정됨¶

• Dataframes inventory was not being uploaded to the stage correctly.

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.2.0

Added ¶

• An Artifact Dependency Inventory

• A replacer and EWI for pyspark.sql.types.StructType.fieldNames method to snowflake.snowpark.types.StructType.fieldNames attribute.

• The following PySpark functions with the status:

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

The following Pandas functions with status

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Update the following Pyspark functions with the status

From WorkAround to Direct

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

From NotSupported to Direct

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Updated the folloing Pandas functions with the status

From NotSupported to Direct

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.1.13

Added ¶

• Added csv generator class for new inventory creation.

• Added “full_name” column to import usages inventory.

• Added transformation from pyspark.sql.functions.concat_ws to snowflake.snowpark.functions._concat_ws_ignore_nulls.

• Added logic for generation of checkpoints.json.

• Added the inventories:

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Desktop App ¶

• Updated the licensing agreement, acceptance is required.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.1.2

추가됨

Updated the mapping status for the following Pandas elements, from NotSupported to Direct

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

Updated the mapping status for the following PySpark elements, from Rename to Direct

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

Fixed ¶

• Standardized the format of the version number in the inventories.

추가됨¶

변경됨¶

• .NET 버전을 v9.0.0으로 업데이트합니다.

• EWI SPRKPY1068 이 개선되었습니다.

• SMA 에서 지원하는 Snowpark Python API 버전을 1.24.0에서 1.25.0으로 상향 조정했습니다.

• 상세 보고서 템플릿을 업데이트하여 이제 Pandas용 Snowpark 버전이 추가되었습니다.

• 다음 라이브러리를 ThirdPartyLib 에서 BuiltIn 으로 변경했습니다.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

알려진 문제¶

• 이 버전에는 샘플 프로젝트를 변환 할 때이 버전에서 작동하지 않는 문제가 포함되어 있으며 다음 릴리스에서 수정 될 예정입니다

Desktop App¶

• 충돌 보고서 모달에 문제 해결 가이드 링크를 추가했습니다.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.15.0

추가됨¶

• ConversionStatusPySpark.csv 파일에 다음 PySpark 요소를 NotSupported 로 추가했습니다.

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

변경됨¶

• Hive SQL EWIs 형식이 업데이트되었습니다.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Spark SQL EWIs 형식이 업데이트되었습니다.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

수정됨¶

• 일부 PySpark 요소가 도구에서 식별되지 않던 버그를 수정했습니다.

• ThirdParty 식별자 호출과 ThirdParty 가져오기 호출 번호의 불일치를 수정했습니다.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.14.0

추가됨 added¶

• ConversionStatusPySpark.csv에 다음 Spark 요소를 추가했습니다.

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

변경됨¶

• Pandas EWIs, PNDSPY1001, PNDSPY1002 and PNDSPY1003 SPRKSCL1137 의 설명서를 표준화된 형식에 맞게 업데이트하여 모든 EWIs 에서 일관성과 명확성을 보장합니다.

• 다음 Scala EWIs: SPRKSCL1106 및 SPRKSCL1107 의 설명서를 업데이트했습니다. 표준화된 형식에 맞춰 모든 EWIs 에서 일관성과 명확성을 보장합니다.

수정됨¶

• 서드 파티 사용량 인벤토리에 UserDefined 기호가 표시되던 버그를 수정했습니다.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.13.1

Command Line Interface¶

변경됨

• 출력 폴더에 타임스탬프를 추가했습니다.

추가됨¶

• 라이브러리 매핑 테이블에 ‘소스 언어’ 열을 추가했습니다

• DetailedReport.docx의 Pandas API Summary 테이블에서 기타 가 새 카테고리로 추가되었습니다

변경됨¶

• Python EWI SPRKPY1058 에 대한 설명서를 업데이트했습니다.

• Pandas 관련 Pandas 요소를 표시하도록 Pandas EWI PNDSPY1002 에 대한 메시지를 업데이트했습니다.

• .csv 보고서 생성 방식을 업데이트하여 이제 두 번째 실행 후 덮어씁니다.

수정됨¶

• 출력 시 노트북 파일이 생성되지 않던 버그를 수정했습니다.

• pyspark.sql.conf.RuntimeConfig 의 get 및 set 메서드에 대한 대체자를 수정했습니다. 이제 대체자가 올바른 전체 이름과 일치합니다.

• 쿼리 태그가 잘못된 버전을 수정했습니다.

• UserDefined 패키지를 ThirdPartyLib 로 수정했습니다.

\

Included SMA Core Versions¶

• Snowpark Conversion Core 4.12.0

Desktop App¶

수정됨

• SQL 옵션에서 대/소문자를 구분하는 문제를 수정했습니다.

제거됨

• 쇼-액션 메시지에서 플랫폼 이름을 제거합니다.

추가됨¶

• Snowpark Python 1.23.0 및 1.24.0에 대한 지원이 추가되었습니다.

• pyspark.sql.dataframe.DataFrame.writeTo 함수에 대한 새로운 EWI 를 추가했습니다 이 기능의 모든 사용법에는 이제 EWI SPRKPY1087 이 적용됩니다.

변경됨¶

• 모든 EWIs 에서 일관성과 명확성을 보장하기 위해 표준화된 형식에 맞게 Scala EWIs 의 설명서를 SPRKSCL1137 에서 SPRKSCL1156 으로 업데이트했습니다.

• 모든 EWIs 에서 일관성과 명확성을 보장하기 위해 표준화된 형식에 맞게 Scala EWIs 의 설명서를 SPRKSCL1117 에서 SPRKSCL1136 으로 업데이트했습니다.

• 다음 EWIs 에 표시되는 메시지를 업데이트했습니다.

  • SPRKPY1082

  • SPRKPY1083

• Scala EWIs 의 설명서를 SPRKSCL1100 에서 SPRKSCL1105 로, SPRKSCL1108 에서 SPRKSCL1116 으로, SPRKSCL1157 에서 SPRKSCL1175 로 업데이트하여 모든 EWIs 에서 일관성과 명확성을 보장하는 표준화된 형식에 맞췄습니다.

• 다음 PySpark 요소의 매핑 상태를 NotSupported 에서 EWI 를 사용한 Direct 로 업데이트했습니다.

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: 이 함수의 모든 사용에는 이제 EWI SPRKPY1088 이 적용됩니다.

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: 이제 이 함수의 모든 사용에는 EWI SPRKPY1089 가 적용됩니다.

• 다음 PySpark 요소의 매핑 상태를 해결 방법 에서 이름 변경 으로 업데이트했습니다.

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• EWI 설명서 업데이트: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Removed¶

• 변환 상태에서 pyspark.sql.dataframe.DataFrameStatFunctions.writeTo 요소를 제거했습니다. 이 요소는 존재하지 않습니다.

사용되지 않음¶

• 다음 EWI 코드가 사용 중단되었습니다.

  • SPRKPY1081

  • SPRKPY1084

추가됨¶

• Issues.csv 파일에 Url 이라는 새 열을 추가하여 해당 EWI 설명서로 리디렉션합니다.

• 다음 Spark 요소에 대해 EWIs 를 새로 추가했습니다.

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38개의 새로운 Pandas 요소가 추가되었습니다.

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Included SMA Core Versions¶

• Snowpark Conversion Core 4.10.0

Desktop App¶

수정됨¶

• Windows 버전의 메뉴 모음에서 SMA 가 Snowpark Migration Accelerator 대신 SnowConvert 레이블로 표시되는 버그를 수정했습니다.

• macOS 의 .config 디렉터리 및 Windows의 AppData 디렉터리에 읽기 및 쓰기 권한이 없을 때 SMA 가 충돌하는 버그를 수정했습니다.

Command Line Interface¶

변경됨

• CLI 실행 파일 이름을 snowct 에서 sma 로 변경했습니다.

• 소스 언어 인자를 제거하여 더 이상 Python 평가/변환을 실행 중인지 또는 Scala 평가/변환을 실행 중인지 지정할 필요가 없습니다.

• 다음과 같은 새로운 인자를 추가하여 CLI 에서 지원하는 명령줄 인자를 확장했습니다.

  • --enableJupyter | -j: Databricks 노트북을 Jupyter로 변환할지 여부를 나타내는 플래그입니다.

  • --sql | -f: SQL 명령이 감지될 때 사용할 데이터베이스 엔진 구문입니다.

  • --customerEmail | -e: 고객 이메일을 구성합니다.

  • --customerCompany | -c: 고객 회사를 구성합니다.

  • --projectName | -p: 고객 프로젝트를 구성합니다.

• 애플리케이션의 정확한 이름을 반영하여 모든 메시지의 일관성과 명확성을 보장하기 위해 일부 텍스트를 업데이트했습니다.

• 애플리케이션의 이용 약관을 업데이트했습니다.

• 최신 기능, 개선 사항 및 변경 사항을 반영하기 위해 CLI 설명서를 업데이트 및 확장했습니다.

• SMA 실행을 진행하기 전에 표시되는 텍스트를 업데이트하여 개선했습니다

• 사용자 확인 메시지를 표시할 때 “Yes” 를 유효한 인자로 허용하도록 CLI 를 업데이트했습니다.

• -y 또는 --yes 인자를 지정하여 CLI 가 사용자 상호 작용을 기다리지 않고 실행을 계속할 수 있도록 허용했습니다.

• --sql 인자의 도움말 정보를 업데이트하여 이 인자가 예상하는 값을 표시하도록 했습니다.

추가됨¶

• pyspark.sql.readwriter.DataFrameWriter.partitionBy 함수에 대한 새로운 EWI 를 추가했습니다. 이 기능의 모든 사용법에는 이제 EWI SPRKPY1081 이 적용됩니다.

• ImportUsagesInventory.csv 파일에 Technology 라는 새 열을 추가했습니다.

변경됨¶

• 알 수 없는 라이브러리도 고려하도록 서드 파티 라이브러리 준비도 점수를 업데이트했습니다.

• .pam 파일 대신 .json 파일을 포함하도록 AssessmentFiles.zip 파일을 업데이트했습니다.

• CSV 에서 JSON 으로의 변환 메커니즘을 개선하여 인벤토리 처리 성능을 향상시켰습니다.

• 다음 EWIs 의 설명서를 개선했습니다.

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• 다음 Spark Scala 요소의 매핑 상태를 직접 에서이름 변경 으로 변경했습니다.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• 다음 Spark Scala 요소의 매핑 상태를 지원되지 않음 에서 직접 으로 업데이트했습니다.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

수정됨¶

• SMA 가 ImportUsagesInventory.csv 파일의 Origin 열을 잘못 채우던 버그를 수정했습니다.

• SMA 가 ImportUsagesInventory.csv 파일 및 DetailedReport.docx 파일에서 io, json, logging 및 unittest 라이브러리의 가져오기를 Python 내장 가져오기로 분류하지 않는 버그가 수정되었습니다.

추가됨¶

• 설명서를 재구성하기 위해 EwiCatalog.csv 및 .md 파일을 추가했습니다

• pyspark.sql.functions.ln Direct의 매핑 상태를 추가했습니다.

• pyspark.context.SparkContext.getOrCreate 에 대한 변환을 추가했습니다.

  • 자세한 내용은 EWI SPRKPY1080 섹션에서 확인할 수 있습니다.

• 함수의 매개 변수에 대한 SymbolTable, 유추 유형에 대한 개선 사항이 추가되었습니다.

• SymbolTable 이 정적 메서드를 지원하며, 첫 번째 매개 변수가 self라고 가정하지 않습니다.

• 누락된 EWIs 에 대한 설명서가 추가되었습니다.

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

변경됨¶

• 다음의 매핑 상태를 업데이트했습니다.

  • pyspark.sql.functions.array_remove 를 NotSupported 에서 Direct 로.

수정됨¶

• 세부 보고서의 코드 파일 크기 조정 테이블을 수정하여 .sql 및 .hql 파일을 제외하도록 하고 테이블에 Extra Large 행을 추가했습니다.

• SparkSession 가 Python 에서 여러 라인으로 정의된 경우 update_query_tag 가 누락되는 것을 수정했습니다.

• SparkSession 이 Scala 에서 여러 라인으로 정의된 경우 update_query_tag 가 누락되는 것을 수정했습니다.

• 구문 분석 오류가 있는 일부 SQL 문에 EWI SPRKHVSQL1001 누락을 수정했습니다.

• 문자열 리터럴 안에 새 라인 값 유지 수정

• 파일 유형 요약 테이블에 표시되는 총 코드 줄 수를 수정했습니다

• 파일을 성공적으로 인식하면 구문 분석 점수가 0으로 표시되는 문제 수정

• Databricks Magic SQL Cells의 인벤토리에서 LOC 카운트를 수정했습니다.

추가됨¶

• pyspark.sql.readwriter.DataFrameReader.parquet 에 대한 변환을 추가했습니다.

• Parquet 메서드인 경우 pyspark.sql.readwriter.DataFrameReader.option 에 대한 변환을 추가했습니다.

변경됨¶

• 다음의 매핑 상태를 업데이트했습니다.

  • pyspark.sql.types.StructType.fields 를 NotSupported 에서 Direct 로.

  • pyspark.sql.types.StructType.names 을 NotSupported 에서 Direct 로.

  • pyspark.context.SparkContext.setLogLevel 을 Workaround 에서 Transformation 으로.

    • 자세한 내용은 EWIs SPRKPY1078 및 SPRKPY1079 에서 확인할 수 있습니다.

  • org.apache.spark.sql.functions.round 를 WorkAround 에서 Direct 로.

  • org.apache.spark.sql.functions.udf 를 NotDefined 에서 Transformation 으로.

    • 자세한 내용은 EWIs SPRKSCL1174 및 SPRKSCL1175 에서 확인할 수 있습니다.

• 다음 Spark 요소의 매핑 상태를 DirectHelper 에서 Direct 로 업데이트했습니다.

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

수정됨¶

• 전체 Pandas API의 백분율에 표시되는 수정된 값

• DetailReport 에서 ImportCalls 테이블의 총 퍼센트를 수정했습니다

Hotfixed¶

• 사용량이 없을 때 Spark 사용량 요약에 총 행이 추가되는 문제 수정

• Python 어셈블리를 Version=1.3.111 로 업그레이드했습니다.

  • 여러 라인 인자의 후행 쉼표 구문 분석

추가됨¶

• pyspark.sql.readwriter.DataFrameReader.option 에 대한 변환을 추가했습니다.

  • 체인이 CSV 메서드 호출에서 비롯된 경우.

  • 체인이 JSON 메서드 호출에서 비롯된 경우.

• pyspark.sql.readwriter.DataFrameReader.json 에 대한 변환을 추가했습니다.

변경됨¶

• Python/Scala 함수로 전달된 SQL 문자열에서 SMA 실행

  • Scala/Python에서 임시 SQL 단위를 출력하기 위해 AST 생성

  • SqlEmbeddedUsages.csv 인벤토리 생성

  • SqlStatementsInventroy.csv 및 SqlExtractionInventory.csv 사용 중단

  • SQL 리터럴을 처리 할 수없는 경우 EWI 통합

  • SQL 임베드된 코드를 처리할 새 작업 생성하기

  • Python에서 SqlEmbeddedUsages.csv 인벤토리에 대한 정보 수집

  • Python에서 SQL 변환된 코드를 리터럴로 바꿉니다

  • 구현 후 테스트 케이스 업데이트

  • Create Table, SqlEmbeddedUsages 인벤토리에서 원격 측정을 위한 뷰

  • Scala에서 SqlEmbeddedUsages.csv 보고서에 대한 정보 수집

  • Scala에서 SQL 변환된 코드를 리터럴로 바꿉니다

  • 임베디드 SQL 보고를 위한 라인 번호 순서 확인

• SqlFunctionsInfo.csv 에 SparkSQL 및 HiveSQL 에 대해 문서화된 SQL 함수를 적용했습니다.

• 다음에 대한 매핑 상태를 업데이트했습니다.

  • org.apache.spark.sql.SparkSession.sparkContext 를 NotSupported 에서 Transformation으로.

  • org.apache.spark.sql.Builder.config 를 NotSupported 에서 Transformation 으로. 이 새로운 매핑 상태를 사용하면 SMA 는 소스 코드에서 이 함수의 모든 사용을 제거합니다.

추가됨¶

• 노트북 셀에서 식별된 요소의 라인과 열을 가져오는 메커니즘(데코레이션을 통해)을 추가했습니다

• Pyspark.sql.functions.from_json에 대한 EWI 를 추가했습니다.

• pyspark.sql.readwriter.DataFrameReader.csv에 대한 변환을 추가했습니다.

• Scala 파일에 쿼리 태그 메커니즘을 사용하도록 설정했습니다.

• 상세 보고서에 코드 분석 점수 및 추가 링크가 추가되었습니다.

• InputFilesInventory.csv에 OriginFilePath 라는 열을 추가했습니다

변경됨¶

• Pyspark.sql.functions.from_json의 매핑 상태를 지원되지 않음에서 변환으로 업데이트했습니다.

• 다음 Spark 요소의 매핑 상태를 해결 방법에서 직접으로 업데이트했습니다.

  • org.apache.sql.functions.countDistinct

  • org.apache.sql.functions.max

  • org.apache.sql.functions.min

  • org.apache.sql.functions.mean

사용되지 않음¶

• 다음 EWI 코드가 사용 중단되었습니다.

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

수정됨¶

• Spark API 점수가 잘못 계산되던 버그가 수정되었습니다.

• 출력 폴더에 비어 있거나 설명이 있는 파일(SQL)을 복사본으로 생성하지 않는 오류를 수정했습니다.

• DetailedReport, 노트북 통계 LOC 및 셀 수가 정확하지 않은 버그가 수정되었습니다.

추가됨¶

• technology 열을 SparkUsagesInventory 에 추가합니다

• 정의되지 않은 SQL 요소에 대해 EWI 를 추가했습니다.

• SqlFunctions 인벤토리 추가됨

• SqlFunctions 인벤토리에 대한 정보 수집

변경됨¶

• 이제 엔진은 원본 파일을 수정 없이 그대로 두는 대신 부분적으로 구문 분석된 Python 파일을 처리하고 출력합니다.

• 구문 분석 오류가 있는 Python 노트북 셀도 처리되어 인쇄됩니다.

수정됨¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime 이 잘못 보고되는 오류가 수정되었습니다.

• SQL 준비도 점수와 SQL 지원 상태별 사용량 간의 불일치를 수정했습니다.

• SMA 에서 잘못된 매핑 상태로 pandas.core.series.Series.empty 를 보고하는 버그를 수정했습니다.

• DetailedReport.docx에서 Spark API 사용량 준비 열과 Assessment.json에서 UsagesReadyForConversion 행의 불일치를 수정했습니다.

추가됨¶

• AssessmentReport.json 파일에 다음 정보를 추가했습니다

  • 서드 파티 라이브러리 준비도 점수입니다.

  • 식별된 서드 파티 라이브러리 호출 수입니다.

  • Snowpark에서 지원되는 서드 파티 라이브러리 호출 수입니다.

  • 서드 파티 준비도 점수, Spark API 준비도 점수 및 SQL 준비도 점수와 관련된 색상 코드입니다.

• Spark create tables에서 SqlSimpleDataType 을 변환했습니다.

• pyspark.sql.functions.get 의 매핑을 직접적으로 추가했습니다.

• pyspark.sql.functions.to_varchar 의 매핑이 직접으로 추가되었습니다.

• 통합 후 변경 사항의 일환으로 이제 도구가 엔진에서 실행 정보 파일을 생성합니다.

• pyspark.sql.SparkSession.builder.appName 에 대한 대체자를 추가했습니다.

변경됨¶

• 다음 Spark 요소에 대한 매핑 상태를 업데이트했습니다

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• 노트북 셀 목록 보고서가 열 요소에 있는 모든 셀의 내용 종류를 표시하도록 변경했습니다

• Scala 파일에서 Spark API 참조에만 관련된 것으로 준비도 점수를 보고하는 SCALA_READINESS_SCORE 열을 추가했습니다.

• ALTER TABLE 및 ALTER VIEW 에서 테이블 속성을 변환하는 부분 지원

• Spark create tables에서 노드 SqlSimpleDataType 의 변환 상태를 보류 중에서 변환으로 업데이트했습니다

• SMA 가 지원하는 Snowpark Scala API 버전이 1.7.0 에서 1.12.1 로 업데이트되었습니다.

  • 다음의 매핑 상태를 업데이트했습니다.

    • org.apache.spark.sql.SparkSession.getOrCreate 를 Rename에서 Direct로

    • org.apache.spark.sql.functions.sum 을 Workaround에서 Direct로

• SMA 가 지원하는 Snowpark Python API 버전이 1.15.0 에서 1.20.0 으로 업데이트되었습니다.

  • 다음의 매핑 상태를 업데이트했습니다.

    • pyspark.sql.functions.arrays_zip 을 Not Supported에서 Direct로

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • 지원되지 않음에서 이름 바꾸기 매핑으로:

    • pandas.core.frame.DataFrame.map

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • 지원되지 않음 매핑:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • EWI 를 사용한 직접 매핑하기:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • 지원되지 않음 매핑:

    • pandas.core.series.Series.dt.strftime

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• SQL 준비도 점수의 이해하기에 대한 설명을 업데이트했습니다.

• 패키지를 수집하고 현재 패키지 인벤토리를 Python 소스 코드의 데이터로 채우도록 PyProgramCollector 를 업데이트했습니다.

• pyspark.sql.SparkSession.builder.appName 의 매핑 상태를 이름 바꾸기에서 변환으로 업데이트했습니다.

• 다음 Scala 통합 테스트를 제거했습니다.

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• pandas.core.generic.NDFrame.shape 의 매핑 상태를 지원되지 않음에서 직접으로 업데이트했습니다.

• pandas.core.series 의 매핑 상태를 지원되지 않음에서 직접 지원으로 업데이트했습니다.

사용되지 않음¶

• org.apache.sql.functions.sum 은 이제 직접 매핑되므로 EWI 코드 SPRKSCL1160 은 더 이상 사용되지 않습니다.

수정됨¶

• Jupyter Notebook 셀에서 인자가 없는 Custom Magics을 지원하지 않는 버그를 수정했습니다.

• 구문 분석 오류가 발생할 때 issues.csv 보고서에서 EWIs 가 잘못 생성되던 문제를 수정했습니다.

• SMA 가 내보낸 Databricks 노트북을 Databricks 노트북으로 처리하지 않던 버그를 수정했습니다.

• 패키지 오브젝트 내에서 생성된 선언의 유형 이름이 충돌하는 것을 처리하는 동안 스택 오버플로 오류가 수정되었습니다.

• 제네릭이 포함된 복잡한 Lambda 타입 이름(예: def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...)의 처리를 수정했습니다.

• SMA 가 아직 인식되지 않은 Pandas 요소에 Pandas EWI 코드 대신 PySpark EWI 코드를 추가하는 버그를 수정했습니다.

• 세부 보고서 템플릿의 오타 수정: 열 이름을 “Percentage of all Python Files”에서 “Percentage of all files”로 변경했습니다.

• pandas.core.series.Series.shape 이 잘못 보고되는 버그를 수정했습니다.