Snowpark Migration Accelerator: 릴리스 노트¶

데스크탑 앱 desktop-app¶

• 샘플 프로젝트 옵션에서 변환할 때 발생하는 문제를 수정했습니다.

포함된 SMA Core 버전 included-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

데스크탑 앱 desktop-app¶

• 사용자에게 쓰기 권한이 없는 경우 새로운 모달을 추가했습니다.

• 라이선스 계약이 업데이트되었으므로 수락이 필요합니다.

CLI cli¶

• CLI 화면에서 “–version” 또는 “-v”를 표시할 때 연도를 수정했습니다

포함된 SMA Core 버전 included-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

추가됨¶

변경됨¶

• .NET 버전을 v9.0.0으로 업데이트합니다.

• EWI SPRKPY1068 이 개선되었습니다.

• SMA 에서 지원하는 Snowpark Python API 버전을 1.24.0에서 1.25.0으로 상향 조정했습니다.

• 상세 보고서 템플릿을 업데이트하여 이제 Pandas용 Snowpark 버전이 추가되었습니다.

• 다음 라이브러리를 ThirdPartyLib 에서 BuiltIn 으로 변경했습니다.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

알려진 문제¶

• 이 버전에는 샘플 프로젝트를 변환 할 때이 버전에서 작동하지 않는 문제가 포함되어 있으며 다음 릴리스에서 수정 될 예정입니다

데스크탑 앱 desktop-app¶

• 충돌 보고서 모달에 문제 해결 가이드 링크를 추가했습니다.

포함된 SMA Core 버전 included-sma-core-versions¶

• Snowpark Conversion Core 4.15.0

추가됨¶

• ConversionStatusPySpark.csv 파일에 다음 PySpark 요소를 NotSupported 로 추가했습니다.

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

변경됨¶

• Hive SQL EWIs 형식이 업데이트되었습니다.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Spark SQL EWIs 형식이 업데이트되었습니다.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

수정됨¶

• 일부 PySpark 요소가 도구에서 식별되지 않던 버그를 수정했습니다.

• ThirdParty 식별자 호출과 ThirdParty 가져오기 호출 번호의 불일치를 수정했습니다.

포함된 SMA Core 버전 included-sma-core-versions¶

• Snowpark Conversion Core 4.14.0

추가됨 added¶

• ConversionStatusPySpark.csv에 다음 Spark 요소를 추가했습니다.

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

변경됨 changed.6¶

• Pandas EWIs, PNDSPY1001, PNDSPY1002 and PNDSPY1003 SPRKSCL1137 의 설명서를 표준화된 형식에 맞게 업데이트하여 모든 EWIs 에서 일관성과 명확성을 보장합니다.

• 다음 Scala EWIs: SPRKSCL1106 및 SPRKSCL1107 의 설명서를 업데이트했습니다. 표준화된 형식에 맞춰 모든 EWIs 에서 일관성과 명확성을 보장합니다.

수정됨 fixed.2¶

• 서드 파티 사용량 인벤토리에 UserDefined 기호가 표시되던 버그를 수정했습니다.

포함된 SMA Core 버전 included-sma-core-versions¶

• Snowpark Conversion Core 4.13.1

명령줄 인터페이스 command-line-interface¶

변경됨

• 출력 폴더에 타임스탬프를 추가했습니다.

추가됨 added¶

• 라이브러리 매핑 테이블에 ‘소스 언어’ 열을 추가했습니다

• DetailedReport.docx의 Pandas API Summary 테이블에서 기타 가 새 카테고리로 추가되었습니다

변경됨 changed.6¶

• Python EWI SPRKPY1058 에 대한 설명서를 업데이트했습니다.

• Pandas 관련 Pandas 요소를 표시하도록 Pandas EWI PNDSPY1002 에 대한 메시지를 업데이트했습니다.

• .csv 보고서 생성 방식을 업데이트하여 이제 두 번째 실행 후 덮어씁니다.

수정됨 fixed.2¶

• 출력 시 노트북 파일이 생성되지 않던 버그를 수정했습니다.

• pyspark.sql.conf.RuntimeConfig 의 get 및 set 메서드에 대한 대체자를 수정했습니다. 이제 대체자가 올바른 전체 이름과 일치합니다.

• 쿼리 태그가 잘못된 버전을 수정했습니다.

• UserDefined 패키지를 ThirdPartyLib 로 수정했습니다.

\

포함된 SMA Core 버전 included-sma-core-versions¶

• Snowpark Conversion Core 4.12.0

데스크탑 앱 desktop-app¶

수정됨

• SQL 옵션에서 대/소문자를 구분하는 문제를 수정했습니다.

제거됨

• 쇼-액션 메시지에서 플랫폼 이름을 제거합니다.

추가됨 added¶

• Snowpark Python 1.23.0 및 1.24.0에 대한 지원이 추가되었습니다.

• pyspark.sql.dataframe.DataFrame.writeTo 함수에 대한 새로운 EWI 를 추가했습니다 이 기능의 모든 사용법에는 이제 EWI SPRKPY1087 이 적용됩니다.

변경됨 changed.5¶

• 모든 EWIs 에서 일관성과 명확성을 보장하기 위해 표준화된 형식에 맞게 Scala EWIs 의 설명서를 SPRKSCL1137 에서 SPRKSCL1156 으로 업데이트했습니다.

• 모든 EWIs 에서 일관성과 명확성을 보장하기 위해 표준화된 형식에 맞게 Scala EWIs 의 설명서를 SPRKSCL1117 에서 SPRKSCL1136 으로 업데이트했습니다.

• 다음 EWIs 에 표시되는 메시지를 업데이트했습니다.

  • SPRKPY1082

  • SPRKPY1083

• Scala EWIs 의 설명서를 SPRKSCL1100 에서 SPRKSCL1105 로, SPRKSCL1108 에서 SPRKSCL1116 으로, SPRKSCL1157 에서 SPRKSCL1175 로 업데이트하여 모든 EWIs 에서 일관성과 명확성을 보장하는 표준화된 형식에 맞췄습니다.

• 다음 PySpark 요소의 매핑 상태를 NotSupported 에서 EWI 를 사용한 Direct 로 업데이트했습니다.

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: 이 함수의 모든 사용에는 이제 EWI SPRKPY1088 이 적용됩니다.

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: 이제 이 함수의 모든 사용에는 EWI SPRKPY1089 가 적용됩니다.

• 다음 PySpark 요소의 매핑 상태를 해결 방법 에서 이름 변경 으로 업데이트했습니다.

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• EWI 설명서 업데이트: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

제거됨 removed.1¶

• 변환 상태에서 pyspark.sql.dataframe.DataFrameStatFunctions.writeTo 요소를 제거했습니다. 이 요소는 존재하지 않습니다.

사용 중단됨 deprecated¶

• 다음 EWI 코드가 사용 중단되었습니다.

  • SPRKPY1081

  • SPRKPY1084

추가됨 added¶

• Issues.csv 파일에 Url 이라는 새 열을 추가하여 해당 EWI 설명서로 리디렉션합니다.

• 다음 Spark 요소에 대해 EWIs 를 새로 추가했습니다.

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38개의 새로운 Pandas 요소가 추가되었습니다.

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

포함된 SMA Core 버전 included-sma-core-versions¶

• Snowpark Conversion Core 4.10.0

데스크탑 앱 desktop-app¶

수정됨

• Windows 버전의 메뉴 모음에서 SMA 가 Snowpark Migration Accelerator 대신 SnowConvert 레이블로 표시되는 버그를 수정했습니다.

• macOS 의 .config 디렉터리 및 Windows의 AppData 디렉터리에 읽기 및 쓰기 권한이 없을 때 SMA 가 충돌하는 버그를 수정했습니다.

명령줄 인터페이스 command-line-interface¶

변경됨

• CLI 실행 파일 이름을 snowct 에서 sma 로 변경했습니다.

• 소스 언어 인자를 제거하여 더 이상 Python 평가/변환을 실행 중인지 또는 Scala 평가/변환을 실행 중인지 지정할 필요가 없습니다.

• 다음과 같은 새로운 인자를 추가하여 CLI 에서 지원하는 명령줄 인자를 확장했습니다.

  • --enableJupyter | -j: Databricks 노트북을 Jupyter로 변환할지 여부를 나타내는 플래그입니다.

  • --sql | -f: SQL 명령이 감지될 때 사용할 데이터베이스 엔진 구문입니다.

  • --customerEmail | -e: 고객 이메일을 구성합니다.

  • --customerCompany | -c: 고객 회사를 구성합니다.

  • --projectName | -p: 고객 프로젝트를 구성합니다.

• 애플리케이션의 정확한 이름을 반영하여 모든 메시지의 일관성과 명확성을 보장하기 위해 일부 텍스트를 업데이트했습니다.

• 애플리케이션의 이용 약관을 업데이트했습니다.

• 최신 기능, 개선 사항 및 변경 사항을 반영하기 위해 CLI 설명서를 업데이트 및 확장했습니다.

• SMA 실행을 진행하기 전에 표시되는 텍스트를 업데이트하여 개선했습니다

• 사용자 확인 메시지를 표시할 때 “Yes” 를 유효한 인자로 허용하도록 CLI 를 업데이트했습니다.

• -y 또는 --yes 인자를 지정하여 CLI 가 사용자 상호 작용을 기다리지 않고 실행을 계속할 수 있도록 허용했습니다.

• --sql 인자의 도움말 정보를 업데이트하여 이 인자가 예상하는 값을 표시하도록 했습니다.

추가됨 added¶

• pyspark.sql.readwriter.DataFrameWriter.partitionBy 함수에 대한 새로운 EWI 를 추가했습니다. 이 기능의 모든 사용법에는 이제 EWI SPRKPY1081 이 적용됩니다.

• ImportUsagesInventory.csv 파일에 Technology 라는 새 열을 추가했습니다.

변경됨 changed.5¶

• 알 수 없는 라이브러리도 고려하도록 서드 파티 라이브러리 준비도 점수를 업데이트했습니다.

• .pam 파일 대신 .json 파일을 포함하도록 AssessmentFiles.zip 파일을 업데이트했습니다.

• CSV 에서 JSON 으로의 변환 메커니즘을 개선하여 인벤토리 처리 성능을 향상시켰습니다.

• 다음 EWIs 의 설명서를 개선했습니다.

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• 다음 Spark Scala 요소의 매핑 상태를 직접 에서이름 변경 으로 변경했습니다.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• 다음 Spark Scala 요소의 매핑 상태를 지원되지 않음 에서 직접 으로 업데이트했습니다.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

수정됨 fixed.2¶

• SMA 가 ImportUsagesInventory.csv 파일의 Origin 열을 잘못 채우던 버그를 수정했습니다.

• SMA 가 ImportUsagesInventory.csv 파일 및 DetailedReport.docx 파일에서 io, json, logging 및 unittest 라이브러리의 가져오기를 Python 내장 가져오기로 분류하지 않는 버그가 수정되었습니다.

추가됨 added¶

• 설명서를 재구성하기 위해 EwiCatalog.csv 및 .md 파일을 추가했습니다

• pyspark.sql.functions.ln Direct의 매핑 상태를 추가했습니다.

• pyspark.context.SparkContext.getOrCreate 에 대한 변환을 추가했습니다.

  • 자세한 내용은 EWI SPRKPY1080 섹션에서 확인할 수 있습니다.

• 함수의 매개 변수에 대한 SymbolTable, 유추 유형에 대한 개선 사항이 추가되었습니다.

• SymbolTable 이 정적 메서드를 지원하며, 첫 번째 매개 변수가 self라고 가정하지 않습니다.

• 누락된 EWIs 에 대한 설명서가 추가되었습니다.

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

변경됨 changed.3¶

• 다음의 매핑 상태를 업데이트했습니다.

  • pyspark.sql.functions.array_remove 를 NotSupported 에서 Direct 로.

수정됨 fixed¶

• 세부 보고서의 코드 파일 크기 조정 테이블을 수정하여 .sql 및 .hql 파일을 제외하도록 하고 테이블에 Extra Large 행을 추가했습니다.

• SparkSession 가 Python 에서 여러 라인으로 정의된 경우 update_query_tag 가 누락되는 것을 수정했습니다.

• SparkSession 이 Scala 에서 여러 라인으로 정의된 경우 update_query_tag 가 누락되는 것을 수정했습니다.

• 구문 분석 오류가 있는 일부 SQL 문에 EWI SPRKHVSQL1001 누락을 수정했습니다.

• 문자열 리터럴 안에 새 라인 값 유지 수정

• 파일 유형 요약 테이블에 표시되는 총 코드 줄 수를 수정했습니다

• 파일을 성공적으로 인식하면 구문 분석 점수가 0으로 표시되는 문제 수정

• Databricks Magic SQL Cells의 인벤토리에서 LOC 카운트를 수정했습니다.

추가됨 added¶

• pyspark.sql.readwriter.DataFrameReader.parquet 에 대한 변환을 추가했습니다.

• Parquet 메서드인 경우 pyspark.sql.readwriter.DataFrameReader.option 에 대한 변환을 추가했습니다.

변경됨 changed.3¶

• 다음의 매핑 상태를 업데이트했습니다.

  • pyspark.sql.types.StructType.fields 를 NotSupported 에서 Direct 로.

  • pyspark.sql.types.StructType.names 을 NotSupported 에서 Direct 로.

  • pyspark.context.SparkContext.setLogLevel 을 Workaround 에서 Transformation 으로.

    • 자세한 내용은 EWIs SPRKPY1078 및 SPRKPY1079 에서 확인할 수 있습니다.

  • org.apache.spark.sql.functions.round 를 WorkAround 에서 Direct 로.

  • org.apache.spark.sql.functions.udf 를 NotDefined 에서 Transformation 으로.

    • 자세한 내용은 EWIs SPRKSCL1174 및 SPRKSCL1175 에서 확인할 수 있습니다.

• 다음 Spark 요소의 매핑 상태를 DirectHelper 에서 Direct 로 업데이트했습니다.

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

수정됨 fixed¶

• 전체 Pandas API의 백분율에 표시되는 수정된 값

• DetailReport 에서 ImportCalls 테이블의 총 퍼센트를 수정했습니다

사용 중단됨 deprecated¶

• 다음 EWI 코드가 사용 중단되었습니다.

  • SPRKSCL1115

핫픽스 수정됨¶

• 사용량이 없을 때 Spark 사용량 요약에 총 행이 추가되는 문제 수정

• Python 어셈블리를 Version=1.3.111 로 업그레이드했습니다.

  • 여러 라인 인자의 후행 쉼표 구문 분석

추가됨 added¶

• pyspark.sql.readwriter.DataFrameReader.option 에 대한 변환을 추가했습니다.

  • 체인이 CSV 메서드 호출에서 비롯된 경우.

  • 체인이 JSON 메서드 호출에서 비롯된 경우.

• pyspark.sql.readwriter.DataFrameReader.json 에 대한 변환을 추가했습니다.

변경됨 changed.3¶

• Python/Scala 함수로 전달된 SQL 문자열에서 SMA 실행

  • Scala/Python에서 임시 SQL 단위를 출력하기 위해 AST 생성

  • SqlEmbeddedUsages.csv 인벤토리 생성

  • SqlStatementsInventroy.csv 및 SqlExtractionInventory.csv 사용 중단

  • SQL 리터럴을 처리 할 수없는 경우 EWI 통합

  • SQL 임베드된 코드를 처리할 새 작업 생성하기

  • Python에서 SqlEmbeddedUsages.csv 인벤토리에 대한 정보 수집

  • Python에서 SQL 변환된 코드를 리터럴로 바꿉니다

  • 구현 후 테스트 케이스 업데이트

  • Create Table, SqlEmbeddedUsages 인벤토리에서 원격 측정을 위한 뷰

  • Scala에서 SqlEmbeddedUsages.csv 보고서에 대한 정보 수집

  • Scala에서 SQL 변환된 코드를 리터럴로 바꿉니다

  • 임베디드 SQL 보고를 위한 라인 번호 순서 확인

• SqlFunctionsInfo.csv 에 SparkSQL 및 HiveSQL 에 대해 문서화된 SQL 함수를 적용했습니다.

• 다음에 대한 매핑 상태를 업데이트했습니다.

  • org.apache.spark.sql.SparkSession.sparkContext 를 NotSupported 에서 Transformation으로.

  • org.apache.spark.sql.Builder.config 를 NotSupported 에서 Transformation 으로. 이 새로운 매핑 상태를 사용하면 SMA 는 소스 코드에서 이 함수의 모든 사용을 제거합니다.

추가됨¶

• 노트북 셀에서 식별된 요소의 라인과 열을 가져오는 메커니즘(데코레이션을 통해)을 추가했습니다

• Pyspark.sql.functions.from_json에 대한 EWI 를 추가했습니다.

• pyspark.sql.readwriter.DataFrameReader.csv에 대한 변환을 추가했습니다.

• Scala 파일에 쿼리 태그 메커니즘을 사용하도록 설정했습니다.

• 상세 보고서에 코드 분석 점수 및 추가 링크가 추가되었습니다.

• InputFilesInventory.csv에 OriginFilePath 라는 열을 추가했습니다

변경됨¶

• Pyspark.sql.functions.from_json의 매핑 상태를 지원되지 않음에서 변환으로 업데이트했습니다.

• 다음 Spark 요소의 매핑 상태를 해결 방법에서 직접으로 업데이트했습니다.

  • org.apache.sql.functions.countDistinct

  • org.apache.sql.functions.max

  • org.apache.sql.functions.min

  • org.apache.sql.functions.mean

사용되지 않음¶

• 다음 EWI 코드가 사용 중단되었습니다.

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

수정됨¶

• Spark API 점수가 잘못 계산되던 버그가 수정되었습니다.

• 출력 폴더에 비어 있거나 설명이 있는 파일(SQL)을 복사본으로 생성하지 않는 오류를 수정했습니다.

• DetailedReport, 노트북 통계 LOC 및 셀 수가 정확하지 않은 버그가 수정되었습니다.

추가됨 add¶

• technology 열을 SparkUsagesInventory 에 추가합니다

• 정의되지 않은 SQL 요소에 대해 EWI 를 추가했습니다.

• SqlFunctions 인벤토리 추가됨

• SqlFunctions 인벤토리에 대한 정보 수집

변경됨 changed.3¶

• 이제 엔진은 원본 파일을 수정 없이 그대로 두는 대신 부분적으로 구문 분석된 Python 파일을 처리하고 출력합니다.

• 구문 분석 오류가 있는 Python 노트북 셀도 처리되어 인쇄됩니다.

수정됨 fixed¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime 이 잘못 보고되는 오류가 수정되었습니다.

• SQL 준비도 점수와 SQL 지원 상태별 사용량 간의 불일치를 수정했습니다.

• SMA 에서 잘못된 매핑 상태로 pandas.core.series.Series.empty 를 보고하는 버그를 수정했습니다.

• DetailedReport.docx에서 Spark API 사용량 준비 열과 Assessment.json에서 UsagesReadyForConversion 행의 불일치를 수정했습니다.

추가됨 add.1¶

• AssessmentReport.json 파일에 다음 정보를 추가했습니다

  • 서드 파티 라이브러리 준비도 점수입니다.

  • 식별된 서드 파티 라이브러리 호출 수입니다.

  • Snowpark에서 지원되는 서드 파티 라이브러리 호출 수입니다.

  • 서드 파티 준비도 점수, Spark API 준비도 점수 및 SQL 준비도 점수와 관련된 색상 코드입니다.

• Spark create tables에서 SqlSimpleDataType 을 변환했습니다.

• pyspark.sql.functions.get 의 매핑을 직접적으로 추가했습니다.

• pyspark.sql.functions.to_varchar 의 매핑이 직접으로 추가되었습니다.

• 통합 후 변경 사항의 일환으로 이제 도구가 엔진에서 실행 정보 파일을 생성합니다.

• pyspark.sql.SparkSession.builder.appName 에 대한 대체자를 추가했습니다.

변경됨 changed.4¶

• 다음 Spark 요소에 대한 매핑 상태를 업데이트했습니다

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• 노트북 셀 목록 보고서가 열 요소에 있는 모든 셀의 내용 종류를 표시하도록 변경했습니다

• Scala 파일에서 Spark API 참조에만 관련된 것으로 준비도 점수를 보고하는 SCALA_READINESS_SCORE 열을 추가했습니다.

• ALTER TABLE 및 ALTER VIEW 에서 테이블 속성을 변환하는 부분 지원

• Spark create tables에서 노드 SqlSimpleDataType 의 변환 상태를 보류 중에서 변환으로 업데이트했습니다

• SMA 가 지원하는 Snowpark Scala API 버전이 1.7.0 에서 1.12.1 로 업데이트되었습니다.

  • 다음의 매핑 상태를 업데이트했습니다.

    • org.apache.spark.sql.SparkSession.getOrCreate 를 Rename에서 Direct로

    • org.apache.spark.sql.functions.sum 을 Workaround에서 Direct로

• SMA 가 지원하는 Snowpark Python API 버전이 1.15.0 에서 1.20.0 으로 업데이트되었습니다.

  • 다음의 매핑 상태를 업데이트했습니다.

    • pyspark.sql.functions.arrays_zip 을 Not Supported에서 Direct로

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • 지원되지 않음에서 이름 바꾸기 매핑으로:

    • pandas.core.frame.DataFrame.map

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • 지원되지 않음 매핑:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • EWI 를 사용한 직접 매핑하기:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 직접 매핑:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • 지원되지 않음 매핑:

    • pandas.core.series.Series.dt.strftime

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• 다음 Pandas 요소에 대한 매핑 상태를 업데이트했습니다.

  • 지원되지 않음에서 직접 매핑으로 변경합니다.

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• SQL 준비도 점수의 이해하기에 대한 설명을 업데이트했습니다.

• 패키지를 수집하고 현재 패키지 인벤토리를 Python 소스 코드의 데이터로 채우도록 PyProgramCollector 를 업데이트했습니다.

• pyspark.sql.SparkSession.builder.appName 의 매핑 상태를 이름 바꾸기에서 변환으로 업데이트했습니다.

• 다음 Scala 통합 테스트를 제거했습니다.

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• pandas.core.generic.NDFrame.shape 의 매핑 상태를 지원되지 않음에서 직접으로 업데이트했습니다.

• pandas.core.series 의 매핑 상태를 지원되지 않음에서 직접 지원으로 업데이트했습니다.

사용 중단됨 deprecated¶

• org.apache.sql.functions.sum 은 이제 직접 매핑되므로 EWI 코드 SPRKSCL1160 은 더 이상 사용되지 않습니다.

수정됨 fixed.1¶

• Jupyter Notebook 셀에서 인자가 없는 Custom Magics을 지원하지 않는 버그를 수정했습니다.

• 구문 분석 오류가 발생할 때 issues.csv 보고서에서 EWIs 가 잘못 생성되던 문제를 수정했습니다.

• SMA 가 내보낸 Databricks 노트북을 Databricks 노트북으로 처리하지 않던 버그를 수정했습니다.

• 패키지 오브젝트 내에서 생성된 선언의 유형 이름이 충돌하는 것을 처리하는 동안 스택 오버플로 오류가 수정되었습니다.

• 제네릭이 포함된 복잡한 Lambda 타입 이름(예: def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...)의 처리를 수정했습니다.

• SMA 가 아직 인식되지 않은 Pandas 요소에 Pandas EWI 코드 대신 PySpark EWI 코드를 추가하는 버그를 수정했습니다.

• 세부 보고서 템플릿의 오타 수정: 열 이름을 “Percentage of all Python Files”에서 “Percentage of all files”로 변경했습니다.

• pandas.core.series.Series.shape 이 잘못 보고되는 버그를 수정했습니다.