Snowpark Migration Accelerator: Versionshinweise¶

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.62

Hinzugefügt¶

• Added functionality to migrate SQL embedded with Python format interpolation.

• Added support for DataFrame.select and DataFrame.sort transformations for greater data processing flexibility.

Geändert¶

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API to 1.36.0.

• Updated the mapping status of pandas.core.frame.DataFrame.boxplot from Not Supported to Direct.

• Updated the mapping status of DataFrame.select, Dataset.select, DataFrame.sort and Dataset.sort from Direct to Transformation.

• Snowpark Scala allows a sequence of columns to be passed directly to the select and sort functions, so this transformation changes all the usages such as df.select(cols: _*) to df.select(cols) and df.sort(cols: _*) to df.sort(cols).

• Bumped Python AST and Parser version to 149.1.9.

• Updated the status to Direct for pandas functions:

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Updated the status for pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas to workaround using the EWI SPRKPY1102.

Korrigiert¶

• Fixed issue that affected SqlEmbedded transformations when using chained method calls.

• Fixed transformations involving PySqlExpr using the new PyLiteralSql to avoid losing Tails.

• Resolved internal stability issues to improve tool robustness and reliability.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.46

Hinzugefügt¶

• Added new Pandas EWI documentation PNDSPY1011.

• Added support to the following Pandas functions:

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Added support to the following Spark Scala functions:

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

Geändert¶

• Bumped the version of Snowpark Pandas API supported by the SMA to 1.33.0.

• Bumped the version of Snowpark Scala API supported by the SMA to 1.16.0.

• Updated the mapping status of pyspark.sql.group.GroupedData.pivot from Transformation to Direct.

• Updated the mapping status of org.apache.spark.sql.Builder.master from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

• Updated the mapping status of org.apache.spark.sql.types.StructType.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.Row.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.SparkSession.stop from NotSupported to Rename. All the identified usages of this element are renamed to com.snowflake.snowpark.Session.close during code conversion.

• Updated the mapping status of org.apache.spark.sql.DataFrame.unpersist and org.apache.spark.sql.Dataset.unpersist from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

Korrigiert¶

• Fixed continuation backslash on removed tailed functions.

• Fix the LIBRARY_PREFIX column in the ConversionStatusLibraries.csv file to use the right identifier for scikit-learn library family (scikit-*).

• Fixed bug not parsing multiline grouped operations.

Hinzugefügt¶

• The following mappings are now performed for org.apache.spark.sql.Dataset[T]:

  • org.apache.spark.sql.Dataset.union is now com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName is now com.snowflake.snowpark.DataFrame.unionAllByName

• Added support for org.apache.spark.sql.functions.broadcast as a transformation.

Geändert¶

• Increased the supported Snowpark Python API version for SMA from 1.27.0 to 1.33.0.

• The status for the pyspark.sql.function.randn function has been updated to Direct.

Korrigiert¶

• Resolved an issue where org.apache.spark.SparkContext.parallelize was not resolving and now supports it as a transformation.

• Fixed the Dataset.persist transformation to work with any type of Dataset, not just Dataset[Row].

Hinzugefügt¶

• Adjusted mappings for spark.DataReader methods.

• DataFrame.union is now DataFrame.unionAll.

• DataFrame.unionByName is now DataFrame.unionAllByName.

• Added multi-level artifact dependency columns in artifact inventory

• Added new Pandas EWIs documentation, from PNDSPY1005 to PNDSPY1010.

• Added a specific EWI for pandas.core.series.Series.apply.

Geändert¶

• Bumped the version of Snowpark Pandas API supported by the SMA from 1.27.0 to 1.30.0.

Korrigiert¶

• Fixed an issue with missing values in the formula to get the SQL readiness score.

• Fixed a bug that was causing some Pandas elements to have the default EWI message from PySpark.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.19

Geändert¶

• Refactored Pandas Imports: Pandas imports now use `modin.pandas` instead of snowflake.snowpark.modin.pandas.

• Improved `dbutils` and Magic Commands Transformation:

  • A new sfutils.py file is now generated, and all dbutils prefixes are replaced with sfutils.

  • For Databricks (DBX) notebooks, an implicit import for sfutils is automatically added.

  • The sfutils module simulates various dbutils methods, including file system operations (dbutils.fs) via a defined Snowflake FileSystem (SFFS) stage, and handles notebook execution (dbutils.notebook.run) by transforming it to EXECUTE NOTEBOOK SQL functions.

  • dbutils.notebook.exit is removed as it is not required in Snowflake.

Korrigiert¶

• Updates in SnowConvert Reports: SnowConvert reports now include the CellId column when instances originate from SMA, and the FileName column displays the full path.

• Updated Artifacts Dependency for SnowConvert Reports: The SMA’s artifact inventory report, which was previously impacted by the integration of SnowConvert, has been restored. This update enables the SMA tool to accurately capture and analyze Object References and Missing Object References directly from SnowConvert reports, thereby ensuring the correct retrieval of SQL dependencies for the inventory.

Hinzugefügt¶

• Added telemetry improvements.

Korrigiert¶

• Fix documentation links in conversion settings pop-up and Pandas EWIs.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.16

Hinzugefügt¶

• Transforming Spark XML to Snowpark

• Databricks SQL option in the SQL source language

• Transform JDBC read connections.

Geändert¶

• All the SnowConvert reports are copied to the backup Zip file.

• The folder is renamed from SqlReports to SnowConvertReports.

• SqlFunctionsInventory is moved to the folder Reports.

• All the SnowConvert Reports are sent to Telemetry.

Korrigiert¶

• Non-deterministic issue with SQL Readiness Score.

• Fixed a false-positive critical result that made the desktop crash.

• Fixed issue causing the Artifacts dependency report not to show the SQL objects.

Korrigiert¶

• Addressed an issue with SMA execution on the latest Windows OS, as previously reported. This fix resolves the issues encountered in version 2.7.1.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.1

Hinzugefügt¶

The Snowpark Migration Accelerator (SMA) now orchestrates SnowConvert to process SQL found in user workloads, including embedded SQL in Python / Scala code, Notebook SQL cells, .sql files, and .hql files.

The SnowConvert now enhances the previous SMA capabilities:

• Spark SQL

A new folder in the Reports called SQL Reports contains the reports generated by SnowConvert.

Known Issues¶

The previous SMA version for SQL reports will appear empty for the following:

• For Reports/SqlElementsInventory.csv, partially covered by the Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv.

• For Reports/SqlFunctionsInventory.csv refer to the new location with the same name at Reports/SqlReports/SqlFunctionsInventory.csv

The artifact dependency inventory:

• In the ArtifactDependencyInventory the column for the SQL Object will appear empty

Included SMA Core Versions¶

• Snowpark Conversion Core 7.4.0

Korrigiert¶

• Fixed wrong values in the ‚checkpoints.json‘ file.

  • The ‚sample‘ value was without decimals (for integer values) and quotes.

  • The ‚entryPoint‘ value had dots instead of slashes and was missing the file extension.

• Updated the default value to TRUE for the setting ‚Convert DBX notebooks to Snowflake notebooks‘

Desktop App¶

• Added checkpoints execution settings mechanism recognition.

• Added a mechanism to collect DBX magic commands into DbxElementsInventory.csv

• Added ‚checkpoints.json‘ generation into the input directory.

• Added a new EWI for all not supported magic command.

• Added the collection of dbutils into DbxElementsInventory.csv from scala source notebooks

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.53

Geändert¶

• Updates made to handle transformations from DBX Scala elements to Jupyter Python elements, and to comment the entire code from the cell.

• Updates made to handle transformations from dbutils.notebook.run and “r“ commands, for the last one, also comment out the entire code from the cell.

• Updated the name and the letter of the key to make the conversion of the notebook files.

Korrigiert¶

• Fixed the bug that was causing the transformation of DBX notebooks into .ipynb files to have the wrong format.

• Fixed the bug that was causing .py DBX notebooks to not be transformable into .ipynb files.

• Fixed a bug that was causing comments to be missing in the output code of DBX notebooks.

• Fixed a bug that was causing raw Scala files to be converted into ipynb files.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.42

Geändert¶

Updated DataFramesInventory to fill EntryPoints column

Desktop App¶

Hinzugefügt¶

• Update DBx EWI link in the UI results page

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.39

Hinzugefügt¶

• Added Execution Flow inventory generation.

• Added implicit session setup in every DBx notebook transformation

Geändert¶

• Renamed the DbUtilsUsagesInventory.csv to DbxElementsInventory.csv

Korrigiert¶

• Fixed a bug that caused a Parsing error when a backslash came after a type hint.

• Fixed relative imports that do not start with a dot and relative imports with a star.

Desktop App¶

Hinzugefügt¶

• Added a new conversion setting toggle to enable or disable Sma-Checkpoints feature.

• Fix report issue to not crash when post api returns 500

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.26

Hinzugefügt¶

• Added generation of the checkpoints.json file into the output folder based on the DataFramesInventory.csv.

• Added „disableCheckpoints“ flag into the CLI commands and additional parameters of the code processor.

• Added a new replacer for Python to transform the dbutils.notebook.run node.

• Added new replacers to transform the magic %run command.

• Added new replacers (Python and Scala) to remove the dbutils.notebook.exit node.

• Added Location column to artifacts inventory.

Geändert¶

• Refactored the normalized directory separator used in some parts of the solution.

• Centralized the DBC extraction working folder name handling.

• Updated Snowpark and Pandas version to v1.27.0

• Updated the artifacts inventory columns to:

  • Name -> Dependency

  • File -> FileId

  • Status -> Status_detail

• Added new column to the artifacts inventory:

  • Success

Korrigiert¶

• Dataframes inventory was not being uploaded to the stage correctly.

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.2.0

Added ¶

• An Artifact Dependency Inventory

• A replacer and EWI for pyspark.sql.types.StructType.fieldNames method to snowflake.snowpark.types.StructType.fieldNames attribute.

• The following PySpark functions with the status:

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

The following Pandas functions with status

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Update the following Pyspark functions with the status

From WorkAround to Direct

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

From NotSupported to Direct

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Updated the folloing Pandas functions with the status

From NotSupported to Direct

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.1.13

Added ¶

• Added csv generator class for new inventory creation.

• Added „full_name“ column to import usages inventory.

• Added transformation from pyspark.sql.functions.concat_ws to snowflake.snowpark.functions._concat_ws_ignore_nulls.

• Added logic for generation of checkpoints.json.

• Added the inventories:

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Desktop App ¶

• Updated the licensing agreement, acceptance is required.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.1.2

Hinzugefügt

Updated the mapping status for the following Pandas elements, from NotSupported to Direct

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

Updated the mapping status for the following PySpark elements, from Rename to Direct

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

Fixed ¶

• Standardized the format of the version number in the inventories.

Hinzugefügt¶

Geändert¶

• Aktualisieren Sie .NET auf Version v9.0.0.

• Verbessert EWI SPRKPY1068.

• Die von SMA unterstützte Version von Snowpark Python API wurde von 1.24.0 auf 1.25.0 erhöht.

• Die detaillierte Berichtsvorlage wurde aktualisiert und enthält jetzt die Snowpark-Version für Pandas.

• Die folgenden Bibliotheken wurden von ThirdPartyLib auf BuiltIn geändert.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Bekanntes Problem¶

• Diese Version enthält ein Problem bei der Konvertierung des Beispielprojekts, das in dieser Version nicht funktioniert. Es wird im nächsten Release behoben werden

Desktop App¶

• Link zur Fehlerbehebungsanleitung im Modalfenster für Absturzberichte hinzugefügt.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.15.0

Hinzugefügt¶

• Die folgenden PySpark-Elemente wurden der ConversionStatusPySpark.csv-Datei als NotSupportedhinzugefügt:

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Geändert¶

• Aktualisiertes Hive SQL EWIs-Format.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Aktualisiertes Spark SQL EWIs-Format.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass einige PySpark-Elemente vom Tool nicht erkannt wurden.

• Die Nichtübereinstimmung zwischen den in ThirdParty identifizierten Anrufen und der Anzahl der importierten ThirdParty Anrufe wurde korrigiert.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.14.0

Hinzugefügt added¶

• Die folgenden Spark-Elemente wurden zu ConversionStatusPySpark.csv hinzugefügt:

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Geändert¶

• Die Dokumentation der Pandas EWIs, PNDSPY1001, PNDSPY1002 und PNDSPY1003 SPRKSCL1137 wurde an ein standardisiertes Format angepasst, um Konsistenz und Klarheit für alle EWIs zu gewährleisten.

• Die Dokumentation der folgenden Scala EWIs wurde aktualisiert: SPRKSCL1106 und SPRKSCL1107. Zu erfolgende Anpassung an ein standardisiertes Format, um Konsistenz und Klarheit in allen EWIs zu gewährleisten.

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass die Symbole von UserDefined im Inventar der Drittanbieter-Nutzungen angezeigt wurden.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.13.1

Command Line Interface¶

Geändert

• Zeitstempel für den Ausgabeordner hinzugefügt.

Hinzugefügt¶

• Spalte ‚Ausgangssprache‘ zur Tabelle der Bibliothekszuordnungen hinzugefügt

• Andere als neue Kategorie in der Pandas API-Zusammenfassung-Tabelle der DetailedReport.docx-Datei hinzugefügt

Geändert¶

• Die Dokumentation für Python EWI SPRKPY1058 wurde aktualisiert.

• Die Meldung für pandas EWI PNDSPY1002 wurde aktualisiert, um das relate pandas-Element anzuzeigen.

• Die Art und Weise, wie wir die .csv-Berichte erstellt haben, wurde aktualisiert und wird nun nach einem zweiten Durchlauf überschrieben.

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass Notebook-Dateien in der Ausgabe nicht erzeugt wurden.

• Der Ersetzer für die Methoden get und set von pyspark.sql.conf wurde korrigiert.RuntimeConfig, der Ersetzer entspricht nun den korrekten vollständigen Namen.

• Fehlerhafte Version des Abfrage-Tags wurde korrigiert.

• Als ThirdPartyLib gemeldete UserDefined-Pakete wurden korrigiert.

\

Included SMA Core Versions¶

• Snowpark Conversion Core 4.12.0

Desktop App¶

Korrigiert

• Korrektur von Problemen mit der Groß- und Kleinschreibung in –sql Optionen.

Entfernt

• Entfernen Sie den Plattformnamen aus der show-ac-Meldung.

Hinzugefügt¶

• Unterstützung für Snowpark Python 1.23.0 und 1.24.0 wurde hinzugefügt.

• Eine neue EWI für die pyspark.sql.dataframe.DataFrame.writeTo-Funktion wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1087.

Geändert¶

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1137 auf SPRKSCL1156 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1117 auf SPRKSCL1136 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Meldung, die für die folgende EWIs angezeigt wird, wurde aktualisiert:

  • SPRKPY1082

  • SPRKPY1083

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1100 auf SPRKSCL1105, von SPRKSCL1108 auf SPRKSCL1116; von SPRKSCL1157 auf SPRKSCL1175 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit in allen EWIs gewährleistet.

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von NotSupported auf Direkt mit EWI aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1089

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von Workaround auf Umbenennen aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Aktualisierte EWI-Dokumentation: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Removed¶

• Das pyspark.sql.dataframe.DataFrameStatFunctions.writeTo-Element wurde aus dem Konvertierungsstatus entfernt, dieses Element existiert nicht.

Veraltet¶

• Die folgenden EWI-Codes sind veraltet:

  • SPRKPY1081

  • SPRKPY1084

Hinzugefügt¶

• Der Issues.csv-Datei wurde eine neue Spalte namens Url hinzugefügt, die auf die entsprechende EWI Dokumentation weiterleitet.

• Neue EWIs für die folgenden Spark-Elemente wurden hinzugefügt:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38 neue Pandas-Elemente wurden hinzugefügt:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Included SMA Core Versions¶

• Snowpark Conversion Core 4.10.0

Desktop App¶

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA in der Menüleiste der Windows-Version die Bezeichnung SnowConvert anstelle von Snowpark Migration Accelerator anzeigte.

• Es wurde ein Fehler korrigiert, der zum Absturz von SMA führte, wenn das Programm keine Lese- und Schreibrechte für das Verzeichnis .config in macOS und das Verzeichnis AppData in Windows hatte.

Command Line Interface¶

Geändert

• Der Name der ausführbaren Datei CLI wurde von snowct in sma umbenannt.

• Das Argument für die Quellsprache wurde entfernt, so dass Sie nicht mehr angeben müssen, ob Sie eine Python- oder Scala-Bewertung/Konvertierung durchführen.

• Die von CLI unterstützten Befehlszeilenargumente wurden um die folgenden neuen Argumente erweitert:

  • --enableJupyter | -j: Flagge, die angibt, ob die Konvertierung von Databricks-Notebooks in Jupyter aktiviert ist oder nicht.

  • --sql | -f: Syntax der Datenbank-Engine, die verwendet werden soll, wenn ein SQL-Befehl erkannt wird.

  • --customerEmail | -e: Konfigurieren der Kunden-E-Mail.

  • --customerCompany | -c: Konfigurieren der Kundenfirma.

  • --projectName | -p: Konfigurieren Sie das Kundenprojekt.

• Einige Texte wurden aktualisiert, um den korrekten Namen der Anwendung wiederzugeben und die Konsistenz und Klarheit aller Meldungen zu gewährleisten.

• Aktualisieren Sie die Nutzungsbedingungen der Anwendung.

• Die Dokumentation von CLI wurde aktualisiert und erweitert, um die neuesten Features, Verbesserungen und Änderungen zu berücksichtigen.

• Der Text, der vor der Ausführung von SMA angezeigt wird, wurde verbessert.

• Das CLI wurde aktualisiert, sodass „Ja“ als gültiges Argument akzeptiert wird, wenn der Benutzer zur Bestätigung aufgefordert wird.

• Ermöglicht es CLI, die Ausführung fortzusetzen, ohne auf eine Interaktion des Benutzers zu warten, indem Sie das Argument -y oder --yes angeben.

• Die Hilfeinformationen für das Argument --sql wurden aktualisiert, um die Werte anzuzeigen, die dieses Argument erwartet.

Hinzugefügt¶

• Eine neue EWI für die Funktion pyspark.sql.readwriter.DataFrameWriter partitionBy wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1081.

• Der Datei ImportUsagesInventory.csv wurde eine neue Spalte namens Technologie hinzugefügt.

Geändert¶

• Die Bereitschaftsbewertung von Drittanbieter-Bibliotheken wurde aktualisiert, um auch die Unbekannten Bibliotheken zu berücksichtigen.

• Die Datei AssessmentFiles.zip wurde aktualisiert und enthält nun .json-Dateien anstelle von .pam-Dateien.

• Der Konvertierungsmechanismus von CSV zu JSON wurde verbessert, um die Verarbeitung von Beständen leistungsfähiger zu machen.

• Die Dokumentation der folgenden EWIs wurde verbessert:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Direkt auf Umbenennen aktualisiert.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Nicht unterstütz auf Direkt aktualisiert.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA die Spalte Herkunft der ImportUsagesInventory. csv-Datei falsch befüllt hat.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA-Importe der Bibliotheken io, json, logging und unittest in der ImportUsagesInventory.csv-Datei und in der DetailedReport.docx-Datei nicht als Python built-in Importe klassifizierte.

Hinzugefügt¶

• EwiCatalog.csv und .md-Dateien hinzugefügt, um die Dokumentation zu reorganisieren

• Der Zuordnungsstatus von pyspark.sql.functions.ln Direct wurde hinzugefügt.

• Eine Transformation für pyspark.context.SparkContext.getOrCreate wurde hinzugefügt.

  • Weitere Einzelheiten finden Sie unter EWI SPRKPY1080.

• Es wurde eine Verbesserung für SymbolTable hinzugefügt, um den Typ von Parametern in Funktionen zu ermitteln.

• Hinzugefügte SymbolTable unterstützt statische Methoden und geht nicht davon aus, dass der erste Parameter bei diesen Methoden „self“ ist.

• Eine Dokumentation für fehlende EWIs wurde hinzugefügt

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Geändert¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.functions.array_remove von NotSupported zu Direkt.

Korrigiert¶

• Die Tabelle „Code-Dateigröße“ im Detailbericht wurde korrigiert, um .sql- und .hql-Dateien auszuschließen, und die Zeile „Extra groß“ wurde zur Tabelle hinzugefügt.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Python definiert ist.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Scala definiert ist.

• Das Fehlen von EWI SPRKHVSQL1001 bei einigen SQL-Anweisungen mit Parsing-Fehlern wurde korrigiert.

• Feste Werte für neue Zeilen innerhalb von Zeichenfolgenliteralen korrigiert

• Die Anzeige der Gesamtanzahl der Codezeilen in der Dateityp-Übersichtstabelle wurde korrigiert

• Als 0 angezeigter Parsing-Score bei erfolgreich erkannten Dateien wurde korrigiert

• LOC-Zählung im Zellenbestand für Databricks Magic SQL-Zellen wurde korrigiert

Hinzugefügt¶

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.parquet.

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.option, wenn es sich um eine Parquet-Methode handelt.

Geändert¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.types.StructType.fields von NotSupported nach Direkt.

  • pyspark.sql.types.StructType.names von NotSupported nach Direkt.

  • pyspark.context.SparkContext.setLogLevel von Workaround zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKPY1078 und SPRKPY1079

  • org.apache.spark.sql.functions.round von WorkAround zu Direkt.

  • org.apache.spark.sql.functions.udf von NotDefined zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKSCL1174 und SPRKSCL1175

• Der Zuordnungsstatus der folgenden Spark-Elemente wurde von DirectHelper auf Direkt aktualisiert:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Korrigiert¶

• Der im Prozentsatz der gesamten Pandas Api angezeigte Wert wurde korrigiert

• Gesamtprozentsatz auf ImportCalls in der DetailReport-Tabelle wurde korrigiert

Hotfixed¶

• Die Gesamtzeile in den Spark-Nutzungsübersichten wurde hinzugefügt, wenn es keine Nutzungen gibt

• Von Python Assembly auf Version=1.3.111 aktualisiert

  • Nachstehendes Komma in mehrzeiligen Argumenten parsen

Hinzugefügt¶

• Transformation für pyspark.sql.readwriter.DataFrameReader.option wurde hinzugefügt:

  • Wenn die Kette aus einem CSV-Methodenaufruf stammt.

  • Wenn die Kette aus einem JSON-Methodenaufruf stammt.

• Transformation für pyspark.sql.readwriter.DataFrameReader.json wurde hinzugefügt.

Geändert¶

• Ausgeführt SMA auf SQL-Strings, die an Python/Scala-Funktionen übergeben werden

  • Erstellen Sie AST in Scala/Python, um eine temporäre SQL-Einheit auszugeben

  • Erstellen Sie einen SqlEmbeddedUsages.csv-Bestand

  • Verwerfen Sie SqlStatementsInventroy.csv und SqlExtractionInventory.csv

  • Integrieren Sie EWI, wenn das SQL-Literal nicht verarbeitet werden konnte

  • Erstellen Sie neue Aufgabe, um SQL-eingebetteten Code zu verarbeiten

  • Sammeln Sie Informationen für SqlEmbeddedUsages.csv-Bestand in Python

  • Ersetzen Sie mit SQL transformierten Code in Python durch Literal

  • Aktualisieren Sie Testfälle nach der Implementierung

  • Erstellen Sie eine Tabelle und Ansichten für Telemetrie in SqlEmbeddedUsages-Bestand

  • Sammeln Sie Informationen für SqlEmbeddedUsages.csv-Bericht in Scala

  • Ersetzen Sie SQL transformierten Code in Scala durch Literal

  • Prüfen Sie die Reihenfolge der Zeilennummern für die Berichterstattung von Embedded SQL

• Füllen Sie die SqlFunctionsInfo.csv mit den SQL-Funktionen, die für SparkSQL und HiveSQL

• Der Zuordnungsstatus wurde aktualisiert für:

  • org.apache.spark.sql.SparkSession. sparkContext von NotSupported zu „Transformation“.

  • org.apache.spark.sql.Builder.config von NotSupported zu Transformation. Mit diesem neuen Zuordnungsstatus wird die SMA alle Verwendungen dieser Funktion aus dem Quellcode entfernen.

Hinzugefügt¶

• Es wurde der Mechanismus hinzugefügt (über Dekoration), um die Zeile und Spalte der in Notizbuchzellen identifizierten Elemente abzurufen.

• Ein EWI für pyspark.sql.functions.from_json wurde hinzugefügt.

• Eine Transformation für pyspark.sql.readwriter.DataFrameReader.csv wurde hinzugefügt.

• Aktiviert den Abfrage-Tag-Mechanismus für Scala-Dateien.

• Der Analysis Score-Code und zusätzliche Links zum detaillierten Bericht wurden hinzugefügt.

• InputFilesInventory.csv wurde eine Spalte namens OriginFilePath hinzugefügt

Geändert¶

• Der Zuordnungsstatus von pyspark.sql.functions.from_json wurde von „Nicht unterstützt“ auf „Transformation“ aktualisiert.

• Der Zuordnungsstatus der folgenden Spark-Elemente wurde von „Workaround“ auf „Direkt“ aktualisiert:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Veraltet¶

• Die folgenden EWI-Codes sind veraltet:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Korrigiert¶

• Es wurde ein Fehler korrigiert, der zu einer falschen Berechnung des Spark API-Ergebnisses führte.

• Ein Fehler wurde korrigiert, der das Kopieren von SQL leeren oder kommentierten Dateien im Ausgabeordner verhinderte.

• Es wurde ein Fehler in DetailedReport korrigiert. Die Notebook-Statistiken LOC und die Zellenzahl sind nicht korrekt.

Hinzugefügt¶

• Hinzufügen einer Technologie-Spalte zu SparkUsagesInventory

• Ein EWI für nicht definierte SQL-Elemente wurde hinzugefügt.

• SqlFunctions-Inventar hinzugefügt

• Sammeln Sie Informationen für SqlFunctions-Inventar

Geändert¶

• Die Engine verarbeitet und druckt jetzt teilweise geparste Python-Dateien, anstatt die Originaldatei unverändert zu lassen.

• Python-Notebook-Zellen, die Parsing-Fehler aufweisen, werden ebenfalls verarbeitet und gedruckt.

Korrigiert¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime, das fälschlicherweise gemeldet wurde, wurde korrigiert.

• Korrektur der Diskrepanz zwischen SQL-Bereitschaftsbewertung und SQL-Verwendungen nach Unterstützungsstatus.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA pandas.core.series.Series.empty mit einem falschen Zuordnungsstatus meldete.

• Korrektur der Diskrepanz zwischen Spark API-Verwendungen bereit zur Konvertierung in DetailedReport.docx unterscheidet sich von UsagesReadyForConversion-Zeile in Assessment.json.

Hinzugefügt¶

• Die folgenden Informationen wurden der Datei AssessmentReport.json hinzugefügt

  • Die Bereitschaftsbewertung von Bibliotheken von Drittanbietern.

  • Die Anzahl der Aufrufe von Bibliotheken von Drittanbietern, die identifiziert wurden.

  • Die Anzahl der Aufrufe von Bibliotheken von Drittanbietern, die in Snowpark unterstützt werden.

  • Der Farbcode, der mit der Bereitschaftsbewertung von Drittanbietern, der Bereitschaftsbewertung von Spark API und der Bereitschaftsbewertung von SQL verbunden ist.

• Transformierte SqlSimpleDataType in Spark erstelle Tabellen.

• Die Zuordnung von pyspark.sql.functions.get wurde als „direkt“ hinzugefügt.

• Die Zuordnung von pyspark.sql.functions.to_varchar wurde als „direkt“ hinzugefügt.

• Im Rahmen der Änderungen nach der Vereinheitlichung erzeugt das Tool nun eine Ausführungsinformationsdatei in der Engine.

• Ein Ersetzer für pyspark.sql.SparkSession.builder.appName wurde hinzugefügt.

Geändert¶

• Der Zuordnungsstatus wurde für die folgenden Spark-Elemente aktualisiert

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Der Bericht „Bestandsaufnahme der Notebook-Zellen“ wurde geändert, um die Art des Inhalts für jede Zelle in der Element-Spalte anzuzeigen

• Es wurde eine Spalte SCALA_READINESS_SCORE hinzugefügt, die die Bereitschaftsbewertung nur in Bezug auf Verweise auf die Spark API in Scala-Dateien anzeigt.

• Teilweise Unterstützung für die Transformation von Tabelleneigenschaften in ALTER TABLE und ALTER VIEW

• Aktualisierung des Konvertierungsstatus des Knotens SqlSimpleDataType von „Ausstehend“ auf „Transformation“ in Spark erstellten Tabellen

• Die von SMA unterstützte Version von Snowpark Scala API wurde von 1.7.0 auf 1.12.1 aktualisiert:

  • Der Zuordnungsstatus wurde aktualisiert von:

    • org.apache.spark.sql.SparkSession.getOrCreate von „Umbenennen“ zu „Direkt“

    • org.apache.spark.sql.functions.sum von „Workaround“ zu „Direkt“

• Die von SMA unterstützte Version von Snowpark Python API wurde von 1.15.0 auf 1.20.0 aktualisiert:

  • Der Zuordnungsstatus wurde aktualisiert von:

    • pyspark.sql.functions.arrays_zip von „Nicht unterstützt“ zu „Direkt“

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • Zuordnung von „Nicht unterstützt“ zu „Umbenennen“:

    • pandas.core.frame.DataFrame.map

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Nicht unterstützte Zuordnungen:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Direkte Zuordnungen mit EWI:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Nicht unterstützte Zuordnungen:

    • pandas.core.series.Series.dt.strftime

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Die Beschreibung von „Understanding the SQL Readiness Score“ wurde aktualisiert.

• PyProgramCollector wurde aktualisiert, um die Pakete zu sammeln und das aktuelle Paketinventar mit Daten aus dem Python-Quellcode aufzufüllen.

• Der Zuordnungsstatus von pyspark.sql.SparkSession.builder.appName wurde von „Umbenennen“ auf „Transformation“ aktualisiert.

• Die folgenden Scala-Integrationstests wurden entfernt:

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Der Zuordnungsstatus von pandas.core.generic.NDFrame.shape wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von pandas.core.series wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

Veraltet¶

• Der Code EWI SPRKSCL1160 ist veraltet, da org.apache.spark.sql.functions.sum jetzt eine direkte Zuordnung ist.

Korrigiert¶

• Ein Fehler wurde korrigiert, indem Custom Magics ohne Argumente in Jupyter Notebook-Zellen nicht unterstützt werden.

• Fehlerhafte Generierung von EWIs im Bericht issues.csv bei Parsing-Fehlern wurde korrigiert.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA das exportierte Databricks-Notizbuch nicht als Databricks-Notizbuch verarbeiten konnte.

• Es wurde ein Stapelüberlauffehler bei der Verarbeitung kollidierender Typnamen von Deklarationen korrigiert, die innerhalb von Paketobjekten erstellt wurden.

• Die Verarbeitung von komplexen Lambda-Typ-Namen, die Generika beinhalten, wurde korrigiert, z. B. def func [X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA den Pandas-Elementen, die noch nicht erkannt werden, einen PySpark EWI Code anstelle eines Pandas EWI-Codes hinzufügte.

• Tippfehler in der detaillierten Berichtsvorlage wurde korrigiert: Umbenennung einer Spalte von „Prozentsatz aller Python-Dateien„ in „Prozentsatz aller Dateien“.

• Ein Fehler wurde korrigiert, bei dem pandas.core.series.Series.shape fälschlicherweise gemeldet wurde.