Snowpark Migration Accelerator: Versionshinweise¶

Desktop-Anwendung desktop-app¶

• Ein Problem bei der Konvertierung in der Beispielprojektoption wurde behoben.

Enthaltene SMA Core-Versionen included-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

Desktop-Anwendung desktop-app¶

• Es wurde ein neues Modal hinzugefügt, wenn der Benutzer keine Schreibberechtigung hat.

• Die Lizenzvereinbarung wurde aktualisiert, die Zustimmung ist erforderlich.

CLI cli¶

• Die Jahreszahl auf dem CLI-Bildschirm bei der Anzeige von „–version“ oder „-v“ wurde korrigiert

Enthaltene SMA Core-Versionen included-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

Hinzugefügt¶

Geändert¶

• Aktualisieren Sie .NET auf Version v9.0.0.

• Verbessert EWI SPRKPY1068.

• Die von SMA unterstützte Version von Snowpark Python API wurde von 1.24.0 auf 1.25.0 erhöht.

• Die detaillierte Berichtsvorlage wurde aktualisiert und enthält jetzt die Snowpark-Version für Pandas.

• Die folgenden Bibliotheken wurden von ThirdPartyLib auf BuiltIn geändert.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Bekanntes Problem¶

• Diese Version enthält ein Problem bei der Konvertierung des Beispielprojekts, das in dieser Version nicht funktioniert. Es wird im nächsten Release behoben werden

Desktop-Anwendung desktop-app¶

• Link zur Fehlerbehebungsanleitung im Modalfenster für Absturzberichte hinzugefügt.

Enthaltene SMA Core-Versionen included-sma-core-versions¶

• Snowpark Conversion Core 4.15.0

Hinzugefügt¶

• Die folgenden PySpark-Elemente wurden der ConversionStatusPySpark.csv-Datei als NotSupportedhinzugefügt:

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Geändert¶

• Aktualisiertes Hive SQL EWIs-Format.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Aktualisiertes Spark SQL EWIs-Format.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass einige PySpark-Elemente vom Tool nicht erkannt wurden.

• Die Nichtübereinstimmung zwischen den in ThirdParty identifizierten Anrufen und der Anzahl der importierten ThirdParty Anrufe wurde korrigiert.

Enthaltene SMA Core-Versionen included-sma-core-versions¶

• Snowpark Conversion Core 4.14.0

Hinzugefügt added¶

• Die folgenden Spark-Elemente wurden zu ConversionStatusPySpark.csv hinzugefügt:

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Geändert changed.6¶

• Die Dokumentation der Pandas EWIs, PNDSPY1001, PNDSPY1002 und PNDSPY1003 SPRKSCL1137 wurde an ein standardisiertes Format angepasst, um Konsistenz und Klarheit für alle EWIs zu gewährleisten.

• Die Dokumentation der folgenden Scala EWIs wurde aktualisiert: SPRKSCL1106 und SPRKSCL1107. Zu erfolgende Anpassung an ein standardisiertes Format, um Konsistenz und Klarheit in allen EWIs zu gewährleisten.

Korrigiert fixiert.2¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass die Symbole von UserDefined im Inventar der Drittanbieter-Nutzungen angezeigt wurden.

Enthaltene SMA Core-Versionen included-sma-core-versions¶

• Snowpark Conversion Core 4.13.1

Befehlszeilenschnittstelle command-line-interface¶

Geändert

• Zeitstempel für den Ausgabeordner hinzugefügt.

Hinzugefügt added¶

• Spalte ‚Ausgangssprache‘ zur Tabelle der Bibliothekszuordnungen hinzugefügt

• Andere als neue Kategorie in der Pandas API-Zusammenfassung-Tabelle der DetailedReport.docx-Datei hinzugefügt

Geändert changed.6¶

• Die Dokumentation für Python EWI SPRKPY1058 wurde aktualisiert.

• Die Meldung für pandas EWI PNDSPY1002 wurde aktualisiert, um das relate pandas-Element anzuzeigen.

• Die Art und Weise, wie wir die .csv-Berichte erstellt haben, wurde aktualisiert und wird nun nach einem zweiten Durchlauf überschrieben.

Korrigiert fixiert.2¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass Notebook-Dateien in der Ausgabe nicht erzeugt wurden.

• Der Ersetzer für die Methoden get und set von pyspark.sql.conf wurde korrigiert.RuntimeConfig, der Ersetzer entspricht nun den korrekten vollständigen Namen.

• Fehlerhafte Version des Abfrage-Tags wurde korrigiert.

• Als ThirdPartyLib gemeldete UserDefined-Pakete wurden korrigiert.

\

Enthaltene SMA Core-Versionen included-sma-core-versions¶

• Snowpark Conversion Core 4.12.0

Desktop-Anwendung desktop-app¶

Korrigiert

• Korrektur von Problemen mit der Groß- und Kleinschreibung in –sql Optionen.

Entfernt

• Entfernen Sie den Plattformnamen aus der show-ac-Meldung.

Hinzugefügt added¶

• Unterstützung für Snowpark Python 1.23.0 und 1.24.0 wurde hinzugefügt.

• Eine neue EWI für die pyspark.sql.dataframe.DataFrame.writeTo-Funktion wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1087.

Geändert changed.5¶

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1137 auf SPRKSCL1156 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1117 auf SPRKSCL1136 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Meldung, die für die folgende EWIs angezeigt wird, wurde aktualisiert:

  • SPRKPY1082

  • SPRKPY1083

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1100 auf SPRKSCL1105, von SPRKSCL1108 auf SPRKSCL1116; von SPRKSCL1157 auf SPRKSCL1175 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit in allen EWIs gewährleistet.

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von NotSupported auf Direkt mit EWI aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1089

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von Workaround auf Umbenennen aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Aktualisierte EWI-Dokumentation: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Entfernt removed.1¶

• Das pyspark.sql.dataframe.DataFrameStatFunctions.writeTo-Element wurde aus dem Konvertierungsstatus entfernt, dieses Element existiert nicht.

Veraltet deprecated¶

• Die folgenden EWI-Codes sind veraltet:

  • SPRKPY1081

  • SPRKPY1084

Hinzugefügt added¶

• Der Issues.csv-Datei wurde eine neue Spalte namens Url hinzugefügt, die auf die entsprechende EWI Dokumentation weiterleitet.

• Neue EWIs für die folgenden Spark-Elemente wurden hinzugefügt:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38 neue Pandas-Elemente wurden hinzugefügt:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Enthaltene SMA Core-Versionen included-sma-core-versions¶

• Snowpark Conversion Core 4.10.0

Desktop-Anwendung desktop-app¶

Korrigiert

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA in der Menüleiste der Windows-Version die Bezeichnung SnowConvert anstelle von Snowpark Migration Accelerator anzeigte.

• Es wurde ein Fehler korrigiert, der zum Absturz von SMA führte, wenn das Programm keine Lese- und Schreibrechte für das Verzeichnis .config in macOS und das Verzeichnis AppData in Windows hatte.

Befehlszeilenschnittstelle command-line-interface¶

Geändert

• Der Name der ausführbaren Datei CLI wurde von snowct in sma umbenannt.

• Das Argument für die Quellsprache wurde entfernt, so dass Sie nicht mehr angeben müssen, ob Sie eine Python- oder Scala-Bewertung/Konvertierung durchführen.

• Die von CLI unterstützten Befehlszeilenargumente wurden um die folgenden neuen Argumente erweitert:

  • --enableJupyter | -j: Flagge, die angibt, ob die Konvertierung von Databricks-Notebooks in Jupyter aktiviert ist oder nicht.

  • --sql | -f: Syntax der Datenbank-Engine, die verwendet werden soll, wenn ein SQL-Befehl erkannt wird.

  • --customerEmail | -e: Konfigurieren der Kunden-E-Mail.

  • --customerCompany | -c: Konfigurieren der Kundenfirma.

  • --projectName | -p: Konfigurieren Sie das Kundenprojekt.

• Einige Texte wurden aktualisiert, um den korrekten Namen der Anwendung wiederzugeben und die Konsistenz und Klarheit aller Meldungen zu gewährleisten.

• Aktualisieren Sie die Nutzungsbedingungen der Anwendung.

• Die Dokumentation von CLI wurde aktualisiert und erweitert, um die neuesten Features, Verbesserungen und Änderungen zu berücksichtigen.

• Der Text, der vor der Ausführung von SMA angezeigt wird, wurde verbessert.

• Das CLI wurde aktualisiert, sodass „Ja“ als gültiges Argument akzeptiert wird, wenn der Benutzer zur Bestätigung aufgefordert wird.

• Ermöglicht es CLI, die Ausführung fortzusetzen, ohne auf eine Interaktion des Benutzers zu warten, indem Sie das Argument -y oder --yes angeben.

• Die Hilfeinformationen für das Argument --sql wurden aktualisiert, um die Werte anzuzeigen, die dieses Argument erwartet.

Hinzugefügt added¶

• Eine neue EWI für die Funktion pyspark.sql.readwriter.DataFrameWriter partitionBy wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1081.

• Der Datei ImportUsagesInventory.csv wurde eine neue Spalte namens Technologie hinzugefügt.

Geändert changed.5¶

• Die Bereitschaftsbewertung von Drittanbieter-Bibliotheken wurde aktualisiert, um auch die Unbekannten Bibliotheken zu berücksichtigen.

• Die Datei AssessmentFiles.zip wurde aktualisiert und enthält nun .json-Dateien anstelle von .pam-Dateien.

• Der Konvertierungsmechanismus von CSV zu JSON wurde verbessert, um die Verarbeitung von Beständen leistungsfähiger zu machen.

• Die Dokumentation der folgenden EWIs wurde verbessert:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Direkt auf Umbenennen aktualisiert.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Nicht unterstütz auf Direkt aktualisiert.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Korrigiert fixiert.2¶

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA die Spalte Herkunft der ImportUsagesInventory. csv-Datei falsch befüllt hat.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA-Importe der Bibliotheken io, json, logging und unittest in der ImportUsagesInventory.csv-Datei und in der DetailedReport.docx-Datei nicht als Python built-in Importe klassifizierte.

Hinzugefügt added¶

• EwiCatalog.csv und .md-Dateien hinzugefügt, um die Dokumentation zu reorganisieren

• Der Zuordnungsstatus von pyspark.sql.functions.ln Direct wurde hinzugefügt.

• Eine Transformation für pyspark.context.SparkContext.getOrCreate wurde hinzugefügt.

  • Weitere Einzelheiten finden Sie unter EWI SPRKPY1080.

• Es wurde eine Verbesserung für SymbolTable hinzugefügt, um den Typ von Parametern in Funktionen zu ermitteln.

• Hinzugefügte SymbolTable unterstützt statische Methoden und geht nicht davon aus, dass der erste Parameter bei diesen Methoden „self“ ist.

• Eine Dokumentation für fehlende EWIs wurde hinzugefügt

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Geändert changed.3¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.functions.array_remove von NotSupported zu Direkt.

Korrigiert fixed¶

• Die Tabelle „Code-Dateigröße“ im Detailbericht wurde korrigiert, um .sql- und .hql-Dateien auszuschließen, und die Zeile „Extra groß“ wurde zur Tabelle hinzugefügt.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Python definiert ist.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Scala definiert ist.

• Das Fehlen von EWI SPRKHVSQL1001 bei einigen SQL-Anweisungen mit Parsing-Fehlern wurde korrigiert.

• Feste Werte für neue Zeilen innerhalb von Zeichenfolgenliteralen korrigiert

• Die Anzeige der Gesamtanzahl der Codezeilen in der Dateityp-Übersichtstabelle wurde korrigiert

• Als 0 angezeigter Parsing-Score bei erfolgreich erkannten Dateien wurde korrigiert

• LOC-Zählung im Zellenbestand für Databricks Magic SQL-Zellen wurde korrigiert

Hinzugefügt added¶

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.parquet.

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.option, wenn es sich um eine Parquet-Methode handelt.

Geändert changed.3¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.types.StructType.fields von NotSupported nach Direkt.

  • pyspark.sql.types.StructType.names von NotSupported nach Direkt.

  • pyspark.context.SparkContext.setLogLevel von Workaround zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKPY1078 und SPRKPY1079

  • org.apache.spark.sql.functions.round von WorkAround zu Direkt.

  • org.apache.spark.sql.functions.udf von NotDefined zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKSCL1174 und SPRKSCL1175

• Der Zuordnungsstatus der folgenden Spark-Elemente wurde von DirectHelper auf Direkt aktualisiert:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Korrigiert fixed¶

• Der im Prozentsatz der gesamten Pandas Api angezeigte Wert wurde korrigiert

• Gesamtprozentsatz auf ImportCalls in der DetailReport-Tabelle wurde korrigiert

Veraltet deprecated¶

• Der folgende EWI-Code ist veraltet:

  • SPRKSCL1115

Hotfixed korrigiert¶

• Die Gesamtzeile in den Spark-Nutzungsübersichten wurde hinzugefügt, wenn es keine Nutzungen gibt

• Von Python Assembly auf Version=1.3.111 aktualisiert

  • Nachstehendes Komma in mehrzeiligen Argumenten parsen

Hinzugefügt added¶

• Transformation für pyspark.sql.readwriter.DataFrameReader.option wurde hinzugefügt:

  • Wenn die Kette aus einem CSV-Methodenaufruf stammt.

  • Wenn die Kette aus einem JSON-Methodenaufruf stammt.

• Transformation für pyspark.sql.readwriter.DataFrameReader.json wurde hinzugefügt.

Geändert changed.3¶

• Ausgeführt SMA auf SQL-Strings, die an Python/Scala-Funktionen übergeben werden

  • Erstellen Sie AST in Scala/Python, um eine temporäre SQL-Einheit auszugeben

  • Erstellen Sie einen SqlEmbeddedUsages.csv-Bestand

  • Verwerfen Sie SqlStatementsInventroy.csv und SqlExtractionInventory.csv

  • Integrieren Sie EWI, wenn das SQL-Literal nicht verarbeitet werden konnte

  • Erstellen Sie neue Aufgabe, um SQL-eingebetteten Code zu verarbeiten

  • Sammeln Sie Informationen für SqlEmbeddedUsages.csv-Bestand in Python

  • Ersetzen Sie mit SQL transformierten Code in Python durch Literal

  • Aktualisieren Sie Testfälle nach der Implementierung

  • Erstellen Sie eine Tabelle und Ansichten für Telemetrie in SqlEmbeddedUsages-Bestand

  • Sammeln Sie Informationen für SqlEmbeddedUsages.csv-Bericht in Scala

  • Ersetzen Sie SQL transformierten Code in Scala durch Literal

  • Prüfen Sie die Reihenfolge der Zeilennummern für die Berichterstattung von Embedded SQL

• Füllen Sie die SqlFunctionsInfo.csv mit den SQL-Funktionen, die für SparkSQL und HiveSQL

• Der Zuordnungsstatus wurde aktualisiert für:

  • org.apache.spark.sql.SparkSession. sparkContext von NotSupported zu „Transformation“.

  • org.apache.spark.sql.Builder.config von NotSupported zu Transformation. Mit diesem neuen Zuordnungsstatus wird die SMA alle Verwendungen dieser Funktion aus dem Quellcode entfernen.

Hinzugefügt¶

• Es wurde der Mechanismus hinzugefügt (über Dekoration), um die Zeile und Spalte der in Notizbuchzellen identifizierten Elemente abzurufen.

• Ein EWI für pyspark.sql.functions.from_json wurde hinzugefügt.

• Eine Transformation für pyspark.sql.readwriter.DataFrameReader.csv wurde hinzugefügt.

• Aktiviert den Abfrage-Tag-Mechanismus für Scala-Dateien.

• Der Analysis Score-Code und zusätzliche Links zum detaillierten Bericht wurden hinzugefügt.

• InputFilesInventory.csv wurde eine Spalte namens OriginFilePath hinzugefügt

Geändert¶

• Der Zuordnungsstatus von pyspark.sql.functions.from_json wurde von „Nicht unterstützt“ auf „Transformation“ aktualisiert.

• Der Zuordnungsstatus der folgenden Spark-Elemente wurde von „Workaround“ auf „Direkt“ aktualisiert:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Veraltet¶

• Die folgenden EWI-Codes sind veraltet:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Korrigiert¶

• Es wurde ein Fehler korrigiert, der zu einer falschen Berechnung des Spark API-Ergebnisses führte.

• Ein Fehler wurde korrigiert, der das Kopieren von SQL leeren oder kommentierten Dateien im Ausgabeordner verhinderte.

• Es wurde ein Fehler in DetailedReport korrigiert. Die Notebook-Statistiken LOC und die Zellenzahl sind nicht korrekt.

Hinzugefügt add¶

• Hinzufügen einer Technologie-Spalte zu SparkUsagesInventory

• Ein EWI für nicht definierte SQL-Elemente wurde hinzugefügt.

• SqlFunctions-Inventar hinzugefügt

• Sammeln Sie Informationen für SqlFunctions-Inventar

Geändert changed.3¶

• Die Engine verarbeitet und druckt jetzt teilweise geparste Python-Dateien, anstatt die Originaldatei unverändert zu lassen.

• Python-Notebook-Zellen, die Parsing-Fehler aufweisen, werden ebenfalls verarbeitet und gedruckt.

Korrigiert fixed¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime, das fälschlicherweise gemeldet wurde, wurde korrigiert.

• Korrektur der Diskrepanz zwischen SQL-Bereitschaftsbewertung und SQL-Verwendungen nach Unterstützungsstatus.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA pandas.core.series.Series.empty mit einem falschen Zuordnungsstatus meldete.

• Korrektur der Diskrepanz zwischen Spark API-Verwendungen bereit zur Konvertierung in DetailedReport.docx unterscheidet sich von UsagesReadyForConversion-Zeile in Assessment.json.

Hinzugefügt add.1¶

• Die folgenden Informationen wurden der Datei AssessmentReport.json hinzugefügt

  • Die Bereitschaftsbewertung von Bibliotheken von Drittanbietern.

  • Die Anzahl der Aufrufe von Bibliotheken von Drittanbietern, die identifiziert wurden.

  • Die Anzahl der Aufrufe von Bibliotheken von Drittanbietern, die in Snowpark unterstützt werden.

  • Der Farbcode, der mit der Bereitschaftsbewertung von Drittanbietern, der Bereitschaftsbewertung von Spark API und der Bereitschaftsbewertung von SQL verbunden ist.

• Transformierte SqlSimpleDataType in Spark erstelle Tabellen.

• Die Zuordnung von pyspark.sql.functions.get wurde als „direkt“ hinzugefügt.

• Die Zuordnung von pyspark.sql.functions.to_varchar wurde als „direkt“ hinzugefügt.

• Im Rahmen der Änderungen nach der Vereinheitlichung erzeugt das Tool nun eine Ausführungsinformationsdatei in der Engine.

• Ein Ersetzer für pyspark.sql.SparkSession.builder.appName wurde hinzugefügt.

Geändert changed.4¶

• Der Zuordnungsstatus wurde für die folgenden Spark-Elemente aktualisiert

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Der Bericht „Bestandsaufnahme der Notebook-Zellen“ wurde geändert, um die Art des Inhalts für jede Zelle in der Element-Spalte anzuzeigen

• Es wurde eine Spalte SCALA_READINESS_SCORE hinzugefügt, die die Bereitschaftsbewertung nur in Bezug auf Verweise auf die Spark API in Scala-Dateien anzeigt.

• Teilweise Unterstützung für die Transformation von Tabelleneigenschaften in ALTER TABLE und ALTER VIEW

• Aktualisierung des Konvertierungsstatus des Knotens SqlSimpleDataType von „Ausstehend“ auf „Transformation“ in Spark erstellten Tabellen

• Die von SMA unterstützte Version von Snowpark Scala API wurde von 1.7.0 auf 1.12.1 aktualisiert:

  • Der Zuordnungsstatus wurde aktualisiert von:

    • org.apache.spark.sql.SparkSession.getOrCreate von „Umbenennen“ zu „Direkt“

    • org.apache.spark.sql.functions.sum von „Workaround“ zu „Direkt“

• Die von SMA unterstützte Version von Snowpark Python API wurde von 1.15.0 auf 1.20.0 aktualisiert:

  • Der Zuordnungsstatus wurde aktualisiert von:

    • pyspark.sql.functions.arrays_zip von „Nicht unterstützt“ zu „Direkt“

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • Zuordnung von „Nicht unterstützt“ zu „Umbenennen“:

    • pandas.core.frame.DataFrame.map

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Nicht unterstützte Zuordnungen:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Direkte Zuordnungen mit EWI:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Nicht unterstützte Zuordnungen:

    • pandas.core.series.Series.dt.strftime

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Die Beschreibung von „Understanding the SQL Readiness Score“ wurde aktualisiert.

• PyProgramCollector wurde aktualisiert, um die Pakete zu sammeln und das aktuelle Paketinventar mit Daten aus dem Python-Quellcode aufzufüllen.

• Der Zuordnungsstatus von pyspark.sql.SparkSession.builder.appName wurde von „Umbenennen“ auf „Transformation“ aktualisiert.

• Die folgenden Scala-Integrationstests wurden entfernt:

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Der Zuordnungsstatus von pandas.core.generic.NDFrame.shape wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von pandas.core.series wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

Veraltet deprecated¶

• Der Code EWI SPRKSCL1160 ist veraltet, da org.apache.spark.sql.functions.sum jetzt eine direkte Zuordnung ist.

Korrigiert fixed.1¶

• Ein Fehler wurde korrigiert, indem Custom Magics ohne Argumente in Jupyter Notebook-Zellen nicht unterstützt werden.

• Fehlerhafte Generierung von EWIs im Bericht issues.csv bei Parsing-Fehlern wurde korrigiert.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA das exportierte Databricks-Notizbuch nicht als Databricks-Notizbuch verarbeiten konnte.

• Es wurde ein Stapelüberlauffehler bei der Verarbeitung kollidierender Typnamen von Deklarationen korrigiert, die innerhalb von Paketobjekten erstellt wurden.

• Die Verarbeitung von komplexen Lambda-Typ-Namen, die Generika beinhalten, wurde korrigiert, z. B. def func [X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA den Pandas-Elementen, die noch nicht erkannt werden, einen PySpark EWI Code anstelle eines Pandas EWI-Codes hinzufügte.

• Tippfehler in der detaillierten Berichtsvorlage wurde korrigiert: Umbenennung einer Spalte von „Prozentsatz aller Python-Dateien„ in „Prozentsatz aller Dateien“.

• Ein Fehler wurde korrigiert, bei dem pandas.core.series.Series.shape fälschlicherweise gemeldet wurde.