Snowpark Migration Accelerator: Versionshinweise¶

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core: 8.1.8

Korrigiert¶

• Fixed an issue where the SMA generated corrupted Databricks notebook files in the output directory during Assessment mode execution.

• Fixed an issue where the SMA would crash if the input directory contained folders named “SMA_ConvertedNotebooks”.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core: 8.1.7

Hinzugefügt¶

• Added the Snowpark Connect readiness score. This new score measures the percentage of Spark API references in your codebase that are supported by Snowpark Connect for Spark.

  • This will now be the only score shown in assessment mode. To generate the Snowpark API Readiness Score, run the SMA in conversion mode.

• Added support for SQL embedded migration for literal string concatenations assigned to a local variable in the same scope of execution.

  • Included scenarios now include:

    sqlStat = "SELECT colName " + "FROM myTable" 
    session.sql(sqlStat)
    

    Copy

Geändert¶

• Updated the EWI URLs in the Issues.csv inventory to point to the main Snowflake documentation site.

Korrigiert¶

• Fixed a code issue that caused inner project configuration files (e.g., pom.xml, build.sbt, build.gradle) to be incorrectly placed in the root of the output directory instead of the correct inner directories after migration.

Hinzugefügt¶

• Added the Snowpark Connect readiness score and updated the assessment execution flow.

  • When running the application in assessment mode, only the Snowpark Connect readiness score is now displayed.

  • When running the application in conversion mode, the Snowpark API readiness score is displayed (the Snowpark Connect Readiness will not be shown).

Geändert¶

Updated all in-application documentation links to point to the official Snowflake documentation, replacing the legacy SnowConvert site.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.73

Korrigiert¶

• Fixed an issue where the Snowpark Migration Accelerator failed converting DBC files into Jupyter Notebooks properly.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.72

Hinzugefügt¶

• Unterstützung für Snowpark Scala v1.17.0 hinzugefügt:

Von „Nicht unterstützt“ zu „Direkt“:

Datenset:

• org.apache.spark.sql.Dataset.isEmpty → com.snowflake.snowpark.DataFrame.isEmpty

Zeile:

• org.apache.spark.sql.Row.mkString → com.snowflake.snowpark.Row.mkString

StructType:

• org.apache.spark.sql.types.StructType.fieldNames → com.snowflake.snowpark.types.StructType.fieldNames

Von „Nicht unterstützt“ zu „Umbenennen“:

Funktionen:

• org.apache.spark.functions.flatten → com.snowflake.snowpark.functions.array_flatten

Von „Direkt“ zu „Umbenennen“:

Funktionen:

• org.apache.spark.functions.to_date → com.snowflake.snowpark.functions.try_to_date

• org.apache.spark.functions.to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

Von „Direkter Unterstützung“ zu „Umbenennen“:

Funktionen:

• org.apache.spark.sql.functions.concat_ws → com.snowflake.snowpark.functions.concat_ws_ignore_nulls

Von „Nicht definiert“ zu „Direkt“:

Funktionen:

• org.apache.spark.functions.try_to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

• Eingebettete SQL wird jetzt migriert, wenn ein SQL-Anweisungsliteral einer lokalen Variablen zugewiesen wird.

Beispiel: sqlStat = “SELECT colName FROM myTable“ session.sql(sqlStat)

• Eingebettete SQL wird jetzt für Verkettungen von literalen Zeichenfolgen unterstützt.

Beispiel: session.sql(“SELECT colName „ + „FROM myTable“)

Geändert¶

• Die unterstützten Versionen von Snowpark Python API und Snowpark Pandas API wurden von 1.36.0 auf 1.39.0 aktualisiert.

• Der Zuordnungsstatus für die folgenden PySpark xpath-Funktionen wurde von NotSupported auf „Direkt mit EWI SPRKPY1103“ aktualisiert:

  • pyspark.sql.functions.xpath

  • pyspark.sql.functions.xpath_boolean

  • pyspark.sql.functions.xpath_double

  • pyspark.sql.functions.xpath_float

  • pyspark.sql.functions.xpath_int

  • pyspark.sql.functions.xpath_long

  • pyspark.sql.functions.xpath_number

  • pyspark.sql.functions.xpath_short

  • pyspark.sql.functions.xpath_string

• Der Zuordnungsstatus für die folgenden PySpark-Elemente wurde von NotDefined auf „Direkt“ aktualisiert:

  • pyspark.sql.functions.bit_and → snowflake.snowpark.functions.bitand_agg

  • pyspark.sql.functions.bit_or → snowflake.snowpark.functions.bitor_agg

  • pyspark.sql.functions.bit_xor → snowflake.snowpark.functions.bitxor_agg

  • pyspark.sql.functions.getbit → snowflake.snowpark.functions.getbit

• Der Zuordnungsstatus für die folgenden Pandas-Elemente wurde von NotSupported auf „Direkt“ aktualisiert:

  • pandas.core.indexes.base.Index → modin.pandas.Index

  • pandas.core.indexes.base.Index.get_level_values → modin.pandas.Index.get_level_values

• Der Zuordnungsstatus für die folgenden PySpark-Funktionen wurde von NotSupported auf „Umbenennen“ aktualisiert:

  • pyspark.sql.functions.now → snowflake.snowpark.functions.current_timestamp

Korrigiert¶

• Scala wurde korrigiert, da Importe nicht migriert wurden, wenn es eine Umbenennung gab.

  Beispiel:

  Quellcode:

  .. code-block:: scala

  package com.example.functions
  import org.apache.spark.sql.functions.{to_timestamp, lit}
  object ToTimeStampTest extends App { to_timestamp(lit(„sample“)) to_timestamp(lit(„sample“), „yyyy-MM-dd“) }

  Ausgabecode:

  .. code-block:: scala

  package com.example.functions
  import com.snowflake.snowpark.functions.{try_to_timestamp, lit} import com.snowflake.snowpark_extensions.Extensions._ import com.snowflake.snowpark_extensions.Extensions.functions._
  object ToTimeStampTest extends App { try_to_timestamp(lit(„sample“)) try_to_timestamp(lit(„sample“), „yyyy-MM-dd“) }

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.62

Hinzugefügt¶

• Funktionalität zur Migration von SQL eingebettet in Interpolation des Python-Formats hinzugefügt.

• Unterstützung für DataFrame.select- und DataFrame.sort-Transformationen für eine größere Flexibilität bei der Datenverarbeitung hinzugefügt.

Geändert¶

• Die unterstützten Versionen von Snowpark Python API und Snowpark Pandas API wurden auf 1.36.0 aktualisiert.

• Der Zuordnungsstatus von pandas.core.frame.DataFrame.boxplot wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von DataFrame.select, Dataset.select, DataFrame.sort und Dataset.sort wurde von „Direkt“ auf „Transformation“ aktualisiert.

• In Snowpark Scala kann eine Sequenz von Spalten direkt an die Auswahl- und Sortierfunktionen übergeben werden, sodass durch diese Transformation alle Verwendungen, wie beispielsweise df.select(cols: _*) zu df.select(cols) und df.sort(cols: _*) zu df.sort(cols) geändert werden.

• Die Python AST- und Parser-Version wurde auf 149.1.9 aktualisiert.

• Der Status für pandas-Funktionen wurde auf „Direkt“ aktualisiert:

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Der Status für pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas wurde auf Umgehung des Problems mit EWI SPRKPY1102 aktualisiert.

Korrigiert¶

• Problem behoben, das SqlEmbedded-Transformationen bei der Verwendung von verketteten Methodenaufrufen betraf.

• Korrekturen bei Transformationen mit PySqlExpr unter Verwendung der neuen PyLiteralSql, um zu vermeiden, dass Details nicht verloren gehen.

• Interne Stabilitätsprobleme wurden behoben, um die Robustheit und Zuverlässigkeit des Tools zu verbessern.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.46

Hinzugefügt¶

• Neue Pandas EWI-Dokumentation PNDSPY1011 hinzugefügt.

• Unterstützung für die folgenden Pandas-Funktionen wurde hinzugefügt:

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Unterstützung für die folgenden Funktionen von Spark Scala hinzugefügt:

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

Geändert¶

• Die Version von Snowpark Pandas API, unterstützt vom SMA, wurde auf 1.33.0 aktualisiert.

• Die Version von Snowpark Scala API, unterstützt vom SMA, wurde auf 1.16.0 aktualisiert.

• Der Zuordnungsstatus von „pyspark.sql.group.GroupedData.pivot“ wurde von „Transformation“ auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von „org.apache.spark.sql.Builder.master“ wurde von NotSupported auf „Transformation“ aktualisiert. Diese Transformation entfernt alle Verwendungen dieses Elements, die während der Codekonvertierung identifiziert wurden.

• Der Zuordnungsstatus von „org.apache.spark.sql.types.StructType.fieldIndex“ wurde von NotSupported auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von „org.apache.spark.sql.Row.fieldIndex“ wurde von NotSupported auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von „org.apache.spark.sql.SparkSession.stop“ wurde von NotSupported auf „Umbenennen“ aktualisiert. Alle identifizierten Verwendungen dieses Elements werden während der Codekonvertierung in „com.snowflake.snowpark.Session.close“ umbenannt.

• Der Zuordnungsstatus von „org.apache.spark.sql.DataFrame.unpersist“ und „org.apache.spark.sql.Dataset.unpersist“ wurde von NotSupported auf „Transformation“ aktualisiert. Diese Transformation entfernt alle Verwendungen dieses Elements, die während der Codekonvertierung identifiziert wurden.

Korrigiert¶

• Korrektur des Fortsetzungs-Backslashs bei entfernten Funktionen.

• Das Problem mit der Spalte LIBRARY_PREFIX in der ConversionStatusLibraries.csv-Datei wurde behoben, um den richtigen Bezeichner für die scikit-learn-Bibliotheksfamilie (scikit-*) zu verwenden.

• Fehler wurde behoben, bei dem mehrzeilige gruppierte Operationen nicht analysiert wurden.

Hinzugefügt¶

• Die folgenden Zuordnungen werden nun für org.apache.spark.sql.Dataset[T] ausgeführt:

  • org.apache.spark.sql.Dataset.union ist jetzt com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName ist jetzt com.snowflake.snowpark.DataFrame.unionAllByName

• Unterstützung für org.apache.spark.sql.functions.broadcast als Transformation wurde hinzugefügt.

Geändert¶

• Die unterstützte Snowpark Python API-Version für SMA wurde von 1.27.0 auf 1.33.0 aktualisiert.

• Der Status für die pyspark.sql.function.randn-Funktion wurde auf „Direkt“ aktualisiert.

Korrigiert¶

• Das Problem wurde behoben, bei dem org.apache.spark.SparkContext.parallelize nicht aufgelöst wurde und das nun als Transformation unterstützt wird.

• Das Problem mit der Dataset.persist-Transformation wurde behoben, um mit jeder Art von Datenset zu arbeiten, nicht nur mit Datenset[Zeile].

Hinzugefügt¶

• Die Zuordnungen für spark.DataReader-Methoden wurden angepasst.

• DataFrame.union ist jetzt DataFrame.unionAll.

• DataFrame.unionByName ist jetzt DataFrame.unionAllByName.

• Spalten mit mehrstufigen Artefaktabhängigkeiten wurden im Artefaktinventar hinzugefügt

• Eine neue Pandas EWIs-Dokumentation von PNDSPY1005 zu PNDSPY1010 wurde hinzugefügt.

• Eine bestimmte EWI für pandas.core.series.Series.apply wurde hinzugefügt.

Geändert¶

• Die Version von Snowpark Pandas API, unterstützt vom SMA, wurde von 1.27.0 auf 1.30.0 aktualisiert.

Korrigiert¶

• Das Problem mit fehlenden Werten in der Formel wurde behoben, um die SQL-Bereitschaftsbewertung zu erhalten.

• Der Fehler wurde behoben, der dazu führte, dass einige Pandas-Elemente die standardmäßige EWI-Nachricht von PySpark aufwiesen.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.19

Geändert¶

• Überarbeitete Pandas-Importe: Pandas-Importe verwenden jetzt `modin.pandas` anstelle von snowflake.snowpark.modin.pandas.

• Verbesserte `dbutils` und Magic Commands Transformation:

  • Eine neue sfutils.py-Datei wird jetzt generiert, und alle dbutils-Präfixe werden durch sfutils ersetzt.

  • Für Databricks (DBX)-Notebooks wird ein impliziter Import für sfutils automatisch hinzugefügt.

  • Das sfutils-Modul simuliert verschiedene dbutils-Methoden, einschließlich Dateisystemvorgänge (dutils.fs) über einen definierten Snowflake FileSystem (SFFS)-Stagingbereich und übernimmt die Ausführung des Notebooks (dutils.notebook.run), indem dieses in EXECUTE NOTEBOOK SQL-Funktionen umgewandelt wird.

  • dbutils.notebook.exit wird entfernt, da es in Snowflake nicht erforderlich ist.

Korrigiert¶

• Aktualisierungen in SnowConvert-Berichte: SnowConvert-Berichte enthalten jetzt die Spalte CellId, wenn Instanzen vom SMA stammen und die Spalte FileName den vollständigen Pfad anzeigt.

• Aktualisierte Artefakt-Abhängigkeit für SnowConvert-Berichte: Der Artefakt-Inventarbericht von SMA, der zuvor durch die Integration von SnowConvert beeinträchtigt wurde, wurde wiederhergestellt. Diese Aktualisierung aktiviert das SMA-Tool zur genauen Erfassung und Analyse von Object References und Missing Object References direkt aus SnowConvert-Berichten, um sicherzustellen, dass die SQL-Abhängigkeiten für das Inventar korrekt abgerufen werden.

Hinzugefügt¶

• Verbesserungen für die Telemetrie wurden hinzugefügt.

Korrigiert¶

• Korrektur der Dokumentationslinks im Popup-Fenster für Konvertierungseinstellungen und in Pandas EWIs.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.16

Hinzugefügt¶

• Transformieren von Spark XML in Snowpark

• Databricks SQL-Option in der SQL-Quellsprache

• Transformieren von JDBC-Leseverbindungen.

Geändert¶

• Alle SnowConvert-Berichte werden in die Backup-ZIP-Datei kopiert.

• Der Ordner wird von SqlReports in SnowConvertReports umbenannt.

• SqlFunctionsInventory wird in den Ordner Berichte verschoben.

• Alle SnowConvert-Berichte werden an die Telemetrie gesendet.

Korrigiert¶

• Nicht deterministisches Problem mit SQL-Bereitschaftsbewertung.

• Das Problem mit falsch-positivem kritischen Ergebnis wurde behoben, das den Desktop zum Absturz brachte.

• Das Problem wurde behoben, durch das im Abhängigkeitsbericht für Artefakte die SQL-Objekte nicht angezeigt wurden.

Korrigiert¶

• Das Problem mit der SMA-Ausführung unter dem neuesten Windows OS wurde behoben, wie bereits berichtet. Mit dieser Maßnahme werden die in Version 2.7.1 aufgetretenen Probleme behoben.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.1

Hinzugefügt¶

Der Snowpark Migration Accelerator (SMA) orchestriert nun SnowConvert, um die in Benutzer-Workloads gefundene SQL zu verarbeiten, einschließlich eingebetteter SQL in Python- bzw. Scala-Code, Notebook SQL-Zellen, .sql-Dateien und .hql-Dateien.

SnowConvert verbessert nun die vorherigen SMA-Fähigkeiten:

• Spark SQL

Ein neuer Ordner in den Berichten mit dem Namen SQL Berichte enthält die von SnowConvert generierten Berichte.

Bekannte Probleme¶

Die vorherige SMA-Version für SQL-Berichte wird in folgenden Fällen leer angezeigt:

• Für Berichte/SqlElementsInventory.csv, teilweise durch Berichte/SqlReports/Elements.yyyymmdd.hhmmss.csv. abgedeckt

• Für Berichte/SqlFunctionsInventory.csv siehe den neuen Speicherort mit demselben Namen unter Berichte/SqlReports/SqlFunctionsInventory.csv

Das Inventar der Artefakt-Abhängigkeiten:

• Im ArtifactDependencyInventory wird die Spalte für das SQL-Objekt leer angezeigt

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.4.0

Korrigiert¶

• Das Problem mit falschen Werten in der Datei „checkpoints.json“ wurde behoben.

  • Der Wert „sample“ war ohne Dezimalstellen (bei ganzzahligen Werten) und Anführungszeichen.

  • Der Wert „entrypoint“ enthielt Punkte anstelle von Schrägstrichen, und es fehlte die Dateierweiterung.

• Der Standardwert wurde in TRUE für die Einstellung „DBX-Notebooks in Snowflake-Notebooks konvertieren“ geändert

Desktop-App¶

• Mechanismus zur Erkennung von Checkpoints und Ausführungseinstellungen hinzugefügt.

• Mechanismus zum Sammeln von DBX-Magic-Befehlen in DbxElementsInventory.csv hinzugefügt

• Die Generierung von „checkpoints.json“ wurde zum Eingabeverzeichnis hinzugefügt.

• Eine neue EWI wurde für alle nicht unterstützten Magic-Befehle hinzugefügt.

• Die Sammlung von dbutils wurde zu DbxElementsInventory.csv von Scala-Quell-Notebooks hinzugefügt

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.53

Geändert¶

• Aktualisierungen zur Verarbeitung von Transformationen von DBX Scala-Elementen zu Jupyter Python-Elementen und zum Kommentieren des gesamten Codes der Zelle.

• Aktualisierungen zur Verarbeitung von Transformationen aus den Befehlen dutils.notebook.run und „r“; für den letzten Befehl auch den gesamten Code der Zelle auskommentieren.

• Name und Buchstabe des Schlüssels wurden aktualisiert, um die Konvertierung der Notebook-Dateien zu ermöglichen.

Korrigiert¶

• Es wurde ein Fehler behoben, der bei der Transformation von DBX-Notebooks in .ipynb-Dateien dazu führte, dass das falsche Format vorhanden war.

• Es wurde ein Fehler behoben, der dazu führte, dass .py DBX-Notebooks nicht in .ipynb-Dateien umgewandelt werden konnten.

• Es wurde ein Fehler behoben, der dazu führte, dass Kommentare im Ausgabecode von DBX-Notebooks fehlten.

• Es wurde ein Fehler behoben, der dazu führte, dass Scala-Rohdateien in ipynb-Dateien konvertiert wurden.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.42

Geändert¶

DataFramesInventory wurde zum Füllen der Spalte EntryPoints aktualisiert

Desktop-App¶

Hinzugefügt¶

• Aktualisierung von DBx EWI-Link in der UI-Ergebnisseite

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.39

Hinzugefügt¶

• Generierung des Inventars für Ausführungsablauf hinzugefügt.

• Implizites Sitzungs-Setup zu jeder DBx-Notebook-Transformation hinzugefügt

Geändert¶

• DbUtilsUsagesInventory.csv wurde in DbxElementsInventory.csv umbenannt

Korrigiert¶

• Es wurde ein Fehler behoben, der einen Fehler beim Parsen verursachte, wenn nach einem Typhinweis ein Backslash folgte.

• Korrektur von relativen Importen, die nicht mit einem Punkt beginnen, und relativen Importen mit einem Stern.

Desktop-App¶

Hinzugefügt¶

• Ein neuer Umschalter für Konvertierungseinstellungen wurde hinzugefügt, um das Sma-Checkpoints-Feature zu aktivieren oder zu deaktivieren.

• Es wurde ein Berichtsfehler behoben, damit kein Absturz erfolgt, wenn die Post-API 500 zurückgibt

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.26

Hinzugefügt¶

• Die Generierung der Datei „checkpoints.json“ im Ausgabeordner wurde auf der Grundlage von DataFramesInventory.csv hinzugefügt.

• Flag „disableCheckpoints“ wurde zu CLI-Befehlen und zusätzlichen Parametern des Codeprozessors hinzugefügt.

• Eine neue Ersetzung für Python wurde hinzugefügt, um den Knoten „dbutils.notebook.run“ zu transformieren.

• Neue Ersetzungen wurden hinzugefügt, um den magischen Befehl %run umzuwandeln.

• Neue Ersetzungen (Python und Scala) wurden hinzugefügt, um den Knoten „dbutils.notebook.exit“ zu entfernen.

• Die Spalte „Speicherort“ wurde zum Inventar der Artefakte hinzugefügt.

Geändert¶

• Das in einigen Teilen der Lösung verwendete normalisierte Trennzeichen für Verzeichnisse wurde überarbeitet.

• Zentralisiert die Handhabung von Namen des DBC-Extraktionsarbeitsordners

• Version von Snowpark und Pandas auf v1.27.0 aktualisiert

• Inventarspalten für Artefakte wurden aktualisiert auf:

  • Name > Abhängigkeit

  • Datei -> FileId

  • Status > Status_detail

• Eine neue Spalte zum Inventar von Artefakten wurde hinzugefügt:

  • Erfolg

Korrigiert¶

• Datenframes-Inventar wurde nicht korrekt in den Stagingbereich hochgeladen.

Enthaltene SMA Core-Versionen ¶

• Snowpark Conversion Core 7.2.0

wurde hinzugefügt¶

• Ein Inventar der Artefaktabhängigkeiten

• Eine Ersetzung und EWI für pyspark.sql.types.StructType.fieldNames-Methode für snowflake.snowpark.types.StructType.fieldNames-Attribut.

• Die folgenden PySpark-Funktionen mit dem Status:

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

Die folgenden Pandas-Funktionen mit Status

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Aktualisieren Sie die folgenden Pyspark-Funktionen mit dem Status

Von WorkAround zu „Direkt“

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

Von NotSupported zu „Direkt“

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Die folgenden Pandas-Funktionen wurden mit dem Status aktualisiert

Von NotSupported zu „Direkt“

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Enthaltene SMA Core-Versionen ¶

• Snowpark Conversion Core 7.1.13

wurde hinzugefügt¶

• Die CSV-Generator-Klasse für neue Inventarerstellung wurde hinzugefügt.

• Die Spalte „full_name“ zum Importieren des Nutzungsinventars wurde hinzugefügt.

• Die Transformation von „pyspark.sql.functions.concat_ws“ zu „snowflake.snowpark.functions._concat_ws_ignore_nulls“ wurde hinzugefügt.

• Die Logik zur Generierung von „checkpoints.json“ wurde hinzugefügt.

• Inventare wurden hinzugefügt:

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Desktop-App ¶

• Die Lizenzvereinbarung wurde aktualisiert, Akzeptanz ist erforderlich.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.1.2

Hinzugefügt

Der Zuordnungsstatus für die folgenden Pandas-Elemente wurde von NotSupported auf Direkt aktualisiert

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

Der Zuordnungsstatus für die folgenden PySpark-Elemente wurde von Umbenennen auf Direkt aktualisiert

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

wurde behoben¶

• Das Format der Versionsnummer in den Inventaren wurde vereinheitlicht.

Hinzugefügt¶

Geändert¶

• Aktualisieren Sie .NET auf Version v9.0.0.

• Verbessert EWI SPRKPY1068.

• Die von SMA unterstützte Version von Snowpark Python API wurde von 1.24.0 auf 1.25.0 erhöht.

• Die detaillierte Berichtsvorlage wurde aktualisiert und enthält jetzt die Snowpark-Version für Pandas.

• Die folgenden Bibliotheken wurden von ThirdPartyLib auf BuiltIn geändert.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Bekanntes Problem¶

• Diese Version enthält ein Problem bei der Konvertierung des Beispielprojekts, das in dieser Version nicht funktioniert. Es wird im nächsten Release behoben werden

Desktop-App¶

• Link zur Fehlerbehebungsanleitung im Modalfenster für Absturzberichte hinzugefügt.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.15.0

Hinzugefügt¶

• Die folgenden PySpark-Elemente wurden der ConversionStatusPySpark.csv-Datei als NotSupportedhinzugefügt:

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Geändert¶

• Aktualisiertes Hive SQL EWIs-Format.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Aktualisiertes Spark SQL EWIs-Format.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass einige PySpark-Elemente vom Tool nicht erkannt wurden.

• Die Nichtübereinstimmung zwischen den in ThirdParty identifizierten Anrufen und der Anzahl der importierten ThirdParty Anrufe wurde korrigiert.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.14.0

Hinzugefügt added¶

• Die folgenden Spark-Elemente wurden zu ConversionStatusPySpark.csv hinzugefügt:

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Geändert¶

• Die Dokumentation der Pandas EWIs, PNDSPY1001, PNDSPY1002 und PNDSPY1003 SPRKSCL1137 wurde an ein standardisiertes Format angepasst, um Konsistenz und Klarheit für alle EWIs zu gewährleisten.

• Die Dokumentation der folgenden Scala EWIs wurde aktualisiert: SPRKSCL1106 und SPRKSCL1107. Zu erfolgende Anpassung an ein standardisiertes Format, um Konsistenz und Klarheit in allen EWIs zu gewährleisten.

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass die Symbole von UserDefined im Inventar der Drittanbieter-Nutzungen angezeigt wurden.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.13.1

Befehlszeilenschnittstelle¶

Geändert

• Zeitstempel für den Ausgabeordner hinzugefügt.

Hinzugefügt¶

• Spalte ‚Ausgangssprache‘ zur Tabelle der Bibliothekszuordnungen hinzugefügt

• Andere als neue Kategorie in der Pandas API-Zusammenfassung-Tabelle der DetailedReport.docx-Datei hinzugefügt

Geändert¶

• Die Dokumentation für Python EWI SPRKPY1058 wurde aktualisiert.

• Die Meldung für pandas EWI PNDSPY1002 wurde aktualisiert, um das relate pandas-Element anzuzeigen.

• Die Art und Weise, wie wir die .csv-Berichte erstellt haben, wurde aktualisiert und wird nun nach einem zweiten Durchlauf überschrieben.

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass Notebook-Dateien in der Ausgabe nicht erzeugt wurden.

• Der Ersetzer für die Methoden get und set von pyspark.sql.conf wurde korrigiert.RuntimeConfig, der Ersetzer entspricht nun den korrekten vollständigen Namen.

• Fehlerhafte Version des Abfrage-Tags wurde korrigiert.

• Als ThirdPartyLib gemeldete UserDefined-Pakete wurden korrigiert.

\

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.12.0

Desktop-App¶

Korrigiert

• Korrektur von Problemen mit der Groß- und Kleinschreibung in –sql Optionen.

Entfernt

• Entfernen Sie den Plattformnamen aus der show-ac-Meldung.

Hinzugefügt¶

• Unterstützung für Snowpark Python 1.23.0 und 1.24.0 wurde hinzugefügt.

• Eine neue EWI für die pyspark.sql.dataframe.DataFrame.writeTo-Funktion wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1087.

Geändert¶

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1137 auf SPRKSCL1156 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1117 auf SPRKSCL1136 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Meldung, die für die folgende EWIs angezeigt wird, wurde aktualisiert:

  • SPRKPY1082

  • SPRKPY1083

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1100 auf SPRKSCL1105, von SPRKSCL1108 auf SPRKSCL1116; von SPRKSCL1157 auf SPRKSCL1175 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit in allen EWIs gewährleistet.

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von NotSupported auf Direkt mit EWI aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1089

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von Workaround auf Umbenennen aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Aktualisierte EWI-Dokumentation: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Entfernt¶

• Das pyspark.sql.dataframe.DataFrameStatFunctions.writeTo-Element wurde aus dem Konvertierungsstatus entfernt, dieses Element existiert nicht.

Veraltet¶

• Die folgenden EWI-Codes sind veraltet:

  • SPRKPY1081

  • SPRKPY1084

Hinzugefügt¶

• Der Issues.csv-Datei wurde eine neue Spalte namens Url hinzugefügt, die auf die entsprechende EWI Dokumentation weiterleitet.

• Neue EWIs für die folgenden Spark-Elemente wurden hinzugefügt:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38 neue Pandas-Elemente wurden hinzugefügt:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.10.0

Desktop-App¶

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA in der Menüleiste der Windows-Version die Bezeichnung SnowConvert anstelle von Snowpark Migration Accelerator anzeigte.

• Es wurde ein Fehler korrigiert, der zum Absturz von SMA führte, wenn das Programm keine Lese- und Schreibrechte für das Verzeichnis .config in macOS und das Verzeichnis AppData in Windows hatte.

Befehlszeilenschnittstelle¶

Geändert

• Der Name der ausführbaren Datei CLI wurde von snowct in sma umbenannt.

• Das Argument für die Quellsprache wurde entfernt, so dass Sie nicht mehr angeben müssen, ob Sie eine Python- oder Scala-Bewertung/Konvertierung durchführen.

• Die von CLI unterstützten Befehlszeilenargumente wurden um die folgenden neuen Argumente erweitert:

  • --enableJupyter | -j: Flagge, die angibt, ob die Konvertierung von Databricks-Notebooks in Jupyter aktiviert ist oder nicht.

  • --sql | -f: Syntax der Datenbank-Engine, die verwendet werden soll, wenn ein SQL-Befehl erkannt wird.

  • --customerEmail | -e: Konfigurieren der Kunden-E-Mail.

  • --customerCompany | -c: Konfigurieren der Kundenfirma.

  • --projectName | -p: Konfigurieren Sie das Kundenprojekt.

• Einige Texte wurden aktualisiert, um den korrekten Namen der Anwendung wiederzugeben und die Konsistenz und Klarheit aller Meldungen zu gewährleisten.

• Aktualisieren Sie die Nutzungsbedingungen der Anwendung.

• Die Dokumentation von CLI wurde aktualisiert und erweitert, um die neuesten Features, Verbesserungen und Änderungen zu berücksichtigen.

• Der Text, der vor der Ausführung von SMA angezeigt wird, wurde verbessert.

• Das CLI wurde aktualisiert, sodass „Ja“ als gültiges Argument akzeptiert wird, wenn der Benutzer zur Bestätigung aufgefordert wird.

• Ermöglicht es CLI, die Ausführung fortzusetzen, ohne auf eine Interaktion des Benutzers zu warten, indem Sie das Argument -y oder --yes angeben.

• Die Hilfeinformationen für das Argument --sql wurden aktualisiert, um die Werte anzuzeigen, die dieses Argument erwartet.

Hinzugefügt¶

• Eine neue EWI für die Funktion pyspark.sql.readwriter.DataFrameWriter partitionBy wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1081.

• Der Datei ImportUsagesInventory.csv wurde eine neue Spalte namens Technologie hinzugefügt.

Geändert¶

• Die Bereitschaftsbewertung von Drittanbieter-Bibliotheken wurde aktualisiert, um auch die Unbekannten Bibliotheken zu berücksichtigen.

• Die Datei AssessmentFiles.zip wurde aktualisiert und enthält nun .json-Dateien anstelle von .pam-Dateien.

• Der Konvertierungsmechanismus von CSV zu JSON wurde verbessert, um die Verarbeitung von Beständen leistungsfähiger zu machen.

• Die Dokumentation der folgenden EWIs wurde verbessert:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Direkt auf Umbenennen aktualisiert.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Nicht unterstütz auf Direkt aktualisiert.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA die Spalte Herkunft der ImportUsagesInventory. csv-Datei falsch befüllt hat.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA-Importe der Bibliotheken io, json, logging und unittest in der ImportUsagesInventory.csv-Datei und in der DetailedReport.docx-Datei nicht als Python built-in Importe klassifizierte.

Hinzugefügt¶

• EwiCatalog.csv und .md-Dateien hinzugefügt, um die Dokumentation zu reorganisieren

• Der Zuordnungsstatus von pyspark.sql.functions.ln Direct wurde hinzugefügt.

• Eine Transformation für pyspark.context.SparkContext.getOrCreate wurde hinzugefügt.

  • Weitere Einzelheiten finden Sie unter EWI SPRKPY1080.

• Es wurde eine Verbesserung für SymbolTable hinzugefügt, um den Typ von Parametern in Funktionen zu ermitteln.

• Hinzugefügte SymbolTable unterstützt statische Methoden und geht nicht davon aus, dass der erste Parameter bei diesen Methoden „self“ ist.

• Eine Dokumentation für fehlende EWIs wurde hinzugefügt

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Geändert¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.functions.array_remove von NotSupported zu Direkt.

Korrigiert¶

• Die Tabelle „Code-Dateigröße“ im Detailbericht wurde korrigiert, um .sql- und .hql-Dateien auszuschließen, und die Zeile „Extra groß“ wurde zur Tabelle hinzugefügt.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Python definiert ist.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Scala definiert ist.

• Das Fehlen von EWI SPRKHVSQL1001 bei einigen SQL-Anweisungen mit Parsing-Fehlern wurde korrigiert.

• Feste Werte für neue Zeilen innerhalb von Zeichenfolgenliteralen korrigiert

• Die Anzeige der Gesamtanzahl der Codezeilen in der Dateityp-Übersichtstabelle wurde korrigiert

• Als 0 angezeigter Parsing-Score bei erfolgreich erkannten Dateien wurde korrigiert

• LOC-Zählung im Zellenbestand für Databricks Magic SQL-Zellen wurde korrigiert

Hinzugefügt¶

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.parquet.

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.option, wenn es sich um eine Parquet-Methode handelt.

Geändert¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.types.StructType.fields von NotSupported nach Direkt.

  • pyspark.sql.types.StructType.names von NotSupported nach Direkt.

  • pyspark.context.SparkContext.setLogLevel von Workaround zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKPY1078 und SPRKPY1079

  • org.apache.spark.sql.functions.round von WorkAround zu Direkt.

  • org.apache.spark.sql.functions.udf von NotDefined zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKSCL1174 und SPRKSCL1175

• Der Zuordnungsstatus der folgenden Spark-Elemente wurde von DirectHelper auf Direkt aktualisiert:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Korrigiert¶

• Der im Prozentsatz der gesamten Pandas Api angezeigte Wert wurde korrigiert

• Gesamtprozentsatz auf ImportCalls in der DetailReport-Tabelle wurde korrigiert

Fehlerbehebung per Hotfix¶

• Die Gesamtzeile in den Spark-Nutzungsübersichten wurde hinzugefügt, wenn es keine Nutzungen gibt

• Von Python Assembly auf Version=1.3.111 aktualisiert

  • Nachstehendes Komma in mehrzeiligen Argumenten parsen

Hinzugefügt¶

• Transformation für pyspark.sql.readwriter.DataFrameReader.option wurde hinzugefügt:

  • Wenn die Kette aus einem CSV-Methodenaufruf stammt.

  • Wenn die Kette aus einem JSON-Methodenaufruf stammt.

• Transformation für pyspark.sql.readwriter.DataFrameReader.json wurde hinzugefügt.

Geändert¶

• Ausgeführt SMA auf SQL-Strings, die an Python/Scala-Funktionen übergeben werden

  • Erstellen Sie AST in Scala/Python, um eine temporäre SQL-Einheit auszugeben

  • Erstellen Sie einen SqlEmbeddedUsages.csv-Bestand

  • Verwerfen Sie SqlStatementsInventroy.csv und SqlExtractionInventory.csv

  • Integrieren Sie EWI, wenn das SQL-Literal nicht verarbeitet werden konnte

  • Erstellen Sie neue Aufgabe, um SQL-eingebetteten Code zu verarbeiten

  • Sammeln Sie Informationen für SqlEmbeddedUsages.csv-Bestand in Python

  • Ersetzen Sie mit SQL transformierten Code in Python durch Literal

  • Aktualisieren Sie Testfälle nach der Implementierung

  • Erstellen Sie eine Tabelle und Ansichten für Telemetrie in SqlEmbeddedUsages-Bestand

  • Sammeln Sie Informationen für SqlEmbeddedUsages.csv-Bericht in Scala

  • Ersetzen Sie SQL transformierten Code in Scala durch Literal

  • Prüfen Sie die Reihenfolge der Zeilennummern für die Berichterstattung von Embedded SQL

• Füllen Sie die SqlFunctionsInfo.csv mit den SQL-Funktionen, die für SparkSQL und HiveSQL

• Der Zuordnungsstatus wurde aktualisiert für:

  • org.apache.spark.sql.SparkSession. sparkContext von NotSupported zu „Transformation“.

  • org.apache.spark.sql.Builder.config von NotSupported zu Transformation. Mit diesem neuen Zuordnungsstatus wird die SMA alle Verwendungen dieser Funktion aus dem Quellcode entfernen.

Hinzugefügt¶

• Es wurde der Mechanismus hinzugefügt (über Dekoration), um die Zeile und Spalte der in Notizbuchzellen identifizierten Elemente abzurufen.

• Ein EWI für pyspark.sql.functions.from_json wurde hinzugefügt.

• Eine Transformation für pyspark.sql.readwriter.DataFrameReader.csv wurde hinzugefügt.

• Aktiviert den Abfrage-Tag-Mechanismus für Scala-Dateien.

• Der Analysis Score-Code und zusätzliche Links zum detaillierten Bericht wurden hinzugefügt.

• InputFilesInventory.csv wurde eine Spalte namens OriginFilePath hinzugefügt

Geändert¶

• Der Zuordnungsstatus von pyspark.sql.functions.from_json wurde von „Nicht unterstützt“ auf „Transformation“ aktualisiert.

• Der Zuordnungsstatus der folgenden Spark-Elemente wurde von „Workaround“ auf „Direkt“ aktualisiert:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Veraltet¶

• Die folgenden EWI-Codes sind veraltet:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Korrigiert¶

• Es wurde ein Fehler korrigiert, der zu einer falschen Berechnung des Spark API-Ergebnisses führte.

• Ein Fehler wurde korrigiert, der das Kopieren von SQL leeren oder kommentierten Dateien im Ausgabeordner verhinderte.

• Es wurde ein Fehler in DetailedReport korrigiert. Die Notebook-Statistiken LOC und die Zellenzahl sind nicht korrekt.

Hinzugefügt¶

• Hinzufügen einer Technologie-Spalte zu SparkUsagesInventory

• Ein EWI für nicht definierte SQL-Elemente wurde hinzugefügt.

• SqlFunctions-Inventar hinzugefügt

• Sammeln Sie Informationen für SqlFunctions-Inventar

Geändert¶

• Die Engine verarbeitet und druckt jetzt teilweise geparste Python-Dateien, anstatt die Originaldatei unverändert zu lassen.

• Python-Notebook-Zellen, die Parsing-Fehler aufweisen, werden ebenfalls verarbeitet und gedruckt.

Korrigiert¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime, das fälschlicherweise gemeldet wurde, wurde korrigiert.

• Korrektur der Diskrepanz zwischen SQL-Bereitschaftsbewertung und SQL-Verwendungen nach Unterstützungsstatus.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA pandas.core.series.Series.empty mit einem falschen Zuordnungsstatus meldete.

• Korrektur der Diskrepanz zwischen Spark API-Verwendungen bereit zur Konvertierung in DetailedReport.docx unterscheidet sich von UsagesReadyForConversion-Zeile in Assessment.json.

Hinzugefügt¶

• Die folgenden Informationen wurden der Datei AssessmentReport.json hinzugefügt

  • Die Bereitschaftsbewertung von Bibliotheken von Drittanbietern.

  • Die Anzahl der Aufrufe von Bibliotheken von Drittanbietern, die identifiziert wurden.

  • Die Anzahl der Aufrufe von Bibliotheken von Drittanbietern, die in Snowpark unterstützt werden.

  • Der Farbcode, der mit der Bereitschaftsbewertung von Drittanbietern, der Bereitschaftsbewertung von Spark API und der Bereitschaftsbewertung von SQL verbunden ist.

• Transformierte SqlSimpleDataType in Spark erstelle Tabellen.

• Die Zuordnung von pyspark.sql.functions.get wurde als „direkt“ hinzugefügt.

• Die Zuordnung von pyspark.sql.functions.to_varchar wurde als „direkt“ hinzugefügt.

• Im Rahmen der Änderungen nach der Vereinheitlichung erzeugt das Tool nun eine Ausführungsinformationsdatei in der Engine.

• Ein Ersetzer für pyspark.sql.SparkSession.builder.appName wurde hinzugefügt.

Geändert¶

• Der Zuordnungsstatus wurde für die folgenden Spark-Elemente aktualisiert

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Der Bericht „Bestandsaufnahme der Notebook-Zellen“ wurde geändert, um die Art des Inhalts für jede Zelle in der Element-Spalte anzuzeigen

• Es wurde eine Spalte SCALA_READINESS_SCORE hinzugefügt, die die Bereitschaftsbewertung nur in Bezug auf Verweise auf die Spark API in Scala-Dateien anzeigt.

• Teilweise Unterstützung für die Transformation von Tabelleneigenschaften in ALTER TABLE und ALTER VIEW

• Aktualisierung des Konvertierungsstatus des Knotens SqlSimpleDataType von „Ausstehend“ auf „Transformation“ in Spark erstellten Tabellen

• Die von SMA unterstützte Version von Snowpark Scala API wurde von 1.7.0 auf 1.12.1 aktualisiert:

  • Der Zuordnungsstatus wurde aktualisiert von:

    • org.apache.spark.sql.SparkSession.getOrCreate von „Umbenennen“ zu „Direkt“

    • org.apache.spark.sql.functions.sum von „Workaround“ zu „Direkt“

• Die von SMA unterstützte Version von Snowpark Python API wurde von 1.15.0 auf 1.20.0 aktualisiert:

  • Der Zuordnungsstatus wurde aktualisiert von:

    • pyspark.sql.functions.arrays_zip von „Nicht unterstützt“ zu „Direkt“

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • Zuordnung von „Nicht unterstützt“ zu „Umbenennen“:

    • pandas.core.frame.DataFrame.map

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Nicht unterstützte Zuordnungen:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Direkte Zuordnungen mit EWI:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Direkte Zuordnungen:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Nicht unterstützte Zuordnungen:

    • pandas.core.series.Series.dt.strftime

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Der Zuordnungsstatus wurde für die folgenden Pandas-Elemente aktualisiert:

  • Von Zuordnung „Nicht unterstützt“ zu „Direkt“:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Die Beschreibung von „Understanding the SQL Readiness Score“ wurde aktualisiert.

• PyProgramCollector wurde aktualisiert, um die Pakete zu sammeln und das aktuelle Paketinventar mit Daten aus dem Python-Quellcode aufzufüllen.

• Der Zuordnungsstatus von pyspark.sql.SparkSession.builder.appName wurde von „Umbenennen“ auf „Transformation“ aktualisiert.

• Die folgenden Scala-Integrationstests wurden entfernt:

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Der Zuordnungsstatus von pandas.core.generic.NDFrame.shape wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von pandas.core.series wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

Veraltet¶

• Der Code EWI SPRKSCL1160 ist veraltet, da org.apache.spark.sql.functions.sum jetzt eine direkte Zuordnung ist.

Korrigiert¶

• Ein Fehler wurde korrigiert, indem Custom Magics ohne Argumente in Jupyter Notebook-Zellen nicht unterstützt werden.

• Fehlerhafte Generierung von EWIs im Bericht issues.csv bei Parsing-Fehlern wurde korrigiert.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA das exportierte Databricks-Notizbuch nicht als Databricks-Notizbuch verarbeiten konnte.

• Es wurde ein Stapelüberlauffehler bei der Verarbeitung kollidierender Typnamen von Deklarationen korrigiert, die innerhalb von Paketobjekten erstellt wurden.

• Die Verarbeitung von komplexen Lambda-Typ-Namen, die Generika beinhalten, wurde korrigiert, z. B. def func [X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA den Pandas-Elementen, die noch nicht erkannt werden, einen PySpark EWI Code anstelle eines Pandas EWI-Codes hinzufügte.

• Tippfehler in der detaillierten Berichtsvorlage wurde korrigiert: Umbenennung einer Spalte von „Prozentsatz aller Python-Dateien„ in „Prozentsatz aller Dateien“.

• Ein Fehler wurde korrigiert, bei dem pandas.core.series.Series.shape fälschlicherweise gemeldet wurde.