Snowpark Migration Accelerator: SC Spark Scala-Versionshinweise¶

2.14.0¶

2023-10-24 \ \ Hinzugefügt\ \ Fügen Sie kondensierte ID für Dateinamen hinzu und verwenden sie im Protokoll.

Geändert

Überarbeiten Sie die Hierarchie der Ausgabeordner von TrialMode.

Erstellen Sie Berichte lokal im im Bewertungsmodus, wenn die Punktzahl 90 oder höher ist.

Erstellen Sie Berichte lokal im im Bewertungsmodus, wenn es sich um einen Snowflake-Benutzer handelt.

Erstellen Sie Bestände als .csv-Dateien.

Verschieben Sie Bestände in den Berichtsordner.

2.13.0¶

2023-10-19\

Hinzugefügt\

• Fügen Sie ein Flag hinzu, um mehr Protokollierungsmeldungen zu aktivieren.

• Fügen Sie ein Flag hinzu, um die Ausführung der Konvertierung zu deaktivieren.

• Fügen Sie einen Timeout-Mechanismus für die Auflösung der Scala-Symboltabelle hinzu.

• Fügen Sie einen Timeout-Mechanismus für die Scala-Parsing-Phase hinzu.

• Fügen Sie Fortschrittsprotokollmeldungen in der Parsing-Phase für Scala hinzu.

Geändert\

• Anpassungen an Berichten (HTML und docx): Umbenennung der Bereitschaftsbewertung und Aktualisierung des Anhangs und der Importaufruftabelle.

• Aktualisieren Sie AssessmentMode von 8.1.6 auf 9.0.4

• Aktualisieren Sie Common.AssessmentModel von 3.1.12 auf 3.1.14

• Fügen Sie Sperre hinzu, um Racebedingung zu vermeiden

Korrigiert\

• Korrigieren Sie inkonsistente Anzahl von SparkReferences zwischen Bewertungs- und Konvertierungsmodi.

• Korrigieren Sie das Problem, dass .sql-Dateien nicht als unterstützte Dateien erkannt werden.

• Korrigieren Sie Parsing-Fehler, wenn ein Backslash zwischen AtomElement und BracedSlices steht.

• Korrigieren Sie Problem, wenn das Parsen von Code mit einer großen Anzahl verschachtelter Ausdrücke sehr lange dauert.

2.12.0¶

2023-10-13

Hinzugefügt

• Fügen Sie Testmodusunterstützung hinzu.

Geändert

• Aktualisieren Sie Snowflake.SnowConvert.Python von 1.1.79 auf 1.1.80

• Fügen Sie eine Variante von ResolveType hinzu, um einen Stapelüberlauf in einigen Szenarien zu vermeiden.

Korrigiert

• Korrigieren Sie Szenario, bei dem die Auflösung von FullName zu einem Stapelüberlauf führt.

2.11.0¶

Hinzugefügt

• Fügen Sie Untersützung von Snowpark API Version 1.7.0 auf Python hinzu.

• Fügen Sie Untersützung von Snowpark API Version 1.6.1 auf Python hinzufügen.

• Eine neue Problemumgehung wurde hinzugefügt

• Vier (4) neue Zuordnungen wurden hinzugefügt

Geändert

• Aktualisieren Sie die Scala-Integrationstestvalidierungen.

• Reduzieren Sie die Zeit für Scala-Integrationstests.

• Aktualisieren Sie die verbleibenden Assembly-Namensreferenzen im internen Code.

• Aktualisieren Sie die Quelldatei-Header entsprechend den Unternehmensrichtlinien.

Korrigiert

• Korrigieren Sie Mehrfachausführungen mit derselben ExecutionId, indem Sie SessionId und ExecutionId zu Beständen und Berichten hinzufügen.

• Korrigieren Sie die fehlgeschlagene CopyOtherFiles-Aufgabe mit der Datei storage.lck.

• Korrigieren Sie Problem bei der Erstellung von .HTML-Berichten und einige Werte dabei null sind.

2.09.0¶

2023-10-03

Hinzugefügt

• Fügen Sie FilesInventory.pam hinzu

• Vier (4) neue Zuordnungen wurden hinzugefügt

Geändert

• Ändern Sie Assembly-Namen.

• Aktualisieren Sie Snowflake.SnowConvert.Python von 1.1.70 auf 1.1.79

• Fügen Sie in drei verschiedenen Regeln einen Backslash ein, um Parsing-Fehler zu beheben.

• Fügen Sie ein neues Spark-Referenzsymbol hinzu.

• Unterstützen Sie zwei (2) neue Lösungen.

• Unterstützung leerer Befehle in .sql DBX-Notebooks.

• Verbessern Sie die Robustheit der Funktion StopIfDedent.

Korrigiert

• Korrigieren Sie einen Parsing-Fehler in einem Backslash-Szenario mit Parametern und Kommas.

• Korrigieren Sie Problem mit der Auflösung des Ausdrucks zwischen Klammern.

• Korrigieren Sie Parsing-Fehler mit leerem Befehl in .sql DBX-Notebooks.

• Korrigieren Sie Problem mit der Auflösung von leeren Klammersymbolen.

• Korrigieren Sie Regex-Timeout-Fehler beim Sammeln des Bestands von SQL-Anweisungen.

• Korrigieren Sie Parsing-Fehler im Zusammenhang mit gemischter Einrückung.

• Korrigieren Sie eine falsche Absturzmeldung, wenn ein Parsing-Fehler gefunden wurde.

• Korrigieren Sie inkonsistente Anzahl von SparkReferences zwischen Bewertungs- und Konvertierungsmodi.

2.8.0¶

2023-09-27

Hinzugefügt

• Fügen Sie Unterstützung für Snowpark API-Version 1.5.1 unter Python hinzu.

• Fügen Sie Unterstützung für die Syntax von Python 3.10.10 hinzu.

• Fügen Sie die Spalte CellId in den Beständen hinzu (für Notebooks, Databricks und Jupyter).

• Fügen Sie vier (4) neue Zuordnungen hinzu

Geändert

• Aktualisieren Sie Mobilize.Python von 1.1.64 auf 1.1.70

• Fügen Sie Unterstützung für die Syntax von Python 3.10.10 hinzu.

• Fügen Sie drei (3) neue Backslash-Szenarien hinzu, um einen Parsing-Fehler zu beheben.

• Fügen Sie einen expliziten Rückgabetyp zu einigen Pandas-Symbolen hinzu, um einen Ladefehler zu vermeiden.

Korrigiert

• Korrigieren Sie einen Parsing-Fehler bei einem Backslash in einer eckigen Klammer, bei einem Doppelpunkt und in Parameter-Szenarien.

• Korrigieren Sie Fehler beim Laden von Pandas-Symbolen.

2.7.0¶

2023-09-20\

Hinzugefügt\

• Fügen Sie Unterstützung für Snowpark API Version 1.5.0 in Python hinzu.

• 3 neue Zuordnungen hinzugefügt

Geändert\

• Vermeiden Sie die Verarbeitung versteckter Dateien

• Aktualisieren Sie `Mobilize.SparkCommon.Utils` von 1.3.188 auf 1.3.189

• Aktualisieren Sie `Mobilize.Common.Utils` von 3.2.0 auf 3.2.2

Korrigiert\

• Korrigieren Sie hängenbleibende PackageVersionInventory-Sammelphase.

• Korrigieren Sie falschen Prozentsatz in der Spark-Verwendungszusammenfassungs-Tabelle im detaillierten Bericht, wenn Sie DBC-Dateien verwenden.

• Korrigieren Sie die Dateigrößentabelle im detaillierten Bericht, die leer oder gar nicht angezeigt wird.

2.6.0¶

2023-09-12\

Hinzugefügt\

• Fügen Sie die Unterstützung für %SQL-Zellen (aus Notebooks) zum Bestand der SQL-Anweisungen hinzu.

Geändert\

• Aktualisieren Sie `Mobilize.Python` von 1.1.62 auf 1.1.64

• Fügt Unterstützung für magic sql hinzu.

• Vermeiden Sie die Aktualisierung des Funktionsparametertyps, wenn der abgeleitete Typ `None` ist.

Korrigiert\

• Korrigieren Sie Problem, das zum unendlichen Laden von Symbolen für bestimmte Dateien führte.

• Korrigieren Sie Problem, dass GenericScanner-Dateien nicht erzeugt werden.

Sicherheit\

• Sichere Kennwörter in Python-Transformationstests.

2.5.0¶

2023-09-05

Hinzugefügt

• Fügen Sie Bestand für Notebook-Größen hinzu. (SCT-3876)

• Fügen Sie das Snowflake.SparkCommon.MappingLoader-Projekt hinzu (verwendet die neue Snowflake.SnowMapGrammar). (SCT-4281)

Geändert

• Aktualisieren Sie Mobilize.Python von 1.1.59 auf 1.1.62

  • Hinzufügen eines Timeout-Mechanismus bei der Python-Symbolauflösung für GetSymbol Methoden.

• Aktualisieren Sie Mobilize.SparkCommon.Utils von 1.3.186 auf 1.3.187

  • Aktualisieren Sie die Mobilize.SparkCommon.Utils.FilesHelper.CopyFilesRecursively-Methode zur Behandlung versteckter Dateien.

Korrigiert

• Korrigieren Sie das Problem, dass Sie nach einer Ausführung keine E-Mail erhalten (Verringerung der Protokolldateigröße, indem standardmäßig die Protokollierung von Debug-Meldungen vermieden wird). (SCT-5320)

Entfernt

• Entfernen Sie das Projekt Mobilize.SparkCommon.TransformationCore (Sie haben das alte Projekt Mobilize.MapGrammarverwendet).

2.4.0¶

2023-08-28

Hinzugefügt

• Fügen Sie NotebookCells-Bestand hinzu.

• Sammeln Sie die Argumentwerte von DataFrameReader.option und DataFrameWriter.option für Scala und Python.

• 2 neue Zuordnungen und eine bessere Alias-Typ-Informationssammlung hinzufügen

• Verschlüsseln Sie Ausgabedateien, wenn zusätzliche Parameter angegeben werden.

• Aktivieren Sie SQLStatements-Bestand wieder.

• Aktivieren Sie die Parallelisierung für Sammler wieder.

Geändert

• Aktualisieren Sie den Abschnitt „Zusammenfassung des Dateityps“ im detaillierten Bericht (docx und html). (SCT-3867)

• Aktualisierung für 2 Zuordnungen

• Aktualisieren Sie Mobilize.SparkCommon.Utils von 1.3.181 auf 1.3.186.

• Verbessern Sie die Unterstützung der Sortierung von CSV-Dateien.

• Aktualisieren Sie Mobilize.Common.Utils von 3.1.6 auf 3.2.0.

  • Verbessern Sie die Unterstützung der Sortierung von CSV-Dateien.

  • Aktualisieren Sie Mobilize.Common.Utils von 3.1.6 auf 3.2.0.

  • Aktualisieren Sie NuGet-Paketversionen.

• Überarbeiten von Ladezuordnungsaufgabe.

• Überarbeiten auf SparkCommon Utils-Projektreferenzen.

• Gruppieren Sie Lösungsprojekte.

• Führen Sie die Scala-Integrationstests JupyterTest, InventoryTests und TransformationTest zusammen.

Korrigiert

• Korrigieren Sie ein Problem, das dazu führte, dass das Python-Konvertierungstool beim Sammeln der Bestandselemente von SQL hängen blieb.

• Korrigieren Sie fehlende GenericScanner-Dateien in der Ausgabe.

• Korrigieren Sie Problem mit migrierten DBC-Dateien, die nicht in Databricks geladen wurden.

• Korrigieren Sie Fehler am Ende des Toolprozesses.

Entfernt

• Entfernen Sie InventoryStorageTemp.

• Entfernen Sie überflüssige StyleCop.Analyzers Projektverweise.

2.2.001¶

2023-07-19

Hinzugefügt

• Hinzufügen von sechs (6) neuen Zuordnungen

Geändert

• Aktualisierung des Bewertungsmodells von 3.1.10 auf 3.1.11

Korrigiert

• Korrigieren Sie nicht funktionierende Databricks-Verarbeitung im Bewertungsmodus

Sicherheit

• Integrität von Subressourcen zu HTML-Links hinzugefügt

2.1.161¶

2023-07-06

Korrigiert

• Korrektur und Aktivierung der Scala Spark-Funktionstests

2.1.160¶

2023-07-05

Geändert

• Aktualisierung des Bewertungsmodells von 3.1.9 auf 3.1.10

2.1.159¶

2023-07-05

Geändert

• Aktualisierung des Bewertungsmodells von 3.1.7 auf 3.1.9

2.1.158¶

2023-07-05

Hinzugefügt

• Zusätzliche Stabilität des Tools durch Verbesserung der Behandlung von Ausnahmen in Aufgaben

2.1.157¶

2023-07-05

\ Geändert

• Spark Common Update von 1.3.178 auf 1.3.181

2.1.155¶

2023-07-05

Geändert

• Common Build-Update von 2.0.2 auf 3.0.4

• Verbesserungen bei der Erstellung der Lösung in MacOs

2.1.148¶

2023-07-04

Geändert

• Spark Common Update von 1.3.177 auf 1.3.178

• Common Utils Update von 4.0.0-alpha.DevOps. 9 auf 3.1.6

2.1.147¶

2023-07-03

Sicherheit

• Entfernen Sie nicht-lizenzierte Paketverweise in `Spark Common`-Projekten.

2.1.146¶

2023-07-03

Geändert

• Aktualisieren Sie `coverlet.collector` von 3.2.0 auf 6.0.0

• Aktualisieren Sie `FluentAssertions` von 6.9.0 auf 6.11.0

• Aktualisieren Sie `Scriban.Signed` von 5.5.2 auf 5.7.0

• Aktualisieren Sie `DocumentFormat.OpenXml` von 2.19.0 auf 2.20.0

\ Sicherheit

• Entfernen Sie nicht-lizenzierte Paketverweise in `SparkCommon`-Projekten.

2.1.145¶

2023-06-28

Geändert

• `Mobilize.Python`-Aktualisierung von 1.1.49 auf 1.1.50

• Korrigieren Sie das Problem, dass Databricks-Notebook ganze Dateien analysiert, wenn einzelne Zellen nicht geparst werden

2.1.144¶

2023-06-27

Korrigiert

• Korrigieren Sie die .dbc-Dateiextraktion auf MacOS

2.1.143¶

2023-06-26

Korrigiert

• Korrigieren Sie Testfehler aufgrund von unterschiedlichen Datenformaten.

2.1.142¶

2023-06-26

Geändert

• Überarbeiten Sie die Bestandsspeicher

2.1.141¶

2023-06-23

Geändert

• `Mobilize.Python`-Aktualisierung von 1.1.46 auf 1.1.49

• Erkennen und Beenden rekursiver Zyklen bei der Auflösung eines Symbols

• Korrigieren Sie StackOverflow-Ausnahme bei \_\_init\_\_.py-Dateien

• Korrigieren Sie PyArgExpr-Knoten mit Backslash

2.1.140¶

2023-06-22

Geändert

• `Mobilize.Python`-Aktualisierung von 1.1.44 auf 1.1.46

• Korrigieren Sie PyTerm-Knoten mit Backslash

2.1.138¶

2023-06-22

Geändert

• Spark Common Update von 1.3.176 auf 1.3.177

Korrigiert

• Korrigieren Sie die Erstellung des Scala-Code-Prozessors.

2.1.137¶

2023-06-22

Sicherheit

• Sichere Anmeldeinformationen bei Funktionstests.

• Entfernen Sie nicht-lizenzierte Paketverweise.

2.1.136¶

2023-06-21

Geändert

• `Snowflake.Data`-Aktualisierung von 2.0.15 auf 2.0.25

• Spark Common Update von 1.3.175 auf 1.3.176

Sicherheit

Aktualisieren der Verweise in den Funktionstests.

2.1.135¶

2023-06-21

Hinzugefügt

• Fügen Sie die .dbc-Erweiterung hinzu, die von Python- und Scala-Codeprozessor-Tools unterstützt wird.

• Fügen Sie dem Contracts-Projekt Tests hinzu.

Sicherheit

• Entfernen Sie Verweise auf nicht-lizenzierte Pakete in `SparkCommon.Contracts.Test`.

2.1.132¶

2023-06-21

Entfernt

• Entfernen Sie die Spalte `Supported` aus dem IOFiles-Bestand im Bewertungsmodus.

2.1.131¶

2023-06-20

Korrigiert

• Korrigieren Sie Tests auf dem Mac.

2.1.130¶

2023-06-19

Geändert

• Führen Sie das Repo SparkCommon mit diesem Repo zusammen.

2.1.126¶

2023-06-16

Korrigiert

• Korrigieren Sie die Repository-Erstellung.

2.1.124¶

2023-06-15

Korrigiert

• Korrigieren Sie die Repository-Erstellung.

2.1.123¶

2023-06-15

Geändert

• `Mobilize.Scala`-Aktualisierung von 0.2.34 auf 0.2.37

• Korrigieren Sie eines Parsing-Fehlers bei generischem Typ mit Unterstrich und Einschränkung

• Korrigieren Sie eines Parsing-Fehlers bei Ausdrücken mit Anführungszeichen und Interpolation

Sicherheit

• Entfernen Sie unsichere Paketverweise.

2.1.121¶

2023-06-15

Sicherheit

• Entfernen Sie die Dateien mit Anmeldeinformationen

2.1.120¶

2023-06-15

Geändert

• Geringfügige Änderung in der Versionskonfiguration sowohl für Scala als auch für Python.

1.0.306¶

February 14, 2023

Scala 0.2.13

SparkSnowConvert Core 1.1.27

\

Neue Features

• Verarbeitung von Jupyter-Notebooks (.ipynb)

• EWI-Erzeugung, wenn eine Abhängigkeit nicht zur Projektkonfigurationsdatei hinzugefügt werden konnte

Verbesserungen

• Öffnen und Schließen von Lambda-Bereichen

\ Fehlerkorrekturen

• Bug 680497: Das Zurücksetzen auf voll qualifiziert für Funktionen funktioniert nicht richtig

• Fehler 681704: Abschlussbericht kann nicht erstellt werden

\

1.0.273¶

February 2, 2023

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

Hotfix

• API-Endpunkteaktualisierung

1.0.263¶

January 31, 2023

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

\ Hinzugefügt

• .NET Core 6 Upgrade

• ElementPackage-Spalte zum Importbestand hinzugefügt

• Größentabelle zu Bewertungsberichten hinzugefügt

• Fügen Sie den Prozentsatz der Konvertierung in den Berichten hinzu, die mit BDS synchronisiert werden

• Fügen Sie die issues.csv-Datei zur Ausgabe hinzu

• Erzeugen Sie SummaryReport.html und DetailedReport.html (spiegeln Sie docx html) lokal im Berichtsordner

• Fügen Sie ConversionStatus-Schlüsselwörter zu GenericScanner hinzu

• Unterstützen Sie die Konvertierung des vollständigen Namens

Verbesserungen

• org.apache.spark.mllib-Zuordnungen zur Core-Referenztabelle hinzugefügt

• [UI] Korrigieren Sie Formulierung beim Abbruch der Ausführung

• [UI] Ändern Sie UI-Phasentitel

• Gruppieren Sie Probleme nach EWI-Code

• Aktualisieren Sie TOOL_VERSION-Spaltenwertformat in der Tabelle „Ausführungsinformationen“

• Die Tabelle mit den Problemzusammenfassungen wurde vereinfacht, damit sie nicht zu groß wird

Fehlerkorrekturen

• Gelöstes Problem mit Backslash

• Gelöstes BreakLine Problem

• Gelöster Lambda-Block-Ausnahmefall

• Entfernen Sie AssessmentReport.html-Erzeugung (lokaler html-Bericht)

1.0.191¶

December 27, 2022

Scala 0.1.493

SparkSnowConvert Core 1.0.117.0

Hinzugefügt

• Hochladen des Paketbestands in die Cloud Telemetrie

Verbesserungen

• Detaillierter Bericht

  • Kleine optische Verbesserungen

  • Sortieren der Problemtabelle nach:

    • Instanzen

    • Code

    • Beschreibung

1.0.166¶

December 21, 2022

Scala 0.1.492

SparkSnowConvert Core 1.0.105.0

Hinzugefügt

• Beschreibung der Fehlermarge im detaillierten Bericht hinzugefügt

Verbesserungen

• Verbesserte Sortierung der Problemtabelle im detaillierten Bericht

• Verbesserte Anzeige von Prozentsätzen im detaillierten Bericht

Fehlerkorrekturen

• <#> Zeichen zeigt Probleme

• „Compose“ wird nicht als Schlüsselwort erkannt

• Der Parser funktioniert nicht beim Argument ‚join‘

• Scala-Codeprozessor mit kritischem Fehler

1.0.132¶

December 13, 2022

Scala 0.1.487

SparkSnowConvert Core 1.0.88

Verbesserungen

• Kundeninformationen zum detaillierten Bewertungsbericht hinzugefügt

• Transformations-Protokollierungsmeldungen

Fehlerkorrekturen

• Ein Problem mit Ausdrücken wie (a, b) =>val c

• compose wird nicht als Schlüsselwort erkannt

1.0.107¶

December 7, 2022

Scala 0.1.484

SparkSnowConvert Core 1.0.77

Hinzugefügt

• Snowpark-Zuordnungsaktualisierung auf Version 1.6.2

• Funktionen ohne Klammern, Sammlung von Verbesserungen bei Bewertung

• Verarbeitung der Maven-Projektdatei (pom.xml)

• ClassName-Spalte auf SparkUsagesInventory.pam und ImportUsagesInventory.pam in ‚alias‘ umbenannt

• Zusätzliche Fehlermarge für die Bereitschaftsbewertung

Korrigiert

• Snowpark Python und Scala hat Versions-Update veröffentlicht

• Ausgabe mit einer neuen Zeile nach dem Namen der Funktionen

1.0.59¶

November 29, 2022

Scala 0.1.478

SparkSnowConvert Core 1.0.60

Hinzugefügt

• Grundlegende Unterstützung für Begleitobjekte

• org.apache.spark.sql.Column-Zuordnungsaktualisierung

• org.apache.spark.sql.Expression Zuordnungsaktualisierung

• org.apache.spark.sql.functions Zuordnungsaktualisierung

• Verweis auf die Abhängigkeit von Erweiterungen in der Projektkonfigurationsdatei (SBT)

• Verweis auf die Abhängigkeit von Erweiterungen in der Projektkonfigurationsdatei (Gradle)

Korrigiert

• „Skript“-Code wird nicht unterstützt

1.0.17¶

November 23, 2022

Scala 0.1.472

SparkSnowConvert Core 1.0.44

Hinzugefügt

• Spark-Zuordnungsaktualisierung

• Kürzen Sie den Wert der Spalte „FileId“ in allen .pam-Dateien

• ConversionStatus und scala_spark\_mappings_core.csv-Vereinheitlichung

1.0.1¶

November 17, 2022

Scala 0.1.472

SparkSnowConvert Core 1.0.37

Hinzugefügt

• SparkSession, DataFrameReader und DataFrameWriter-Zuordnungsaktualisierung

• EWI Generierung für unäre und binäre Ausdrücke

Korrigiert

• Writer-Ersetzer unterstützt csv, parquet, json und Optionen

• Reader-Ersetzer unterstützt keine Funktionen ohne Klammern

• Writer-Ersetzer unterstützt keine Funktionen ohne Klammern

• Derzeit ist die Transformation von InsertInto kein gültiger Code.

• Writer-Ersetzer enthält nicht alle Funktionen.

0.1.873¶

November 11, 2022

Scala 0.1.468

SparkSnowConvert Core 1.0.23

Hinzugefügt:

• Symbolauflösung für Funktionsaufrufe ohne Klammern

• Behandlung von Ausnahmen beim Öffnen/Schließen von Bereichen (bei Ersetzern)

• EWI-Erzeugung für nicht-unterstützte Importe (komplexe Fälle)

• EWI-Erzeugung für nicht-definierte Importe

• SparkSession-Transformationverbesserungen

• DataFrame-Verbesserungen bei der Reader/Writer-Transformation

• Abschnitte „Spark-Verwendungen nach Unterstützungskategorie“ und „Zusammenfassung der Scala-Importaufrufe“ wurden zum detaillierten Bericht hinzugefügt

• RDD-Zuordnungsaktualisierung

Korrigiert:

• Stapelüberlauf, Ausgabedateien wurden nicht erzeugt

• Ausdruck ohne Klammern auf Ersetzertransformation einer Spark-Sitzung

0.1.770¶

October 21, 2022

Scala 0.1.458

SparkSnowConvert Core 0.1.530

Hinzugefügt:

• Helfer/Erweiterung .jar auf die neueste Version aktualisiert

• Aktualisierte .docx-Bewertungsberichtsvorlage

• Importieren von Verwendungen zur Bestandserstellung

• Erzeugen von EWIs für nicht-unterstützte Importe (einfacher Fall)

Korrigiert:

• Indeterminismusproblem auf SymblTable

• Fehler beim Sortieren von Spark-Verwendungsbestandsdateien

• SclSingleExprPath darf keine Null-Mitglieder enthalten

• Die Sammlung wurde geändert; die Aufzählungsoperation darf nicht ausgeführt werden

• Das Parsen wird nicht beendet, wenn mehrere schließende Mehrzeiler in einer Reihe vorhanden sind

• Problem mit Ausdruck

• Fehler FileNotGenerated

0.1.705¶

October 04, 2022

Scala 0.1.442

SparkSnowConvert Core 0.1.499

Korrigiert:

• Die Schaltfläche „Einstellungen“ wird nicht aktualisiert, wenn die Lizenz geändert wird.

0.1.702¶

September 28, 2022

Scala 0.1.442

SparkSnowConvert Core 0.1.498

Hinzugefügt:

• Verbesserungen beim Laden von Symbolen in Tabellen

• Mehr Robustheit für Symboltabellen-Lader hinzufügen

Korrigiert:

• Fehler in der Gesamtzahl der Scala-Dateien in der AssessmentReport

• Symbolauflösung für generische Funktionen mit einem Sternchen

• Kommentare innerhalb von Kommentaren und id-Präfix und Interpolations-Parsing-Fehler

• Das Komma nach Bezeichner-Parsing-Fehler

• Parsing-Fehler des Ausdrucks, wenn die erste Anweisung das Muster der zweiten Anweisung übernimmt

• Parsing-Fehler bei „und“-, „::“-, „++“- und „oder“-Operatoren

0.1.687¶

September 20, 2022

Scala 0.1.430

SparkSnowConvert Core 0.1.491.0

Hinzugefügt

• Laden/Auflösen von Symbolen - Fügen Sie Unterstützung für generische Methoden mit Sternchen params hinzu .

• Laden/Auflösen von Symbolen - Typinferenz für Typdefs hinzufügen.

• Allgemeine Verbesserungen beim Laden/Auflösen von Symbolen

Korrigiert

Problem im Zusammenhang mit den Importverwendungen, die nicht gespeichert werden, wenn es keine Spark-Verweise gibt.

0.1.677¶

September 15, 2022

Scala 0.1.427

SparkSnowConvert Core 0.1.486.0

Hinzugefügt

• Cloud-Telemetrie und E-Mail-Versandmechanismus jetzt im Konvertierungsmodus verfügbar

• Aktualisieren Sie Kontaktinformationen in der E-Mail-Vorlage

0.1.653¶

September 06, 2022

Scala 0.1.426

SparkSnowConvert Core 0.1.476.0

Hinzugefügt

• ‚SnowConvert Version‘ und ‚Snowpark Version‘ auf SparkUsagesInventory

• Verbesserungen der Geschwindigkeitsanalyse

0.1.624¶

August 31st, 2022

Scala 0.1.422

SparkSnowConvert Core 0.1.454.0

Hinzugefügt

• Automatisierte und Status-Spalten zu SparkReferenceInventory.csv hinzugefügt

• Hochladen von Zusammenfassungen und detaillierten html-Berichten in Snowflake

• Zuordnungsaktualisierung

Korrigiert:

• Zusammenfassung und Korrekturen der detaillierte Berichtstexte

• Korrekturen von Formulierung der E-Mail-Vorlage.

0.1.579¶

August 23th, 2022

Scala 0.1.421 Spark

SnowConvert Core 0.1.414

Hinzugefügt

• E-Mail-Vorlagenaktualisierung

• Hinzufügen des Abschnitts „Versionsinformationen“ zum Zusammenfassungsbericht

• Hinzufügen des Abschnitts „Ressourcen“ zum detaillierten Bericht

• Endgültige Bildschirm UI-Änderungen

Korrigiert

• Melden Sie fehlende Spark-Funktionen auf sparkUsagesInventory.pam

• Detaillierte Bericht-Logos-Aktualisierung

• Prozentuale Genauigkeit auf den zusammenfassenden und detaillierten Bewertungsberichten

0.1.595¶

August 17th, 2022

Scala 0.1.421

SparkSnowConvert Core 0.1.396

Hinzugefügt

• Verbesserung der Spark Lese- und Schreibtransformationen

• Sitzung id-Spalte an Spark-Verwendungsbestand

0.1.479¶

June 30th, 2022

Scala 0.1.411

SparkSnowConvert Core 0.1.279

Hinzugefügt

• Spark-Lese- und Schreibtransformationen

• Spark trim, rtrim und ltrim-Funktionstransformationen

• Parsing von String-Interpolation

• Erhöhung der SQL-Extraktionsübereinstimmungsmuster

0.1.447¶

June 14th, 2022

Scala 0.1.402

SparkSnowConvert Core 0.1.274

Hinzugefügt

• Robustheit der Dateioperationen

• Reorganisation der Ausgabeordner

• SparkSession Builder-Transformation

• Hinzufügen der Zählung „Scala-Dateien mit eingebettetem SQL“ in Bewertungsberichten

Korrigiert

• Problem mit zyklischen Abhängigkeiten in der Symboltabelle

• Parsing von leerer Fall-Klausel

• Mehrere Anweisungen zum Parsen von Lambda-Blöcken

• Parsing von Fall-Klausel-Muster

0.1.380¶

June 1st, 2022

Scala 0.1.391

SparkSnowConvert Core 0.1.229

Hinzugefügt

• Robustheit beim Parsen

• Verarbeiten von .sbt-Konfigurationsdateien

• Abschnitt „Aufschlüsselung der Probleme“ im html-Bericht zur Bewertung hinzugefügt

• Verbesserungen am Erscheinungsbild des html-Bewertungsberichts

• Verwendung von RapidScanner-Beständen zur Berechnung der Sparl-Verwendungsbewertung

• macOS CLI & UI-Unterstützung

• Verbesserungen bei Zuordnungen von Importanweisungen

0.1.7¶

May 17th, 2022

Scala 0.1.380

Hinzugefügt

• Scala Parser

  • Unterstützung für doppelte Ausrufezeichen

• Konvertierungstool

  • Sql-Extraktion

  • object_struct function-Transformation

  • avg Funktionstransformation

  • Snowpark-Erweiterungen .jar-Aktualisierung

  • Bericht zu Codezeilen

  • Zuordnungen importieren

  • Docx- und html-Bewertungsberichte

  • RapidScan-Integration

  • Linux OS-Unterstützung

Korrigiert

• Parsing von binären Ausdrucks-Spezialfällen

0.1.3¶

March 18th, 2022

Scala 0.1.358

Hinzugefügt

• Scala Parser

  • Unterstützung von Unterstrichen gefolgt von Zeilenumbrüchen beim Parsen von Ausdrücken

  • Verbesserte Behandlung von Parsing-Fehlern

• Symbole

  • Verbesserte Unterstützung von nicht-aufgelösten Symbolen

  • Verbesserte Erstellung von generischen Symbolen zur Wiederverwendung bestehender Symbole

  • Unterstützung für das Laden und Auflösen von Lambda-Ausdrücken

• Zuordnungen:

  • Unterstützung benutzerdefinierter Zuordnungen für Funktionen und Typen über .map-Dateien

  • Parameter für benutzerdefiniertes Verzeichnis für Zuordnungen hinzugefügt

Korrigiert

• Füllen Sie fehlende Spalten in der Benachrichtigungs-.pam-Datei.

• Generieren Sie Datendateien (.pam) für Metriken im angegebenen Berichtsordner

0.1.2¶

March 4th, 2022

Scala 0.1.351

Hinzugefügt

• Aktualisierte Logos und Texte in UI und Dokumentation

• Symbole

  • Unterstützung generischer Bezeichner für Typ-Parameter für generische Symbole

  • Ausschluss von nicht benötigten Abhängigkeiten

• ScalaParser:

  • Backticks-Identitäten

  • ArgAssign-Ausdrücke

Korrigiert

• ScalaParser:

  • ExprLambda mit ColonType neben ident

  • Try-Ausdruck, wenn „try“ sich nicht auf ein Schlüsselwort bezieht

  • Leerer lambda-Ausdruck mit Argumenten

  • Unterstrich („_“) in TypeArgs

  • Dateien mit auskommentiertem Quelltext

  • Neue Zeilen bei den Knoten SimpleExpr, SingleExpr, TailExpr

• ConversionTool:

  • Korrigieren Sie den Absturz der Konvertierung aufgrund von Javap-Parsing-Fehlern (im Zusammenhang mit Jar-Abhängigkeiten)

0.1.1¶

February 14th, 2022

Scala 0.1.333

Features

• Befehlszeilenschnittstelle.

• Feature zur Bewertung von Scala-Code.

• Verbrauchen Sie mehrere Dateien oder einzelne Dateien mit mehreren Objekten.

• Konvertierung grundlegender Scala-Programme im Sinne von Funktionen und Syntax, die während der ersten 3 Entwicklungssprints gemeinsam festgelegt werden.

• Kommentare in Scala-Code werden inline wieder eingefügt.

• Fügen Sie Kommentare in die Zeile mit Fehlern/Warnungen/Bewertungen ein.

• Grundlegende Berichterstattung einschließlich

  • Anzahl der verarbeiteten Spark-Elemente

  • Zusammenfassung der umgewandelten Elemente, Dateien und Speicherorte von

  • Zusammenfassung der aufgetretenen Fehler/Warnungen/Bewertungen.

  • Zusammenfassung von nicht-unterstütztem Spark APIs

• Nachweisliche Einbeziehung der folgenden definierten Szenarien:

  • API-Zuordnungen

  • Erstellen Sie Projekt als SnowPark-Projekte neu

    • Richten Sie richtige Projektstruktur ein

    • Update auf SnowPark unterstützte Scala-Version

  • Hilfeerstellung zur Reduzierung der Impedanzfehlanpassung

  • Definieren Sie ein Muster zum Umschreiben

  • Dokumentieren Sie Richtlinien für nicht automatisierbare Konzepte (z. B.: Dateinutzungsmuster, Konfiguration von Datenquellen oder Spark-Bibliotheken ohne direktes Äquivalent, wie das Lesen von Kafka-Streams)

• Eine erfolgreiche Konvertierungsrate von mehr als 90 % für die ersten beiden Kundencode-Basen (Basiscode für die oben genannten Szenarien), die Mobilize von Snowflake am Tag des Inkrafttretens zur Verfügung gestellt werden.

  • Gemessen an der Anzahl der kompilierbaren Objekte in Snowflake

  • Objekte mit nicht unterstützten/unübersetzbaren Funktionen werden nicht gezählt

  • Die Konvertierungsrate für Code basiert auf einer vollständigen Codebasis, die alle abhängigen Objekte enthält.

  • Snowflake bietet Zugang zu allen verfügbaren Private Preview Features für die Entwicklung von Mobilize