Snowpark Migration Accelerator : Notes de version de SC Spark Scala¶

2.14.0¶

2023-10-24 \ \ Added\ \ Ajout d’un ID condensé pour les noms de fichier et utilisation de celui-ci dans le journal.

Modifications

Refonte de la hiérarchie des dossiers de sortie de TrialMode.

Génération de rapports localement en mode évaluation lorsque le score atteint 90 ou plus.

Génération de rapports localement en mode évaluation lorsqu’il s’agit d’un utilisateur Snowflake.

Création d’inventaires sous forme de fichiers .csv.

Déplacement d’inventaires dans le dossier Rapports.

2.13.0¶

2023-10-19\

Ajouts\

• Ajout d’un indicateur pour activer plus de messages de journalisation.

• Ajout d’un indicateur pour désactiver l’exécution de la conversion.

• Ajout d’un mécanisme de délai d’expiration pour la résolution de la table des symboles Scala.

• Ajout d’un mécanisme de délai d’expiration pour la phase d’analyse Scala.

• Ajout de messages de journaux de progression dans la phase d’analyse pour Scala.

Modifications\

• Ajustements aux rapports (HTML et docx) : renommage du score de préparation et mise à jour de l’annexe et de la table d’appel des importations.

• Mise à jour de AssessmentMode de 8.1.6 à 9.0.4

• Mise à jour de Common.AssessmentModel de 3.1.12 à 3.1.14

• Ajouter un verrou pour éviter les conditions de course

Correction\

• Correction d’un nombre incohérent de SparkReferences entre les modes d’évaluation et de conversion.

• Correction d’un problème empêchant les fichiers .sql d’être reconnus comme des fichiers pris en charge.

• Correction d’une erreur d’analyse lorsqu’une barre oblique inverse se trouve entre AtomElement et BracedSlices.

• Correction d’un problème où l’analyse d’un code contenant une grande quantité d’expressions imbriquées prenait beaucoup de temps.

2.12.0¶

2023-10-13

Ajouté

• Ajout de la prise en charge du mode d’essai.

Modifications

• Mise à jour de Snowflake.SnowConvert.Python de 1.1.79 à 1.1.80

• Ajout d’une variante de ResolveType pour éviter le débordement de pile dans certains cas.

Correction

• Correction d’un scénario dans lequel la résolution d’un FullName provoque un débordement de pile.

2.11.0¶

Ajouté

• Ajout de la prise en charge de Snowpark API version 1.7.0 sur Python.

• Ajout de la prise en charge de Snowpark API version 1.6.1 sur Python.

• Ajout d’une nouvelle solution de contournement

• Ajout de quatre (4) nouveaux mappages

Modifications

• Mise à jour des validations de tests d’intégration Scala.

• Réduction du temps des tests d’intégration Scala.

• Mise à jour des références des noms d’assemblages restants dans le code interne.

• Mise à jour des en-têtes des fichiers sources pour qu’ils correspondent aux directives de l’entreprise.

Correction

• Correction des exécutions multiples avec le même ExecutionId en ajoutant SessionId et ExecutionId aux inventaires et aux rapports.

• Correction de l’échec de la tâche CopyOtherFiles avec le fichier storage.lck.

• Correction du problème de génération des rapports .HTML lorsque certaines valeurs sont nulles.

2.09.0¶

2023-10-03

Ajouté

• Ajout de FilesInventory.pam

• Ajout de quatre (4) nouveaux mappages

Modifications

• Modification des noms d’assemblage.

• Mise à jour de Snowflake.SnowConvert.Python de 1.1.70 à 1.1.79

• Ajout d’une barre oblique inverse dans trois règles différentes pour résoudre les erreurs d’analyse.

• Ajout d’un nouveau symbole de référence Spark.

• Prise en charge de deux (2) nouvelles résolutions.

• Prise en charge des commandes vides dans les notebooks DBX .sql.

• Amélioration de la robustesse de la fonction StopIfDedent.

Correction

• Correction d’une erreur d’analyse dans un scénario de barre oblique inverse avec des paramètres et des virgules.

• Correction d’un problème de résolution de symbole d’expression entre parenthèses.

• Correction d’une erreur d’analyse avec une commande vide dans les notebooks DBX .sql.

• Correction du problème de résolution des symboles de parenthèses vides.

• Correction de l’erreur de délai d’expiration de Regex lors de la collecte de l’inventaire des instructions SQL.

• Correction d’une erreur d’analyse liée à une indentation mixte.

• Correction d’un faux message de panne en cas d’erreur d’analyse.

• Correction d’un nombre incohérent de SparkReferences entre les modes d’évaluation et de conversion.

2.8.0¶

2023-09-27

Ajouté

• Ajout de la prise en charge de Snowpark API version 1.5.1 sur Python.

• Ajout de la prise en charge de la syntaxe de Python 3.10.10.

• Ajout de la colonne CellId dans les inventaires (pour les deux notebooks, Databricks et Jupyter).

• Ajout de quatre (4) nouveaux mappages

Modifications

• Mise à jour de Mobilize.Python de 1.1.64 à 1.1.70

• Ajout de la prise en charge de la syntaxe de Python 3.10.10.

• Ajout de trois (3) nouveaux scénarios de barre oblique inverse pour résoudre une erreur d’analyse.

• Ajout d’un type de retour explicite à certains symboles Pandas pour éviter une erreur de chargement.

Correction

• Correction d’une erreur d’analyse lorsqu’une barre oblique inverse se trouve dans un crochet, un deux-points et un paramètre.

• Correction d’une erreur lors du chargement de symboles Pandas.

2.7.0¶

2023-09-20\

Ajouts\

• Ajout de la prise en charge de Snowpark API version 1.5.0 sur Python.

• Ajout de 3 nouveaux mappages

Modifications\

• Éviter le traitement des fichiers cachés

• Mise à jour de `Mobilize.SparkCommon.Utils` de 1.3.188 à 1.3.189

• Mise à jour de `Mobilize.Common.Utils` de 3.2.0 à 3.2.2

Correction\

• Correction du blocage de la phase de collecte de PackageVersionInventory.

• Correction d’un pourcentage incorrect dans la table de résumé de l’utilisation de Spark dans le rapport détaillé lors de l’utilisation des fichiers DBC.

• Correction de la table de dimensionnement des fichiers dans le rapport détaillé qui s’affiche vide ou ne s’affiche pas du tout.

2.6.0¶

2023-09-12\

Ajouts\

• Ajout de la prise en charge de cellules %SQL (à partir des notebooks) dans l’inventaire des instructions SQL.

Modifications\

• Mise à jour de `Mobilize.Python` de 1.1.62 à 1.1.64

• Ajout de la prise en charge de magic sql.

• Éviter de mettre à jour le type de paramètre de la fonction lorsque le type déduit estNone\.

Correction\

• Correction d’un problème de chargement de manière infinie des symboles pour des fichiers spécifiques.

• Correction d’un problème de non génération des fichiers GenericScanner.

Sécurité\

• Sécurisation des mots de passe des tests de transformation Python.

2.5.0¶

2023-09-05

Ajouté

• Ajout de l’inventaire des tailles de Notebooks. (SCT-3876)

• Ajout du projet Snowflake.SparkCommon.MappingLoader (utilise le nouveau projet Snowflake.SnowMapGrammar). (SCT-4281)

Modifications

• Mise à jour de Mobilize.Python de 1.1.59 à 1.1.62

  • Ajout d’un mécanisme de délai d’expiration à la résolution des symboles Python pour les méthodes GetSymbol.

• Mise à jour de Mobilize.SparkCommon.Utils de 1.3.186 à 1.3.187

  • Mise à jour de la méthode Mobilize.SparkCommon.Utils.FilesHelper.CopyFilesRecursively pour gérer les fichiers cachés.

Correction

• Correction du problème de non réception de l’e-mail après une exécution (diminution de la taille du fichier journal en évitant da journalisation des messages de débogage par défaut). (SCT-5320)

Supprimée

• Suppression du projet Mobilize.SparkCommon.TransformationCore (utilisé dans l’ancien projet Mobilize.MapGrammar).

2.4.0¶

2023-08-28

Ajouté

• Ajoute de l’inventaire NotebookCells.

• Collecte des valeurs d’argument de DataFrameReader.option et DataFrameWriter.option pour Scala et Python.

• Ajout de 2 nouveaux mappages et meilleure collecte d’informations sur les types d’alias

• Chiffrement des fichiers de sortie lorsque des paramètres supplémentaires sont fournis.

• Réactivation de l’inventaire SQLStatements.

• Réactivation de la parallélisation pour les collecteurs.

Modifications

• Mise à jour de la section Résumé des types de fichiers du rapport détaillé (docx et html). (SCT-3867)

• Mise à jour pour 2 mappages

• Mise à jour de Mobilize.SparkCommon.Utils de 1.3.181 à 1.3.186

• Amélioration de la prise en charge du tri des fichiers CSV.

• Mise à jour de Mobilize.Common.Utils de 3.1.6 à 3.2.0.

  • Amélioration de la prise en charge du tri des fichiers CSV.

  • Mise à jour de Mobilize.Common.Utils de 3.1.6 à 3.2.0.

  • Mise à jour des versions du paquet NuGet.

• Refonte de la tâche « Charger les mappages ».

• Refonte des références du projet SparkCommon.Utils.

• Regroupement des projets de solutions.

• Fusion des tests d’intégration Scala JupyterTest, InventoryTests et TransformationTest.

Correction

• Correction d’un problème qui provoquait le blocage de l’outil de conversion Python lors de la collecte des éléments d’inventaire des instructions SQL.

• Correction du problème de fichiers GenericScanner manquants dans la sortie.

• Correction du problème de fichiers DBC migrés qui ne se chargeaient pas dans Databricks.

• Correction d’une erreur à la fin du processus de l’outil.

Supprimée

• Suppression de InventoryStorageTemp.

• Suppression des références redondantes du projet StyleCop.Analyzers.

2.2.001¶

2023-07-19

Ajouté

• Ajout de six (6) nouveaux mappages

Modifications

• Mise à jour du modèle d’évaluation de 3.1.10 à 3.1.11

Correction

• Correction d’un traitement Databricks ne fonctionnant pas en mode d’évaluation

Sécurité

• Ajout de l’intégrité des sous-ressources aux liens HTML

2.1.161¶

2023-07-06

Correction

• Correction et activation des tests fonctionnels de Scala Spark

2.1.160¶

2023-07-05

Modifications

• Mise à jour du modèle d’évaluation de 3.1.9 à 3.1.10

2.1.159¶

2023-07-05

Modifications

• Mise à jour du modèle d’évaluation de 3.1.7 à 3.1.9

2.1.158¶

2023-07-05

Ajouté

• Amélioration de la stabilité de l’outil en améliorant la gestion des exceptions dans les tâches

2.1.157¶

2023-07-05

\ Modifications

• Mise à jour de Spark Common de 1.3.178 à 1.3.181

2.1.155¶

2023-07-05

Modifications

• Mise à jour de Common Build de 2.0.2 à 3.0.4

• Améliorations de la construction de la solution dans MacOs

2.1.148¶

2023-07-04

Modifications

• Mise à jour de Spark Common de 1.3.177 à 1.3.178

• Mise à jour de Common Utils de 4.0.0-alpha.DevOps.9 à 3.1.6

2.1.147¶

2023-07-03

Sécurité

• Suppression des références à des paquets sans licence dans les projets `Spark Common`

2.1.146¶

2023-07-03

Modifications

• Mise à jour de `coverlet.collector` de 3.2.0 à 6.0.0

• Mise à jour de `FluentAssertions` de 6.9.0 à 6.11.0

• Mise à jour de `Scriban.Signed` de 5.5.2 à 5.7.0

• Mise à jour de `DocumentFormat.OpenXml` de 2.19.0 à 2.20.0

\ Sécurité

• Suppression des références à des paquets sans licence dans les projets `SparkCommon`

2.1.145¶

2023-06-28

Modifications

• Mise à jour de `Mobilize.Python` de 1.1.49 à 1.1.50

• Correction du problème d’analyse du fichier entier du notebook Databricks lorsque l’analyse d’une seule cellule n’est pas effectuée

2.1.144¶

2023-06-27

Correction

• Correction de l’extraction du fichier .dbc sur MacOS

2.1.143¶

2023-06-26

Correction

• Correction des erreurs de tests dues à des formats de données différents.

2.1.142¶

2023-06-26

Modifications

• Refonte du stockage de l’inventaire.

2.1.141¶

2023-06-23

Modifications

• Mise à jour de `Mobilize.Python` de 1.1.46 à 1.1.49

• Détection et arrêt des cycles récursifs lors de la résolution d’un symbole

• Correction de l’exception StackOverflow concernant les fichiers \_\_init\_\_.py

• Correction du nœud PyArgExpr avec barre oblique inverse

2.1.140¶

2023-06-22

Modifications

• Mise à jour de `Mobilize.Python` de 1.1.44 à 1.1.46

• Correction du nœud PyTerm avec barre oblique inverse

2.1.138¶

2023-06-22

Modifications

• Mise à jour de Spark Common de 1.3.176 à 1.3.177

Correction

• Correction de la construction du processeur de code Scala.

2.1.137¶

2023-06-22

Sécurité

• Sécurisation des identifiants dans les tests fonctionnels.

• Suppression des références aux paquets sans licence.

2.1.136¶

2023-06-21

Modifications

• Mise à jour de `Snowflake.Data` de 2.0.15 à 2.0.25

• Mise à jour de Spark Common de 1.3.175 à 1.3.176

Sécurité

Mise à jour des références dans les tests fonctionnels.

2.1.135¶

2023-06-21

Ajouté

• Ajout de l’extension .dbc telle qu’elle est prise en charge par les outils de traitement de code Python et Scala.

• Ajout de tests pour le projet Contrats.

Sécurité

• Suppression des références à des paquets sans licence dans les projets `SparkCommon.Contracts.Test`.

2.1.132¶

2023-06-21

Supprimée

• Suppression de la colonne `Supported` de l’inventaire IOFiles en mode d’évaluation.

2.1.131¶

2023-06-20

Correction

• Correction des tests sur Mac.

2.1.130¶

2023-06-19

Modifications

• Fusion du référentiel SparkCommon avec ce référentiel.

2.1.126¶

2023-06-16

Correction

• Correction de la construction du référentiel.

2.1.124¶

2023-06-15

Correction

• Correction de la construction du référentiel.

2.1.123¶

2023-06-15

Modifications

• Mise à jour de `Mobilize.Scala` de 0.2.34 à 0.2.37

• Correction d’une erreur d’analyse impliquant un type générique avec des traits de soulignement et des restrictions

• Correction d’une erreur d’analyse impliquant des expressions avec guillemets et interpolation

Sécurité

• Suppression des références aux paquets non sécurisés.

2.1.121¶

2023-06-15

Sécurité

• Suppression des fichiers d’identification.

2.1.120¶

2023-06-15

Modifications

• Changement mineur dans la configuration des versions pour Scala et Python.

1.0.306¶

14 février 2023

Scala 0.2.13

SparkSnowConvert Core 1.1.27

\

Nouvelles fonctionnalités

• Traitement des notebooks Jupyter (.ipynb)

• Génération de l’EWI lorsqu’une dépendance n’a pas pu être ajoutée au fichier de configuration du projet

Améliorations

• Ouverture et fermeture des champs d’application lambda

\ Corrections de bogues

• Bogue 680497 : Le renommage complet des fonctions ne fonctionne pas correctement

• Bogue 681704 : Impossible de générer le rapport final

\

1.0.273¶

2 février 2023

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

\ Correctif

• Mise à jour des points de terminaison de l’API

1.0.263¶

31 janvier 2023

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

\ Ajouts

• Mise à niveau de .NET Core 6

• Ajout de la colonne ElementPackage à l’inventaire des importations

• Ajout d’une table de dimensionnement aux rapports d’évaluation

• Ajout du pourcentage de conversion dans les rapports synchronisés avec BDS

• Ajout du fichier issues.csv dans la sortie

• Génération de SummaryReport.html et de DetailedReport.html (miroir docx html) localement dans le dossier Reports

• Ajout des mots-clé ConversionStatus à GenericScanner

• Prise en charge de la conversion des noms complets

Améliorations

• Ajout des mappages org.apache.spark.mllib à la table de référence core

• [UI] Correction de la formulation lors de l’annulation de l’exécution

• \N-[UI] Modification des titres de la phase UI

• Regroupement des questions par code EWI

• Mise à jour du format de la valeur de la colonne TOOL_VERSION dans la table d’information sur l’exécution

• Simplification de la table de résumé des problèmes afin qu’elle ne soit pas trop volumineuse

Corrections de bogues

• Problème résolu avec la barre oblique inverse

• Résolution du problème BreakLine

• Résolution d’un cas particulier concernant les blocs Lambda

• Suppression de la génération de AssessmentReport.html (rapport html local)

1.0.191¶

27 décembre 2022

Scala 0.1.493

SparkSnowConvert Core 1.0.117.0

Ajouté

• Téléchargement de l’inventaire des paquets vers la télémétrie du Cloud

Améliorations

• Rapport détaillé

  • Améliorations visuelles mineures

  • Tri de la table des problèmes par :

    • Instances

    • Code

    • Description

1.0.166¶

21 décembre 2022

Scala 0.1.492

SparkSnowConvert Core 1.0.105.0

Ajouté

• Ajout d’une description de la marge d’erreur dans le rapport détaillé

Améliorations

• Amélioration du tri de la table des problèmes dans le rapport détaillé

• Amélioration de l’affichage des pourcentages dans le rapport détaillé

Corrections de bogues

• Le caractère <#> indique des problèmes

• Compose n’est pas reconnu comme un mot-clé

• L’analyseur ne fonctionne pas sur l’argument “join”

• Le processeur de code Scala génère une erreur critique

1.0.132¶

13 décembre 2022

Scala 0.1.487

SparkSnowConvert Core 1.0.88

Améliorations

• Ajout d’informations sur les clients dans le rapport d’évaluation détaillé

• Messages de journalisation sur la transformation

Corrections de bogues

• Problème avec des expressions comme (a, b) =>val c

• compose n’est pas reconnu comme un mot-clé

1.0.107¶

7 décembre 2022

Scala 0.1.484

SparkSnowConvert Core 1.0.77

Ajouté

• Mise à jour des mappages de Snowpark sur la version 1.6.2

• Améliorations de la collecte des fonctions sans parenthèses lors de l’évaluation

• Traitement du fichier de projet Maven (pom.xml)

• Renommage de la colonne ClassName en « alias » sur SparkUsagesInventory.pam et ImportUsagesInventory.pam

• Ajout d’une marge d’erreur au score de préparation

Correction

• Mise à jour de la version de Python et Scala Snowpark

• Problème avec une nouvelle ligne après le nom des fonctions

1.0.59¶

29 novembre 2022

Scala 0.1.478

SparkSnowConvert Core 1.0.60

Ajouté

• Prise en charge de l’objet compagnon de base

• Mise à jour des mappages org.apache.spark.sql.Column

• Mise à jour des mappages org.apache.spark.sql.Expression

• Mise à jour des mappages org.apache.spark.sql.functions

• Dépendance des extensions de référence du fichier de configuration du projet (SBT)

• Dépendance des extensions de référence du fichier de configuration du projet (Gradle)

Correction

• Le code « Script » n’est pas pris en charge

1.0.17¶

23 novembre 2022

Scala 0.1.472

SparkSnowConvert Core 1.0.44

Ajouté

• Mise à jour des mappages Spark

• Suppression de la valeur de la colonne « FileId » dans tous les fichiers .pam

• ConversionStatus et unification de scala_spark_mappings_core.csv

1.0.1¶

17 novembre 2022

Scala 0.1.472

SparkSnowConvert Core 1.0.37

Ajouté

• Mise à jour des mappages SparkSession, DataFrameReader et DataFrameWriter

• Génération de l’EWI pour les expressions unaires et binaires

Correction

• Prise en charge par le remplaçant du rédacteur des formats csv, parquet, json et des options

• Le remplaçant du rédacteur ne prend pas en charge les fonctions sans parenthèses

• Le remplaçant du rédacteur ne prend pas en charge les fonctions sans parenthèses

• Actuellement, la transformation de InsertInto n’est pas un code valide.

• Le remplaçant du rédacteur n’inclut pas toutes les fonctions.

0.1.873¶

11 novembre 2022

Scala 0.1.468

SparkSnowConvert Core 1.0.23

Ajouts :

• Résolution des symboles pour les appels de fonctions sans parenthèses

• Gestion des exceptions d’ouverture/de fermeture des champs d’application (au niveau des remplaçants)

• Génération de l’EWI pour les importations non prises en charge (cas complexes)

• Génération de l’EWI pour les importations non définies

• Améliorations de la transformation SparkSession

• Améliorations de la transformation du lecteur/rédacteur du DataFrame

• Ajout des sections « Utilisations de Spark par catégories de prise en charge », « Résumé des appels d’importation de Scala » au rapport détaillé

• Mise à jour des mappages RDD

Corrections :

• Débordement de pile. Les fichiers de sortie n’ont pas été générés

• Expression sans parenthèses dans la transformation du remplaçant de la session Spark

0.1.770¶

21 octobre 2022

Scala 0.1.458

SparkSnowConvert Core 0.1.530

Ajouts :

• Mise à jour de l’assistant/extension .jar vers la dernière version

• Mise à jour du modèle de rapport d’évaluation .docx

• Génération de l’inventaire des utilisations de l’importation

• Génération d’EWIs pour les importations non prises en charge (cas simple)

Corrections :

• Problème d’indéterminisme sur SymblTable

• Erreur lors du tri des fichiers d’inventaire des utilisations de Spark

• SclSingleExprPath ne doit pas contenir de membres nuls

• La collection a été modifiée ; l’opération d’énumération ne peut pas s’exécuter

• L’analyse ne se termine pas lorsqu’il y a plusieurs multi-lignes fermantes dans une ligne

• Problème d’expression

• Erreur FileNotGenerated

0.1.705¶

04 octobre 2022

Scala 0.1.442

SparkSnowConvert Core 0.1.499

Corrections :

• Le bouton des paramètres n’est pas actualisé en cas de changement de licence

0.1.702¶

28 septembre 2022

Scala 0.1.442

SparkSnowConvert Core 0.1.498

Ajouts :

• Amélioration du chargement des tables de symboles intégrées

• Renforcement de la robustesse des chargeurs de tables de symboles

Corrections :

• Erreur dans le total des fichiers Scala dans le AssessmentReport

• Résolution des symboles pour les fonctions génériques utilisant un astérisque

• Erreur d’analyse des commentaires à l’intérieur des commentaires et du préfixe d’identification et d’interpolation

• Erreur d’analyse de la virgule après l’identificateur

• Erreur d’analyse de l’expression lorsque la première instruction reprend le modèle de la seconde instruction

• Erreurs d’analyse des opérateurs « and », « :: », »++ » et « or »

0.1.687¶

20 septembre 2022

Scala 0.1.430

SparkSnowConvert Core 0.1.491.0

Ajouté

• Chargement/résolution de symboles - Ajout de la prise en charge des méthodes génériques avec l’astérisque params .

• Chargement/résolution de symboles - Ajout de l’inférence de type pour les définitions de type.

• Améliorations générales du chargement et de la résolution des symboles

Correction

Problème lié au fait que les utilisations d’importation ne sont pas stockées s’il n’y a pas de références Spark.

0.1.677¶

15 septembre 2022

Scala 0.1.427

SparkSnowConvert Core 0.1.486.0

Ajouté

• La télémétrie Cloud et le mécanisme d’envoi d’e-mails sont désormais disponibles en mode conversion

• Mise à jour des informations de contact dans le modèle d’e-mail

0.1.653¶

06 septembre 2022

Scala 0.1.426

SparkSnowConvert Core 0.1.476.0

Ajouté

• Colonnes “SnowConvert Version” et “Snowpark version” dans SparkUsagesInventory

• Amélioration de l’analyse de la vitesse

0.1.624¶

31 août 2022

Scala 0.1.422

SparkSnowConvert Core 0.1.454.0

Ajouté

• Les colonnes Automated et Status ont été ajoutées au fichier SparkReferenceInventory.csv

• Téléchargement de rapports html sommaires et détaillés vers Snowflake

• Mise à jour des mappages

Corrections :

• Correction des formulations des rapports sommaires et détaillés

• Correction de la formulation du modèle d’e-mail.

0.1.579¶

23 août 2022

Scala 0.1.421 Spark

SnowConvert Core 0.1.414

Ajouté

• Mise à jour du modèle d’e-mail

• Ajout de la section « Information sur la version » au rapport de synthèse

• Ajout d’une section « Ressources » au rapport détaillé

• Modifications de l’UI de l’écran final

Correction

• Signalement des fonctions Spark manquantes sur sparkUsagesInventory.pam

• Mise à jour des logos du rapport détaillé

• Précision des valeurs en pourcentage sur les rapports d’évaluation sommaires et détaillés

0.1.595¶

17 août 2022

Scala 0.1.421

SparkSnowConvert Core 0.1.396

Ajouté

• Amélioration des transformations de lecture et d’écriture de Spark

• Colonne d’identification de la session pour l’inventaire des utilisations de Spark

0.1.479¶

30 juin 2022

Scala 0.1.411

SparkSnowConvert Core 0.1.279

Ajouté

• Transformations de lecture et d’écriture de Spark

• Transformations des fonctions Spark trim, rtrim et ltrim

• Analyse de l’interpolation des chaînes

• Augmentation des modèles de correspondance d’extraction sql

0.1.447¶

14 juin 2022

Scala 0.1.402

SparkSnowConvert Core 0.1.274

Ajouté

• Robustesse des opérations de fichiers

• Réorganisation des dossiers de sortie

• Transformation du constructeur SparkSession

• Ajout du nombre de « Fichiers Scala avec sql intégré » dans les rapports d’évaluation

Correction

• Problème de dépendances cycliques dans la table des symboles

• Analyse des clauses de cas vides

• Analyse de multiples instructions sur les blocs lambda

• Analyse du modèle de clause de cas

0.1.380¶

1er juin 2022

Scala 0.1.391

SparkSnowConvert Core 0.1.229

Ajouté

• Robustesse de l’analyse

• Traitement des fichiers de configuration .sbt

• Ajout d’une section sur la répartition des problèmes dans le rapport d’évaluation html

• Amélioration de l’aspect et de la convivialité du rapport d’évaluation html

• Utilisation des inventaires RapidScanner pour calculer l’évaluation des utilisations de Spark

• Prise en charge de macOS CLI et de l’UI

• Amélioration des mappages des instructions d’importation

0.1.7¶

17 mai 2022

Scala 0.1.380

Ajouté

• Analyseur Scala

  • Prise en charge du double point d’exclamation

• Outil de conversion

  • Extraction Sql

  • Transformation de la fonction object_struct

  • Transformation de la fonction avg

  • Mise à jour des extensions .jar Snowpark

  • Rapport sur les lignes de code

  • Mappages des importations

  • Rapports d’évaluation docx et html

  • intégration RapidScan

  • Prise en charge de Linux OS

Correction

• Analyse des cas particuliers d’expressions binaires

0.1.3¶

18 mars 2022

Scala 0.1.358

Ajouté

• Analyseur Scala

  • Prise en charge des traits de soulignement suivis d’une nouvelle ligne lors de l’analyse des expressions

  • Amélioration de la gestion des erreurs d’analyse

• Symboles

  • Amélioration de la prise en charge des symboles non résolus

  • Amélioration de la création de symboles génériques pour réutiliser les symboles existants

  • Prise en charge du chargement et de la résolution d’expressions lambda

• Mappages :

  • Prise en charge des mappages personnalisés pour les fonctions et les types via les fichiers .map

  • Ajout du paramètre du répertoire de la carte personnalisée

Correction

• Renseignement des colonnes manquantes dans le fichier de notification .pam.

• Génération de fichiers de données métriques (.pam) dans le dossier de rapports spécifié

0.1.2¶

4 mars 2022

Scala 0.1.351

Ajouté

• Mise à jour des logos et du texte dans l’UI et la documentation

• Symboles

  • Prise en charge des identificateurs génériques dans les paramètres de type pour les symboles génériques

  • Exclusion des dépendances non requises

• ScalaParser :

  • Identificateurs des guillemets simples

  • Expressions ArgAssign

Correction

• ScalaParser :

  • ExprLambda avec ColonType à côté de l’identificateur

  • Expression « try » lorsque « try » ne fait pas référence à un mot-clé

  • Expression lambda vide avec arguments

  • Tiret bas (« _ ») dans TypeArgs

  • Fichiers avec toutes les sources commentées

  • Nouvelles lignes aux nœuds SimpleExpr, SingleExpr, TailExpr

• ConversionTool :

  • Correction d’une panne de conversion due à des erreurs d’analyse javap (liées aux dépendances jar)

0.1.1¶

14 février 2022

Scala 0.1.333

Fonctionnalités

• Interface de ligne de commande.

• Fonction d’évaluation du code Scala.

• Utilisation de plusieurs fichiers ou de fichiers uniques avec plusieurs objets.

• Conversion de programmes Scala de base tels que définis par des fonctions et une syntaxe à convenir mutuellement au cours des 3 premiers sprints de développement.

• Les commentaires dans le code Scala sont réinsérés en ligne.

• Insertion de commentaires en ligne pour signaler les erreurs, les avertissements et les avis.

• Inclusion des rapports de base

  • Nombre d’éléments Spark traités

  • Résumé des éléments transformés, fichiers et emplacements de

  • Résumé des erreurs, avertissements et avis rencontrés.

  • Résumé des APIs Spark non prises en charge

• Illustration de l’inclusion des scénarios définis suivants :

  • Mappages d’API

  • Recréation de projets en tant que projets SnowPark

    • Mise en place d’une structure de projet adéquate

    • Mise à jour vers la version Scala prise en charge par SnowPark

  • Création d’un assistant pour réduire la discordance d’impédance

  • Définition d’un modèle de réécriture

  • Documentation des lignes directrices pour les concepts non automatisables (par exemple : les modèles d’utilisation des fichiers, la configuration des sources de données, ou les bibliothèques spark sans équivalent direct, comme la lecture des flux Kafka)

• Taux de conversion réussie supérieur à 90 % pour les deux premières bases de codes clients (code de base pour les scénarios ci-dessus) qui seront fournies à Mobilize par Snowflake à la date d’entrée en vigueur.

  • Mesure en fonction du nombre d’objets compilables dans Snowflake

  • Les objets dont les fonctions ne sont pas prises en charge/traduisibles ne sont pas pris en compte

  • Le taux de conversion pour le code sera basé sur une base de code complète contenant tous les objets dépendants.

  • Snowflake fournira un accès à toutes les fonctions en avant-première privées disponibles pour le développement de Mobilize.