Snowpark Migration Accelerator : Notes de version¶

Versions de base de SMA incluses¶

• Snowpark Conversion Core: 8.1.8

Correction¶

• Fixed an issue where the SMA generated corrupted Databricks notebook files in the output directory during Assessment mode execution.

• Fixed an issue where the SMA would crash if the input directory contained folders named “SMA_ConvertedNotebooks”.

Versions de base de SMA incluses¶

• Snowpark Conversion Core: 8.1.7

Ajouté¶

• Added the Snowpark Connect readiness score. This new score measures the percentage of Spark API references in your codebase that are supported by Snowpark Connect for Spark.

  • This will now be the only score shown in assessment mode. To generate the Snowpark API Readiness Score, run the SMA in conversion mode.

• Added support for SQL embedded migration for literal string concatenations assigned to a local variable in the same scope of execution.

  • Included scenarios now include:

    sqlStat = "SELECT colName " + "FROM myTable" 
    session.sql(sqlStat)
    

    Copy

Modifications¶

• Updated the EWI URLs in the Issues.csv inventory to point to the main Snowflake documentation site.

Correction¶

• Fixed a code issue that caused inner project configuration files (e.g., pom.xml, build.sbt, build.gradle) to be incorrectly placed in the root of the output directory instead of the correct inner directories after migration.

Ajouté¶

• Added the Snowpark Connect readiness score and updated the assessment execution flow.

  • When running the application in assessment mode, only the Snowpark Connect readiness score is now displayed.

  • When running the application in conversion mode, the Snowpark API readiness score is displayed (the Snowpark Connect Readiness will not be shown).

Modifications¶

Updated all in-application documentation links to point to the official Snowflake documentation, replacing the legacy SnowConvert site.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 8.0.73

Correction¶

• Fixed an issue where the Snowpark Migration Accelerator failed converting DBC files into Jupyter Notebooks properly.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 8.0.72

Ajouté¶

• Ajout de la prise en charge de Snowpark Scala v1.17.0 :

De non pris en charge à direct :

Ensemble de données :

• org.apache.spark.sql.Dataset.isEmpty → com.snowflake.snowpark.DataFrame.isEmpty

Ligne :

• org.apache.spark.sql.Row.mkString → com.snowflake.snowpark.Row.mkString

StructType :

• org.apache.spark.sql.types.StructType.fieldNames → com.snowflake.snowpark.types.StructType.fieldNames

De Non pris en charge à Renommer :

Fonctions :

• org.apache.spark.functions.flatten → com.snowflake.snowpark.functions.array_flatten

De Direct à Renommer :

Fonctions :

• org.apache.spark.functions.to_date → com.snowflake.snowpark.functions.try_to_date

• org.apache.spark.functions.to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

D’Assistant direct à Renommer :

Fonctions :

• org.apache.spark.sql.functions.concat_ws → com.snowflake.snowpark.functions.concat_ws_ignore_nulls

De non défini à direct :

Fonctions :

• org.apache.spark.functions.try_to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

• Le SQL intégré est maintenant migré lorsqu’une instruction SQL littérale est attribuée à une variable locale.

Exemple : sqlStat = “SELECT colName FROM myTable » session.sql(sqlStat)

• Le SQL intégré est désormais pris en charge pour les concaténations de chaînes littérales.

Exemple : session.sql(“SELECT colName «  + « FROM myTable »)

Modifications¶

• Mise à jour des versions prises en charge de Snowpark Python API et Snowpark Pandas API de 1.36.0 à 1.39.0.

• Mise à jour de l’état du mappage pour les fonctions xpath PySpark suivantes de NotSupported à Direct avec l’EWI SPRKPY1103 :

  • pyspark.sql.functions.xpath

  • pyspark.sql.functions.xpath_boolean

  • pyspark.sql.functions.xpath_double

  • pyspark.sql.functions.xpath_float

  • pyspark.sql.functions.xpath_int

  • pyspark.sql.functions.xpath_long

  • pyspark.sql.functions.xpath_number

  • pyspark.sql.functions.xpath_short

  • pyspark.sql.functions.xpath_string

• Mise à jour de l’état du mappage pour les éléments PySpark suivants de NotDefined à Direct :

  • pyspark.sql.functions.bit_and → snowflake.snowpark.functions.bitand_agg

  • pyspark.sql.functions.bit_or → snowflake.snowpark.functions.bitor_agg

  • pyspark.sql.functions.bit_xor → snowflake.snowpark.functions.bitxor_agg

  • pyspark.sql.functions.getbit → snowflake.snowpark.functions.getbit

• Mise à jour de l’état du mappage pour les éléments Pandas suivants de NotSupported à Direct :

  • pandas.core.indexes.base.Index → modin.pandas.Index

  • pandas.core.indexes.base.Index.get_level_values → modin.pandas.Index.get_level_values

• Mise à jour de l’état du mappage pour les fonctions PySpark suivantes de NotSupported à Renommer :

  • pyspark.sql.functions.now → snowflake.snowpark.functions.current_timestamp

Correction¶

• Correction d’un problème empêchant Scala de migrer les importations en cas de renommage.

  Exemple :

  Code source :

  .. code-block:: scala

  package com.example.functions
  import org.apache.spark.sql.functions.{to_timestamp, lit}
  object ToTimeStampTest extends App { to_timestamp(lit(« sample »)) to_timestamp(lit(« sample »), « yyyy-MM-dd ») }

  Code de sortie :

  .. code-block:: scala

  package com.example.functions
  import com.snowflake.snowpark.functions.{try_to_timestamp, lit} import com.snowflake.snowpark_extensions.Extensions._ import com.snowflake.snowpark_extensions.Extensions.functions._
  object ToTimeStampTest extends App { try_to_timestamp(lit(« sample »)) try_to_timestamp(lit(« sample »), « yyyy-MM-dd ») }

Versions de base de SMA incluses¶

• Snowpark Conversion Core 8.0.62

Ajouté¶

• Ajout d’une fonctionnalité permettant de migrer le SQL intégré avec une interpolation au format Python.

• Ajout de la prise en charge des transformations DataFrame.select et DataFrame.sort pour une plus grande flexibilité de traitement des données.

Modifications¶

• Mise à jour des versions prises en charge de Snowpark Python API et Snowpark Pandas API vers 1.36.0.

• Mise à jour de l’état du mappage de pandas.core.frame.DataFrame.boxplot de Non pris en charge à Direct.

• Mise à jour de l’état du mappage de DataFrame.select, Dataset.select, DataFrame.sort et Dataset.sort Direct à Transformation.

• Snowpark Scala permet de transmettre directement une séquence de colonnes aux fonctions de sélection et de tri, de sorte que cette transformation modifie toutes les utilisations telles que df.select(cols: _*) en df.select(cols) et df.sort(cols: _*) en df.sort(cols).

• Mise à jour de Python AST et de la version de Parser vers 149.1.9.

• Mise à jour de l’état vers Direct pour les fonctions Pandas suivantes :

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Mise à jour de l’état pour pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas vers la solution de contournement en utilisant l’EWI SPRKPY1102.

Correction¶

• Correction d’un problème qui affectait les transformations SqlEmbedded lors de l’utilisation d’appels de méthodes chaînés.

• Correction des transformations impliquant PySqlExpr et utilisant le nouveau PyLiteralSql pour éviter de perdre des files d’attente.

• Résolution des problèmes de stabilité interne pour améliorer la robustesse et la fiabilité des outils.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 8.0.46

Ajouté¶

• Ajout de la nouvelle documentation PNDSPY1011 pour l’EWI Pandas.

• Ajout de la prise en charge aux fonctions Pandas suivantes :

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Ajout de la prise en charge aux fonctions Scala suivantes :

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

Modifications¶

• Mise à jour de la version de Snowpark Pandas API prise en charge par SMA vers la version 1.33.0.

• Mise à jour de la version de Snowpark Scala API prise en charge par SMA vers la version 1.16.0.

• Mise à jour de l’état du mappage de pyspark.sql.group.GroupedData.pivot de Transformation à Direct.

• Mise à jour de l’état du mappage de org.apache.spark.sql.Builder.master de NotSupported à Transformation. Cette transformation supprime toutes les utilisations identifiées de cet élément pendant la conversion du code.

• Mise à jour de l’état du mappage de org.apache.spark.sql.types.StructType.fieldIndex de NotSupported à Direct.

• Mise à jour de l’état du mappage de org.apache.spark.sql.Row.fieldIndex de NotSupported à Direct.

• Mise à jour de l’état du mappage de org.apache.spark.sql.SparkSession.stop de NotSupported à Renommer. Toutes les utilisations identifiées de cet élément sont renommées en com.snowflake.snowpark.Session.close lors de la conversion du code.

• Mise à jour de l’état du mappage de org.apache.spark.sql.DataFrame.unpersist et org.apache.spark.sql.Dataset.unpersist de NotSupported à Transformation. Cette transformation supprime toutes les utilisations identifiées de cet élément pendant la conversion du code.

Correction¶

• Correction de la barre oblique inverse de continuation sur les fonctions de file d’attente supprimées.

• Correction de la colonne LIBRARY_PREFIX dans le fichier ConversionStatusLibraries.csv pour utiliser le bon identificateur pour la famille de bibliothèques scikit-learn (scikit-*).

• Correction d’un bogue qui n’analysait pas les opérations groupées à plusieurs lignes.

Ajouté¶

• Les mappages suivants sont maintenant effectués pour org.apache.spark.sql.Dataset[T] :

  • org.apache.spark.sql.Dataset.union est maintenant com.snowflake.snowpark.DataFrame.unionAll.

  • org.apache.spark.sql.Dataset.unionByName est maintenant com.snowflake.snowpark.DataFrame.unionAllByName.

• Ajout de la prise en charge de org.apache.spark.sql.functions.broadcast en tant que transformation.

Modifications¶

• Augmentation de la version de Python Snowpark API prise en charge pour SMA de 1.27.0 à 1.33.0.

• L’état de la fonction pyspark.sql.function.randn a été mis à jour vers Direct.

Correction¶

• Résolution d’un problème où org.apache.spark.SparkContext.parallelize n’était pas résolu et prise en charge en tant que transformation.

• Correction de la transformation Dataset.persist pour lui permettre de fonctionner avec n’importe quel type d’ensemble de données, et pas seulement avec Dataset[Row].

Ajouté¶

• Mappages ajustés pour les méthodes spark.DataReader.

• DataFrame.union est maintenant DataFrame.unionAll.

• DataFrame.unionByName est maintenant DataFrame.unionAllByName.

• Ajout de colonnes de dépendances d’artefacts à plusieurs niveaux dans l’inventaire d’artefacts.

• Ajout d’une nouvelle documentation pour les EWIs Pandas, de PNDSPY1005 à PNDSPY1010.

• Ajout d’une EWI spécifique pour pandas.core.series.Series.apply.

Modifications¶

• Mise à jour de la version de Snowpark Pandas API prise en charge par SMA de 1.27.0 à 1.30.0.

Correction¶

• Correction d’un problème avec des valeurs manquantes dans la formule pour obtenir le score de préparation SQL.

• Correction d’un bogue qui provoquait l’affichage du message EWI par défaut de PySpark pour certains éléments Pandas.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 8.0.19

Modifications¶

• Importations Pandas refactorisées : les importations Pandas utilisent désormais `modin.pandas` au lieu de snowflake.snowpark.modin.pandas.#x20;

• Amélioration de `dbutils` et de la Transformation des commandes Magic:

  • Un nouveau fichier sfutils.py est maintenant généré, et tous les préfixes dbutils sont remplacés par sfutils.

  • Pour les notebooks Databricks (DBX), une importation implicite pour sfutils est automatiquement ajouté.

  • Le module sfutils simule diverses méthodes dbutils, y compris des opérations sur le système de fichiers (dbutils.fs) via une zone de préparation FileSystem Snowflake définie (SFFS), et gère l’exécution des notebooks (dbutils.notebook.run) en la transformant en fonctions SQL EXECUTE NOTEBOOK.

  • dbutils.notebook.exit est supprimé, car il n’est pas nécessaire dans Snowflake.

Correction¶

• Mises à jour dans les rapports SnowConvert : les rapports SnowConvert incluent maintenant la colonne CellId lorsque les instances proviennent de SMA, et la colonne _FileName _ affiche le chemin complet.

• Mise à jour de la dépendance d’artefacts pour les rapports SnowConvert : le rapport d’inventaire d’artefacts de SMA, qui était auparavant impacté par l’intégration de SnowConvert, a été restauré. Cette mise à jour permet à l’outil SMA de capturer et d’analyser avec précision les Références d’objets et les Références d’objets manquantes directement depuis les rapports SnowConvert, garantissant ainsi la récupération correcte des dépendances SQL pour l’inventaire.

Ajouté¶

• Améliorations apportées aux données télémétriques.

Correction¶

• Correction des liens de documentation dans la fenêtre contextuelle des paramètres de conversion et dans les EWIs Pandas.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 8.0.16

Ajouté¶

• Transformation de Spark XML vers Snowpark

• Option Databricks SQL dans le langage source SQL

• Transformation des connexions de lecture JDBC.

Modifications¶

• Tous les rapports SnowConvert sont copiés dans le fichier Zip de sauvegarde.

• Le dossier SqlReports est renommé SnowConvertReports.

• SqlFunctionsInventory est déplacé vers le dossier Rapports.

• Tous les rapports SnowConvert sont envoyés vers les données télémétriques.

Correction¶

• Problème non déterministe avec le score de préparation SQL.

• Correction d’un résultat critique faux-positif qui provoquait le plantage du bureau.

• Correction d’un problème qui empêchait le rapport de dépendances d’artefacts d’afficher les objets SQL.

Correction¶

• Correction d’un problème lié à l’exécution de SMA sur le dernier OS Windows, comme indiqué précédemment. Ce correctif résout les problèmes rencontrés dans la version 2.7.1.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 8.0.1

Ajouté¶

Snowpark Migration Accelerator (SMA) orchestre désormais SnowConvert pour traiter le SQL trouvé dans les charges de travail des utilisateurs, y compris le SQL intégré dans le code Python/Scala, les cellules SQL de Notebook, les fichiers .sql et les fichiers .hql.

SnowConvert améliore désormais les anciennes capacités de SMA :

• Spark SQL

Un nouveau dossier dans les rapports appelé Rapports SQL contient les rapports générés par SnowConvert.

Problèmes connus¶

La version précédente de SMA pour les rapports SQL apparaîtra vide pour les éléments suivants :

• Pour Reports/SqlElementsInventory.csv, partiellement couverte par Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv.

• Pour Reports/SqlFunctionsInventory.csv, fait référence au nouvel emplacement portant le même nom dans Reports/SqlReports/SqlFunctionsInventory.csv

L’inventaire des dépendances d’artefacts :

• Dans l’ArtifactDependencyInventory, la colonne pour l’objet SQL apparaîtra vide.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 7.4.0

Correction¶

• Correction des valeurs erronées dans le fichier “checkpoints.json”&.#x20;

  • La valeur « échantillon » apparaissait sans décimales (pour les valeurs entières) et sans guillemets.

  • La valeur « entryPoint » apparaissait avec des points au lieu de barres obliques et sans extension de fichier.

• Mise à jour de la valeur par défaut sur TRUE pour le paramètre « Convertir les notebooks DBX en notebooks Snowflake »

Application de bureau¶

• Ajout de la reconnaissance du mécanisme des paramètres d’exécution des points de contrôle.

• Ajout d’un mécanisme de collecte des commandes DBX Magic dans DbxElementsInventory.csv�

• Ajout de la génération de “checkpoints.json” dans le répertoire d’entrée.

• Ajout d’un nouveau EWI pour toutes les commandes Magic non prises en charge.

• Ajout de la collection de dbutils dans DbxElementsInventory.csv à partir des notebooks Scala sources

Versions de base de SMA incluses¶

• Snowpark Conversion Core 7.2.53

Modifications¶

• Mises à jour apportées pour gérer les transformations des éléments DBX Scala en éléments Jupyter Python et pour commenter l’ensemble du code de la cellule.

• Mises à jour apportées pour gérer les transformations à partir des commandes dbutils.notebook.run et « r ». Pour cette dernière, l’ensemble du code de la cellule est également commenté.

• Mise à jour du nom et de la lettre de la clé pour effectuer la conversion des fichiers notebooks.

Correction¶

• Correction du bogue qui provoquait une erreur de format lors de la transformation des notebooks DBX en fichiers .ipynb.

• Correction du bogue qui empêchait les notebooks DBX .py d’être transformés en fichiers .ipynb.

• Correction d’un bogue qui entraînait la disparition des commentaires dans le code de sortie des notebooks DBX.

• Correction d’un bogue qui entraînait la conversion des fichiers Scala bruts en fichiers ipynb.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 7.2.42

Modifications¶

Mise à jour de DataFramesInventory pour remplir la colonne EntryPoints

Application de bureau¶

Ajouté¶

• Mise à jour du lien DBx EWI dans la page de résultats de l’UI

Versions de base de SMA incluses¶

• Snowpark Conversion Core 7.2.39

Ajouté¶

• Ajout de la génération de l’inventaire des flux d’exécution.

• Ajout de la configuration de sessions implicites dans chaque transformation de notebook DBx

Modifications¶

• Le fichier DbUtilsUsagesInventory.csv a été renommé DbxElementsInventory.csv

Correction¶

• Correction d’un bogue qui provoquait une erreur d’analyse lorsqu’une barre oblique inverse apparaissait après une indication de type.

• Correction des importations relatives ne commençant pas par un point et des importations relatives avec un astérisque.

Application de bureau¶

Ajouté¶

• Ajout d’un nouveau paramètre de conversion pour activer ou désactiver la fonctionnalité Sma-Checkpoints.

• Correction d’un problème lié aux rapports afin d’éviter tout plantage lorsque l’API de publication renvoie 500

Versions de base de SMA incluses¶

• Snowpark Conversion Core 7.2.26

Ajouté¶

• Ajout de la génération du fichier checkpoints.json dans le dossier de sortie en fonction du fichier DataFramesInventory.csv.

• Ajout de l’indicateur « disableCheckpoints » dans les commandes et paramètres supplémentaires CLI du processeur de code.

• Ajout d’un nouveau remplaçant pour Python pour transformer le nœud dbutils.notebook.run.

• Ajout de nouveaux remplaçants pour transformer la commande %d’exécution Magic.

• Ajout de nouveaux remplaçants (Python et Scala) pour supprimer le nœud dbutils.notebook.exit.

• Ajout de la colonne Emplacement à l’inventaire d’artefacts.

Modifications¶

• Refonte du séparateur de répertoires normalisé utilisé dans certaines parties de la solution.

• Centralisation de la gestion des noms des dossiers de travail pour l’extraction DBC.

• Mise à jour de la version de Snowpark et Pandas vers la v1.27.0

• Mise à jour des colonnes de l’inventaire d’artefacts comme suit :

  • Nom -> Dépendance

  • Fichier -> FileId

  • État -> État_détails

• Ajout d’une nouvelle colonne à l’inventaire d’artefacts :

  • Réussite

Correction¶

• L’inventaire des dataframes n’a pas été chargé correctement dans la zone de préparation.

Versions de base du SMA incluses ¶

• Snowpark Conversion Core 7.2.0

Ajout ¶

• Un inventaire des dépendances d’artefacts

• Un remplaçant et un EWI pour la méthode pyspark.sql.types.StructType.fieldNames pour l’attribut snowflake.snowpark.types.StructType.fieldNames.

• Les fonctions PySpark suivantes avec l’état :

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

Les fonctions Pandas suivantes avec l’état

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Mise à jour des fonctions Pyspark suivantes avec l’état

De WorkAround à Direct

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

De NotSupported à Direct

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Mise à jour des fonctions Pandas suivantes avec l’état

De NotSupported à Direct

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Versions de base du SMA incluses ¶

• Snowpark Conversion Core 7.1.13

Ajout ¶

• Ajout d’une classe de générateur csv pour la création de nouveaux inventaires.

• Ajout de la colonne « full_name » pour importer l’inventaire des utilisations.

• Ajout d’une transformation de pyspark.sql.functions.concat_ws vers snowflake.snowpark.functions._concat_ws_ignore_nulls.

• Ajout d’une logique pour la génération de checkpoints.json.

• Ajout des inventaires :

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Application de bureau ¶

• Mise à jour du contrat de licence. L’acceptation est nécessaire.

Versions de base du SMA incluses¶

• Snowpark Conversion Core 7.1.2

Ajouté

Mise à jour de l’état du mappage pour les éléments Pandas suivants, de NotSupported à Direct :

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBychangement_.pct

• pandas.core.groupby.generic.SeriesGroupBychangement_.pct

Mise à jour de l’état du mappage pour les éléments PySpark suivants, de Rename à Direct :

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

Correction ¶

• Normalisation du format du numéro de version dans les inventaires.

Ajouté¶

Modifications¶

• Mise à jour de .NET version sur v9.0.0.

• Amélioration de l’EWI SPRKPY1068.

• Mise à jour de la version de l’API Snowpark Python prise en charge par l’outil SMA de 1.24.0 à 1.25.0.

• Mise à jour du modèle de rapport détaillé, avec désormais la version Snowpark pour Pandas.

• Modification des bibliothèques suivantes de BuiltIn en ThirdPartyLib.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Problème connu¶

• Cette version inclut un problème lors de la conversion de l’exemple de projet qui ne fonctionnera pas sur cette version. Il sera corrigé dans la prochaine version.

Application de bureau¶

• Ajout d’un lien vers le guide de dépannage dans la fenêtre modale du rapport de panne.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 4.15.0

Ajouté¶

• Ajout des éléments PySpark suivants au fichier .csv ConversionStatusPySpark en tant que NotSupported :

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Modifications¶

• Mise à jour du format des EWIs Hive SQL.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Mise à jour du format des EWIs Spark SQL .

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Correction¶

• Correction d’un bogue qui faisait que certains éléments PySpark n’étaient pas identifiés par l’outil.

• Correction de l’erreur de correspondance entre le nombre d’appels ThirdParty identifiés et le nombre d’appels ThirdParty importés.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 4.14.0

Ajout¶

• Ajout des éléments Spark suivants à ConversionStatusPySpark. csv :

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Modifications¶

• Mise à jour de la documentation des EWIs Pandas, PNDSPY1001, PNDSPY1002 et PNDSPY1003 SPRKSCL1137 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour de la documentation des EWIs Scala suivants : SPRKSCL1106 et SPRKSCL1107. S’aligner sur un format standardisé, garantissant la cohérence et la clarté sur l’ensemble des EWIs.

Correction¶

• Correction du bogue qui provoquait l’affichage des symboles UserDefined dans l’inventaire des utilisations tierces.

Versions de base de SMA incluses¶

• Snowpark Conversion Core 4.13.1

Interface de ligne de commande¶

Modifications

• Ajout d’un horodatage au dossier de sortie.

Ajouté¶

• Ajout d’une colonne « Langue source » dans la table de mappages de la bibliothèque

• Ajout de la catégorie Autres comme nouvelle catégorie dans la table Résumé de l’API Pandas de DetailedReport. docx

Modifications¶

• Mise à jour de la documentation pour Python EWI SPRKPY1058.

• Mise à jour du message des EWI Pandas PNDSPY1002 afin d’afficher l’élément pandas associé.

• Mise à jour de la façon dont nous créons les rapports .csv, qui sont maintenant écrasés après une deuxième exécution.

Correction¶

• Correction d’un bogue qui faisait que les fichiers notebooks n’étaient pas générés dans la sortie.

• Correction du remplacement des méthodes get et set à partir de pyspark.sql.conf.RuntimeConfig, le remplacement correspond maintenant aux noms complets corrects.

• Correction de la version incorrecte de la balise de requête.

• Correction des paquets UserDefined signalés comme ThirdPartyLib.

\

Versions de base de SMA incluses¶

• Snowpark Conversion Core 4.12.0

Application de bureau¶

Correction

• Correction des problèmes de casse dans les options –sql.

Supprimé

• Supprimez le nom de la plateforme dans le message show-ac.

Ajouté¶

• Ajout de la prise en charge de Snowpark Python 1.23.0 et 1.24.0.

• Ajout d’un nouveau EWI pour la fonction pyspark.sql.dataframe.DataFrame.writeTo. Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1087.

Modifications¶

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1137 à SPRKSCL1156 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1117 à SPRKSCL1136 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour du message qui s’affiche pour les EWIs suivants :

  • SPRKPY1082

  • SPRKPY1083

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1100 à SPRKSCL1105, de SPRKSCL1108 à SPRKSCL1116, de SPRKSCL1157 à SPRKSCL1175, pour s’aligner sur un format standardisé, assurant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour du statut de mappage des éléments PySpark suivants de NotSupported à Direct avec EWI :

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option : Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options :Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1089

• Mise à jour du statut de mappage des éléments PySpark suivants de Contournement en Renommer :

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Mise à jour de la documentation de l’EWI : SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Supprimée¶

• Suppression de l’élément pyspark.sql.dataframe.DataFrameStatFunctions.writeTo du statut de conversion, cet élément n’existe pas.

Obsolète¶

• Les codes EWI suivants sont obsolètes :

  • SPRKPY1081

  • SPRKPY1084

Ajouté¶

• Ajout d’une nouvelle colonne appelée Url au fichier Issues.csv, qui redirige vers la documentation EWI correspondante.

• Ajout d’EWIs pour les éléments Spark suivants :

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• Ajout de 38 nouveaux éléments Pandas :

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Versions de base de SMA incluses¶

• Snowpark Conversion Core 4.10.0

Application de bureau¶

Correction¶

• Correction d’un bogue qui entraînait l’affichage par SMA de l’étiquette SnowConvert au lieu de Snowpark Migration Accelerator dans la barre de menu de la version Windows.

• Correction d’un bogue qui entraînait le plantage de SMA lorsqu’il ne disposait pas des autorisations de lecture et d’écriture sur le répertoire .config dans macOS et sur le répertoire AppData dans Windows.

Interface de ligne de commande¶

Modifications

• Attribution d’un nouveau nom à l’exécutable CLI de snowct à sma.

• Suppression de l’argument de la langue source, de sorte que vous n’avez plus besoin de spécifier si vous exécutez une évaluation / conversion Python ou Scala.

• Les arguments de ligne de commande pris en charge par CLI ont été élargis par l’ajout des nouveaux arguments suivants :

  • --enableJupyter | -j : Indicateur signalant si la conversion des notebooks Databricks vers Jupyter est activée ou non.

  • --sql | -f : Syntaxe du moteur de base de données à utiliser lorsqu’une commande SQL est détectée.

  • --customerEmail | -e : Configurez l’e-mail du client.

  • --customerCompany | -c : Configurez la société cliente.

  • --projectName | -p : Configurez le projet client.

• Mise à jour de certains textes pour refléter le nom correct de l’application, afin d’assurer la cohérence et la clarté de tous les messages.

• Mise à jour des conditions d’utilisation de l’application.

• Mise à jour et développement de la documentation de CLI afin de refléter les dernières fonctions, améliorations et modifications.

• Mise à jour du texte qui s’affiche avant de procéder à l’exécution de l’outil SMA afin d’améliorer la qualité de l’information

• Mise à jour de CLI pour accepter « Oui » comme argument valide lors de la demande de confirmation de l’utilisateur.

• Permet à CLI de poursuivre l’exécution sans attendre l’interaction de l’utilisateur en spécifiant l’argument -y ou --yes.

• Mise à jour des informations d’aide de l’argument --sql pour indiquer les valeurs attendues par cet argument.

Ajouté¶

• Ajout d’un nouveau EWI pour la fonction pyspark.sql.readwriter.DataFrameWriter.partitionBy. Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1081.

• Ajout d’une nouvelle colonne appelée Technologie au fichier ImportUsagesInventory.csv.

Modifications¶

• Mise à jour du score de préparation des bibliothèques tierces afin de prendre également en compte les bibliothèques inconnues.

• Mise à jour du fichier AssessmentFiles.zip pour inclure les fichiers .json au lieu des fichiers .pam.

• Amélioration du mécanisme de conversion de CSV en JSON pour rendre le traitement des inventaires plus performant.

• Amélioration de la documentation des EWIs suivants :

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Mise à jour du statut de mappage des éléments Spark Scala suivants de Direct en Renommer.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Mise à jour du statut de mappage des éléments Spark Scala suivants de Non pris en charge en Direct.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Correction¶

• Correction d’un bogue ayant entraîné SMA à remplir incorrectement la colonne Origine du fichier ImportUsagesInventory.csv.

• Correction d’un bogue ayant entraîné SMA à classer les importations des bibliothèques io, json, logging et unittest comme importations Python intégrées dans le fichier ImportUsagesInventory.csv et dans le fichier DetailedReport.docx.

Ajouté¶

• Ajout de fichiers EwiCatalog.csv et .md pour réorganiser la documentation

• Ajout du statut de mappage de pyspark.sql.functions.ln Direct.

• Ajout d’une transformation pour pyspark.context.SparkContext.getOrCreate

  • Veuillez vérifier l’EWI SPRKPY1080 pour plus de détails.

• Une amélioration a été apportée à SymbolTable, qui permet de déterminer le type des paramètres dans les fonctions.

• La SymbolTable ajoutée prend en charge les méthodes statiques et ne part pas du principe que le premier paramètre sera automatique pour celles-ci.

• Ajout d’une documentation pour les EWIs manquants

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Modifications¶

• Mise à jour du statut de mappage de :

  • pyspark.sql.functions.array_remove de NotSupported à Direct.

Correction¶

• Correction de la table de dimensionnement des fichiers de code dans le rapport détaillé afin d’exclure les fichiers .sql et .hql et ajout de la ligne Extra Large dans la table.

• Correction de l’absence de update_query_tag lorsque SparkSession est défini en plusieurs lignes sur Python.

• Correction de l’absence de update_query_tag lorsque SparkSession est défini en plusieurs lignes sur Scala.

• Correction de l’absence de l’EWI SPRKHVSQL1001 dans certaines instructions SQL présentant des erreurs d’analyse.

• Correction de la conservation des valeurs de lignes nouvelles à l’intérieur des littéraux de chaînes

• Correction de l’affichage du nombre total de lignes de code dans la table de résumé des types de fichiers

• Correction de l’affichage sur 0 du score d’analyse alors que les fichiers sont reconnus avec succès

• Correction du nombre de LOC dans l’inventaire des cellules pour les cellules Databricks Magic SQL

Ajouté¶

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.parquet.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.option lorsqu’il s’agit d’une méthode Parquet.

Modifications¶

• Mise à jour du statut de mappage de :

  • pyspark.sql.types.StructType.fields de NotSupported en Direct.

  • pyspark.sql.types.StructType.names de NotSupported en Direct.

  • pyspark.context.SparkContext.setLogLevel de Contournement en Transformation.

    • Pour plus de détails, consultez les EWIs SPRKPY1078 et SPRKPY1079

  • org.apache.spark.sql.functions.round de WorkAround en Direct.

  • org.apache.spark.sql.functions.udf de NotDefined en Transformation.

    • Pour plus de détails, consultez les EWIs SPRKSCL1174 et SPRKSCL1175

• Mise à jour du statut de mappage des éléments Spark suivants de DirectHelper en Direct :

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Correction¶

• Correction de la valeur affichée dans le pourcentage du nombre total d’API Pandas

• Correction du pourcentage total dans la table ImportCalls du DetailReport

Correction¶

• Correction de l’ajout du nombre total de lignes dans les résumés d’utilisations Spark alors qu’il n’y a pas d’utilisation

• Mise à jour de l’assemblage Python sur la version1.3.111

  • Analyse de la virgule de fin dans les arguments multilignes

Ajouté¶

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.option :

  • Lorsque la chaîne provient d’un appel de méthode CSV.

  • Lorsque la chaîne provient d’un appel de méthode JSON.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.json.

Modifications¶

• Exécution de SMA sur les chaînes SQL transmises aux fonctions Python/Scala

  • Création de l’AST dans Scala/Python pour émettre une unité temporaire SQL

  • Création de l’inventaire SqlEmbeddedUsages.csv

  • Obsolescence des fichiers SqlStatementsInventroy.csv et SqlExtractionInventory.csv

  • Intégration de l’EWI lorsque le littéral SQL n’a pas pu être traité

  • Création d’une nouvelle tâche pour traiter me code SQL intégré

  • Collecte d’informations pour l’inventaire SqlEmbeddedUsages.csv dans Python

  • Remplacement du code transformé SQL par du code littéral dans Python

  • Mise à jour des cas de test après la mise en œuvre

  • Création de tables et de vues pour la télémétrie dans l’inventaire SqlEmbeddedUsages

  • Collecte d’informations pour le rapport SqlEmbeddedUsages.csv dans Scala

  • Remplacement du code transformé SQL par du code littéral dans Scala

  • Vérification de l’ordre des numéros de ligne pour le rapport SQL intégré

• Renseignement du fichier SqlFunctionsInfo.csv avec les fonctions SQL documentées pour SparkSQL et HiveSQL

• Mise à jour du statut du mappage pour :

  • org.apache.spark.sql.SparkSession.sparkContext de NotSupported en Transformation.

  • org.apache.spark.sql.Builder.config de NotSupported en Transformation. Avec ce nouveau statut de mappage, l’outil SMA supprime toutes les utilisations de cette fonction du code source.

Ajouté¶

• Ajout du mécanisme (via la décoration) permettant d’obtenir la ligne et la colonne des éléments identifiés dans les cellules des notebooks

• Ajout d’une page EWI pour pyspark.sql.functions.from_json.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.csv.

• Activation du mécanisme de balise de requête pour les fichiers Scala.

• Ajout du score de l’analyse du code et de liens supplémentaires vers le rapport détaillé.

• Ajout d’une colonne appelée OriginFilePath dans le fichier InputFilesInventory.csv

Modifications¶

• Mise à jour du statut du mappage de pyspark.sql.functions.from_json de Non pris en charge à Transformation.

• Mise à jour du statut de mappage des éléments Spark suivants de Contournement à Direct :

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Obsolète¶

• Les codes EWI suivants sont obsolètes :

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Correction¶

• Correction d’un bogue ayant entraîné un calcul incorrect du score Spark API.

• Correction d’une erreur pour éviter de copier les fichiers vides ou commentés SQL dans le dossier de sortie.

• Correction d’un bogue dans le DetailedReport, le nombre de statistiques notebook LOC et de cellules n’est pas exact.

Ajouté¶

• Ajout d’une colonne Technologie dans SparkUsagesInventory

• Ajout d’un EWI pour les éléments SQL non définis.

• Ajout de l’inventaire SqlFunctions

• Collecte d’informations pour l’inventaire SqlFunctions

Modifications¶

• Le moteur traite et imprime désormais les fichiers Python partiellement analysés au lieu de laisser le fichier original sans modifications.

• Les cellules du notebook Python qui présentent des erreurs d’analyse seront également traitées et imprimées.

Correction¶

• Correction de l’erreur dans pandas.core.indexes.datetimes.DatetimeIndex.strftime.

• Correction de la non-concordance entre le score de préparation SQL et les utilisations SQL par statut de prise en charge.

• Correction d’un bogue ayant entraîné SMA à signaler pandas.core.series.Series.empty avec un statut de mappage incorrect.

• La correction d’une incohérence entre les utilisations prêtes pour la conversion Spark API dans DetailedReport.docx est différente de la ligne UsagesReadyForConversion dans Assessment.json.

Ajouté¶

• Ajout des informations suivantes au fichier AssessmentReport.json

  • Score de préparation des bibliothèques tierces.

  • Nombre d’appels de bibliothèques tierces qui ont été identifiés.

  • Nombre d’appels de bibliothèques tierces pris en charge par Snowpark.

  • Le code couleur associé au score de préparation tiers, le score de préparation Spark API et le score de préparation SQL.

• Transformation de SqlSimpleDataType dans les tables de création Spark.

• Ajout du mappage de pyspark.sql.functions.get comme direct.

• Ajout du mappage de pyspark.sql.functions.to_varchar comme direct.

• Dans le cadre des modifications apportées après l’unification, l’outil génère désormais un fichier d’informations sur l’exécution dans le moteur.

• Ajout d’un remplaçant pour pyspark.sql.SparkSession.builder.appName.

Modifications¶

• Mise à jour du statut du mappage pour les éléments Spark suivants

  • De Non pris en charge à Mappage direct :

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Modification du rapport Inventaire des cellules de notebook pour indiquer le type de contenu de chaque cellule dans l’élément de colonne

• Ajout d’une colonne SCALA_READINESS_SCORE qui indique le score de préparation comme étant lié uniquement aux références de Spark API dans les fichiers Scala.

• Prise en charge partielle de la transformation des propriétés des tables dans ALTER TABLE et ALTER VIEW

• Mise à jour du statut de conversion du nœud SqlSimpleDataType de En attente à Transformation dans les tables de création Spark

• Mise à jour de la version de Snowpark Scala API prise en charge par l’outil SMA de 1.7.0 à 1.12.1 :

  • Mise à jour du statut de mappage de :

    • org.apache.spark.sql.SparkSession.getOrCreate de Renommer à Direct

    • org.apache.spark.sql.functions.sum de Contournement à Direct

• Mise à jour de la version de Python Snowpark API prise en charge par l’outil SMA de 1.15.0 à 1.20.0 :

  • Mise à jour du statut de mappage de :

    • pyspark.sql.functions.arrays_zip de Non pris en charge à Pris en charge

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • De Non pris en charge à Renommer :

    • pandas.core.frame.DataFrame.map

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Mappages non pris en charge :

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Mappages directs avec l’EWI :

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Mappages non pris en charge :

    • pandas.core.series.Series.dt.strftime

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Mise à jour de la description de Compréhension du score de préparation SQL.

• Mise à jour de PyProgramCollector pour collecter les paquets et renseigner l’inventaire actuel des paquets avec les données du code source Python.

• Mise à jour du statut de mappage de pyspark.sql.SparkSession.builder.appName de Renommer à Transformation.

• Suppression des tests d’intégration Scala suivants :

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Mise à jour du statut de mappage de pandas.core.generic.NDFrame.shape de Non pris en charge à Direct.

• Mise à jour du statut de mappage de pandas.core.series de Non pris en charge à Direct.

Obsolète¶

• Obsolescence du code EWI SPRKSCL1160 car org.apache.spark.sql.functions.sum est désormais un mappage direct.

Correction¶

• Correction d’un bogue relatif à la non prise en charge de Custom Magics sans arguments dans les cellules de Jupyter Notebook.

• Correction de la génération incorrecte des EWIs dans le rapport issues.csv en cas d’erreurs d’analyse.

• Correction d’un bogue ayant entraîné SMA à ne pas traiter les notebooks exportés Databricks comme des notebooks Databricks.

• Correction d’une erreur de débordement de pile lors du traitement des noms de types de conflit des déclarations créées à l’intérieur des objets du paquet.

• Correction du traitement des noms de types lambda complexes impliquant des génériques, par exemple, def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Correction d’un bogue ayant entraîné SMA à ajouter un code EWI PySpark au lieu d’un code EWI Pandas aux éléments Pandas qui ne sont pas encore reconnus.

• Correction d’une coquille dans le modèle de rapport détaillé : Modification de Pourcentage de tous les fichiers Python en Pourcentage de tous les fichiers.

• Correction d’un bogue où pandas.core.series.Series.shape a été mal rapporté.