Snowpark Migration Accelerator : Notes de version¶

Application de bureau desktop-app¶

• Correction d’un problème lors de la conversion dans l’option de l’exemple de projet.

Versions de SMA Core incluses¶

• Snowpark Conversion Core 5.3.0

Application de bureau desktop-app¶

• Ajout d’une nouvelle fenêtre modale lorsque l’utilisateur ne dispose pas de l’autorisation d’écriture.

• Mise à jour de l’accord de licence, l’acceptation est exigée.

CLI cli¶

• Correction de l’année dans l’écran CLI lors de l’affichage de « –version » ou « -v »

Versions de SMA Core incluses¶

• Snowpark Conversion Core 5.3.0

Ajouté¶

Modifications¶

• Mise à jour de .NET version sur v9.0.0.

• Amélioration de l’EWI SPRKPY1068.

• Mise à jour de la version de l’API Snowpark Python prise en charge par l’outil SMA de 1.24.0 à 1.25.0.

• Mise à jour du modèle de rapport détaillé, avec désormais la version Snowpark pour Pandas.

• Modification des bibliothèques suivantes de BuiltIn en ThirdPartyLib.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Problème connu¶

• Cette version inclut un problème lors de la conversion de l’exemple de projet qui ne fonctionnera pas sur cette version. Il sera corrigé dans la prochaine version.

Application de bureau desktop-app¶

• Ajout d’un lien vers le guide de dépannage dans la fenêtre modale du rapport de panne.

Versions de SMA Core incluses¶

• Snowpark Conversion Core 4.15.0

Ajouté¶

• Ajout des éléments PySpark suivants au fichier .csv ConversionStatusPySpark en tant que NotSupported :

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Modifications¶

• Mise à jour du format des EWIs Hive SQL.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Mise à jour du format des EWIs Spark SQL .

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Correction¶

• Correction d’un bogue qui faisait que certains éléments PySpark n’étaient pas identifiés par l’outil.

• Correction de l’erreur de correspondance entre le nombre d’appels ThirdParty identifiés et le nombre d’appels ThirdParty importés.

Versions de SMA Core incluses¶

• Snowpark Conversion Core 4.14.0

Ajout¶

• Ajout des éléments Spark suivants à ConversionStatusPySpark. csv :

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Modifications¶

• Mise à jour de la documentation des EWIs Pandas, PNDSPY1001, PNDSPY1002 et PNDSPY1003 SPRKSCL1137 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour de la documentation des EWIs Scala suivants : SPRKSCL1106 et SPRKSCL1107. S’aligner sur un format standardisé, garantissant la cohérence et la clarté sur l’ensemble des EWIs.

Correction¶

• Correction du bogue qui provoquait l’affichage des symboles UserDefined dans l’inventaire des utilisations tierces.

Versions de SMA Core incluses¶

• Snowpark Conversion Core 4.13.1

Interface de ligne de commande command-line-interface¶

Modifications

• Ajout d’un horodatage au dossier de sortie.

Ajout¶

• Ajout d’une colonne « Langue source » dans la table de mappages de la bibliothèque

• Ajout de la catégorie Autres comme nouvelle catégorie dans la table Résumé de l’API Pandas de DetailedReport. docx

Modifications¶

• Mise à jour de la documentation pour Python EWI SPRKPY1058.

• Mise à jour du message des EWI Pandas PNDSPY1002 afin d’afficher l’élément pandas associé.

• Mise à jour de la façon dont nous créons les rapports .csv, qui sont maintenant écrasés après une deuxième exécution.

Correction¶

• Correction d’un bogue qui faisait que les fichiers notebooks n’étaient pas générés dans la sortie.

• Correction du remplacement des méthodes get et set à partir de pyspark.sql.conf.RuntimeConfig, le remplacement correspond maintenant aux noms complets corrects.

• Correction de la version incorrecte de la balise de requête.

• Correction des paquets UserDefined signalés comme ThirdPartyLib.

\

Versions de SMA Core incluses¶

• Snowpark Conversion Core 4.12.0

Application de bureau desktop-app¶

Correction

• Correction des problèmes de casse dans les options –sql.

Supprimé

• Supprimez le nom de la plateforme dans le message show-ac.

Ajout¶

• Ajout de la prise en charge de Snowpark Python 1.23.0 et 1.24.0.

• Ajout d’un nouveau EWI pour la fonction pyspark.sql.dataframe.DataFrame.writeTo. Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1087.

Modifications¶

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1137 à SPRKSCL1156 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1117 à SPRKSCL1136 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour du message qui s’affiche pour les EWIs suivants :

  • SPRKPY1082

  • SPRKPY1083

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1100 à SPRKSCL1105, de SPRKSCL1108 à SPRKSCL1116, de SPRKSCL1157 à SPRKSCL1175, pour s’aligner sur un format standardisé, assurant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour du statut de mappage des éléments PySpark suivants de NotSupported à Direct avec EWI :

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option : Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options :Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1089

• Mise à jour du statut de mappage des éléments PySpark suivants de Contournement en Renommer :

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Mise à jour de la documentation de l’EWI : SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Suppression¶

• Suppression de l’élément pyspark.sql.dataframe.DataFrameStatFunctions.writeTo du statut de conversion, cet élément n’existe pas.

Obsolescence¶

• Les codes EWI suivants sont obsolètes :

  • SPRKPY1081

  • SPRKPY1084

Ajout¶

• Ajout d’une nouvelle colonne appelée Url au fichier Issues.csv, qui redirige vers la documentation EWI correspondante.

• Ajout d’EWIs pour les éléments Spark suivants :

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• Ajout de 38 nouveaux éléments Pandas :

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Versions de SMA Core incluses¶

• Snowpark Conversion Core 4.10.0

Application de bureau desktop-app¶

Correction

• Correction d’un bogue qui entraînait l’affichage par SMA de l’étiquette SnowConvert au lieu de Snowpark Migration Accelerator dans la barre de menu de la version Windows.

• Correction d’un bogue qui entraînait le plantage de SMA lorsqu’il ne disposait pas des autorisations de lecture et d’écriture sur le répertoire .config dans macOS et sur le répertoire AppData dans Windows.

Interface de ligne de commande command-line-interface¶

Modifications

• Attribution d’un nouveau nom à l’exécutable CLI de snowct à sma.

• Suppression de l’argument de la langue source, de sorte que vous n’avez plus besoin de spécifier si vous exécutez une évaluation / conversion Python ou Scala.

• Les arguments de ligne de commande pris en charge par CLI ont été élargis par l’ajout des nouveaux arguments suivants :

  • --enableJupyter | -j : Indicateur signalant si la conversion des notebooks Databricks vers Jupyter est activée ou non.

  • --sql | -f : Syntaxe du moteur de base de données à utiliser lorsqu’une commande SQL est détectée.

  • --customerEmail | -e : Configurez l’e-mail du client.

  • --customerCompany | -c : Configurez la société cliente.

  • --projectName | -p : Configurez le projet client.

• Mise à jour de certains textes pour refléter le nom correct de l’application, afin d’assurer la cohérence et la clarté de tous les messages.

• Mise à jour des conditions d’utilisation de l’application.

• Mise à jour et développement de la documentation de CLI afin de refléter les dernières fonctions, améliorations et modifications.

• Mise à jour du texte qui s’affiche avant de procéder à l’exécution de l’outil SMA afin d’améliorer la qualité de l’information

• Mise à jour de CLI pour accepter « Oui » comme argument valide lors de la demande de confirmation de l’utilisateur.

• Permet à CLI de poursuivre l’exécution sans attendre l’interaction de l’utilisateur en spécifiant l’argument -y ou --yes.

• Mise à jour des informations d’aide de l’argument --sql pour indiquer les valeurs attendues par cet argument.

Ajout¶

• Ajout d’un nouveau EWI pour la fonction pyspark.sql.readwriter.DataFrameWriter.partitionBy. Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1081.

• Ajout d’une nouvelle colonne appelée Technologie au fichier ImportUsagesInventory.csv.

Modifications¶

• Mise à jour du score de préparation des bibliothèques tierces afin de prendre également en compte les bibliothèques inconnues.

• Mise à jour du fichier AssessmentFiles.zip pour inclure les fichiers .json au lieu des fichiers .pam.

• Amélioration du mécanisme de conversion de CSV en JSON pour rendre le traitement des inventaires plus performant.

• Amélioration de la documentation des EWIs suivants :

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Mise à jour du statut de mappage des éléments Spark Scala suivants de Direct en Renommer.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Mise à jour du statut de mappage des éléments Spark Scala suivants de Non pris en charge en Direct.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Correction¶

• Correction d’un bogue ayant entraîné SMA à remplir incorrectement la colonne Origine du fichier ImportUsagesInventory.csv.

• Correction d’un bogue ayant entraîné SMA à classer les importations des bibliothèques io, json, logging et unittest comme importations Python intégrées dans le fichier ImportUsagesInventory.csv et dans le fichier DetailedReport.docx.

Ajout¶

• Ajout de fichiers EwiCatalog.csv et .md pour réorganiser la documentation

• Ajout du statut de mappage de pyspark.sql.functions.ln Direct.

• Ajout d’une transformation pour pyspark.context.SparkContext.getOrCreate

  • Veuillez vérifier l’EWI SPRKPY1080 pour plus de détails.

• Une amélioration a été apportée à SymbolTable, qui permet de déterminer le type des paramètres dans les fonctions.

• La SymbolTable ajoutée prend en charge les méthodes statiques et ne part pas du principe que le premier paramètre sera automatique pour celles-ci.

• Ajout d’une documentation pour les EWIs manquants

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Modifications¶

• Mise à jour du statut de mappage de :

  • pyspark.sql.functions.array_remove de NotSupported à Direct.

Correction¶

• Correction de la table de dimensionnement des fichiers de code dans le rapport détaillé afin d’exclure les fichiers .sql et .hql et ajout de la ligne Extra Large dans la table.

• Correction de l’absence de update_query_tag lorsque SparkSession est défini en plusieurs lignes sur Python.

• Correction de l’absence de update_query_tag lorsque SparkSession est défini en plusieurs lignes sur Scala.

• Correction de l’absence de l’EWI SPRKHVSQL1001 dans certaines instructions SQL présentant des erreurs d’analyse.

• Correction de la conservation des valeurs de lignes nouvelles à l’intérieur des littéraux de chaînes

• Correction de l’affichage du nombre total de lignes de code dans la table de résumé des types de fichiers

• Correction de l’affichage sur 0 du score d’analyse alors que les fichiers sont reconnus avec succès

• Correction du nombre de LOC dans l’inventaire des cellules pour les cellules Databricks Magic SQL

Ajout¶

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.parquet.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.option lorsqu’il s’agit d’une méthode Parquet.

Modifications¶

• Mise à jour du statut de mappage de :

  • pyspark.sql.types.StructType.fields de NotSupported en Direct.

  • pyspark.sql.types.StructType.names de NotSupported en Direct.

  • pyspark.context.SparkContext.setLogLevel de Contournement en Transformation.

    • Pour plus de détails, consultez les EWIs SPRKPY1078 et SPRKPY1079

  • org.apache.spark.sql.functions.round de WorkAround en Direct.

  • org.apache.spark.sql.functions.udf de NotDefined en Transformation.

    • Pour plus de détails, consultez les EWIs SPRKSCL1174 et SPRKSCL1175

• Mise à jour du statut de mappage des éléments Spark suivants de DirectHelper en Direct :

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Correction¶

• Correction de la valeur affichée dans le pourcentage du nombre total d’API Pandas

• Correction du pourcentage total dans la table ImportCalls du DetailReport

Obsolescence¶

• Le code EWI suivant est obsolète

  • SPRKSCL1115

Correctif¶

• Correction de l’ajout du nombre total de lignes dans les résumés d’utilisations Spark alors qu’il n’y a pas d’utilisation

• Mise à jour de l’assemblage Python sur la version1.3.111

  • Analyse de la virgule de fin dans les arguments multilignes

Ajout¶

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.option :

  • Lorsque la chaîne provient d’un appel de méthode CSV.

  • Lorsque la chaîne provient d’un appel de méthode JSON.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.json.

Modifications¶

• Exécution de SMA sur les chaînes SQL transmises aux fonctions Python/Scala

  • Création de l’AST dans Scala/Python pour émettre une unité temporaire SQL

  • Création de l’inventaire SqlEmbeddedUsages.csv

  • Obsolescence des fichiers SqlStatementsInventroy.csv et SqlExtractionInventory.csv

  • Intégration de l’EWI lorsque le littéral SQL n’a pas pu être traité

  • Création d’une nouvelle tâche pour traiter me code SQL intégré

  • Collecte d’informations pour l’inventaire SqlEmbeddedUsages.csv dans Python

  • Remplacement du code transformé SQL par du code littéral dans Python

  • Mise à jour des cas de test après la mise en œuvre

  • Création de tables et de vues pour la télémétrie dans l’inventaire SqlEmbeddedUsages

  • Collecte d’informations pour le rapport SqlEmbeddedUsages.csv dans Scala

  • Remplacement du code transformé SQL par du code littéral dans Scala

  • Vérification de l’ordre des numéros de ligne pour le rapport SQL intégré

• Renseignement du fichier SqlFunctionsInfo.csv avec les fonctions SQL documentées pour SparkSQL et HiveSQL

• Mise à jour du statut du mappage pour :

  • org.apache.spark.sql.SparkSession.sparkContext de NotSupported en Transformation.

  • org.apache.spark.sql.Builder.config de NotSupported en Transformation. Avec ce nouveau statut de mappage, l’outil SMA supprime toutes les utilisations de cette fonction du code source.

Ajouté¶

• Ajout du mécanisme (via la décoration) permettant d’obtenir la ligne et la colonne des éléments identifiés dans les cellules des notebooks

• Ajout d’une page EWI pour pyspark.sql.functions.from_json.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.csv.

• Activation du mécanisme de balise de requête pour les fichiers Scala.

• Ajout du score de l’analyse du code et de liens supplémentaires vers le rapport détaillé.

• Ajout d’une colonne appelée OriginFilePath dans le fichier InputFilesInventory.csv

Modifications¶

• Mise à jour du statut du mappage de pyspark.sql.functions.from_json de Non pris en charge à Transformation.

• Mise à jour du statut de mappage des éléments Spark suivants de Contournement à Direct :

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Obsolète¶

• Les codes EWI suivants sont obsolètes :

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Correction¶

• Correction d’un bogue ayant entraîné un calcul incorrect du score Spark API.

• Correction d’une erreur pour éviter de copier les fichiers vides ou commentés SQL dans le dossier de sortie.

• Correction d’un bogue dans le DetailedReport, le nombre de statistiques notebook LOC et de cellules n’est pas exact.

Ajouts¶

• Ajout d’une colonne Technologie dans SparkUsagesInventory

• Ajout d’un EWI pour les éléments SQL non définis.

• Ajout de l’inventaire SqlFunctions

• Collecte d’informations pour l’inventaire SqlFunctions

Modifications¶

• Le moteur traite et imprime désormais les fichiers Python partiellement analysés au lieu de laisser le fichier original sans modifications.

• Les cellules du notebook Python qui présentent des erreurs d’analyse seront également traitées et imprimées.

Correction¶

• Correction de l’erreur dans pandas.core.indexes.datetimes.DatetimeIndex.strftime.

• Correction de la non-concordance entre le score de préparation SQL et les utilisations SQL par statut de prise en charge.

• Correction d’un bogue ayant entraîné SMA à signaler pandas.core.series.Series.empty avec un statut de mappage incorrect.

• La correction d’une incohérence entre les utilisations prêtes pour la conversion Spark API dans DetailedReport.docx est différente de la ligne UsagesReadyForConversion dans Assessment.json.

Ajouts¶

• Ajout des informations suivantes au fichier AssessmentReport.json

  • Score de préparation des bibliothèques tierces.

  • Nombre d’appels de bibliothèques tierces qui ont été identifiés.

  • Nombre d’appels de bibliothèques tierces pris en charge par Snowpark.

  • Le code couleur associé au score de préparation tiers, le score de préparation Spark API et le score de préparation SQL.

• Transformation de SqlSimpleDataType dans les tables de création Spark.

• Ajout du mappage de pyspark.sql.functions.get comme direct.

• Ajout du mappage de pyspark.sql.functions.to_varchar comme direct.

• Dans le cadre des modifications apportées après l’unification, l’outil génère désormais un fichier d’informations sur l’exécution dans le moteur.

• Ajout d’un remplaçant pour pyspark.sql.SparkSession.builder.appName.

Modifications¶

• Mise à jour du statut du mappage pour les éléments Spark suivants

  • De Non pris en charge à Mappage direct :

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Modification du rapport Inventaire des cellules de notebook pour indiquer le type de contenu de chaque cellule dans l’élément de colonne

• Ajout d’une colonne SCALA_READINESS_SCORE qui indique le score de préparation comme étant lié uniquement aux références de Spark API dans les fichiers Scala.

• Prise en charge partielle de la transformation des propriétés des tables dans ALTER TABLE et ALTER VIEW

• Mise à jour du statut de conversion du nœud SqlSimpleDataType de En attente à Transformation dans les tables de création Spark

• Mise à jour de la version de Snowpark Scala API prise en charge par l’outil SMA de 1.7.0 à 1.12.1 :

  • Mise à jour du statut de mappage de :

    • org.apache.spark.sql.SparkSession.getOrCreate de Renommer à Direct

    • org.apache.spark.sql.functions.sum de Contournement à Direct

• Mise à jour de la version de Python Snowpark API prise en charge par l’outil SMA de 1.15.0 à 1.20.0 :

  • Mise à jour du statut de mappage de :

    • pyspark.sql.functions.arrays_zip de Non pris en charge à Pris en charge

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • De Non pris en charge à Renommer :

    • pandas.core.frame.DataFrame.map

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Mappages non pris en charge :

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Mappages directs avec l’EWI :

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Mappages non pris en charge :

    • pandas.core.series.Series.dt.strftime

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Mise à jour de la description de Compréhension du score de préparation SQL.

• Mise à jour de PyProgramCollector pour collecter les paquets et renseigner l’inventaire actuel des paquets avec les données du code source Python.

• Mise à jour du statut de mappage de pyspark.sql.SparkSession.builder.appName de Renommer à Transformation.

• Suppression des tests d’intégration Scala suivants :

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Mise à jour du statut de mappage de pandas.core.generic.NDFrame.shape de Non pris en charge à Direct.

• Mise à jour du statut de mappage de pandas.core.series de Non pris en charge à Direct.

Obsolescence¶

• Obsolescence du code EWI SPRKSCL1160 car org.apache.spark.sql.functions.sum est désormais un mappage direct.

Correction¶

• Correction d’un bogue relatif à la non prise en charge de Custom Magics sans arguments dans les cellules de Jupyter Notebook.

• Correction de la génération incorrecte des EWIs dans le rapport issues.csv en cas d’erreurs d’analyse.

• Correction d’un bogue ayant entraîné SMA à ne pas traiter les notebooks exportés Databricks comme des notebooks Databricks.

• Correction d’une erreur de débordement de pile lors du traitement des noms de types de conflit des déclarations créées à l’intérieur des objets du paquet.

• Correction du traitement des noms de types lambda complexes impliquant des génériques, par exemple, def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Correction d’un bogue ayant entraîné SMA à ajouter un code EWI PySpark au lieu d’un code EWI Pandas aux éléments Pandas qui ne sont pas encore reconnus.

• Correction d’une coquille dans le modèle de rapport détaillé : Modification de Pourcentage de tous les fichiers Python en Pourcentage de tous les fichiers.

• Correction d’un bogue où pandas.core.series.Series.shape a été mal rapporté.