Notes de version de la bibliothèque Snowpark pour Python pour 2025¶

Améliorations¶

• L’invocation des procédures du système Snowflake n’entraîne pas d’appel supplémentaire à describe procedure pour vérifier le type de retour de la procédure.

• Ajout de la prise en charge de Session.create_dataframe() avec l’URL de la zone de préparation et le type de données FILE.

• Prise en charge de différents modes de traitement des enregistrements XML corrompus lors de la lecture d’un fichier XML à l’aide de session.read.option('mode', <mode>), option('rowTag', <tag_name>).xml(<stage_file_path>). Actuellement, PERMISSIVE, DROPMALFORMED et FAILFAST sont pris en charge.

• Amélioration du message d’erreur du lecteur XML lorsque ROWTAG spécifié n’est pas trouvé dans le fichier.

• Amélioration de la génération de requêtes pour Dataframe.drop afin d’utiliser SELECT * EXCLUDE () pour exclure les colonnes supprimées. Pour activer cette fonction, définissez session.conf.set("use_simplified_query_generation", True).

• Ajout de la prise en charge de VariantType à StructType.from_json.

Corrections de bogues¶

• Correction d’un bogue dans DataFrameWriter.dbapi (Aperçu privé) où les noms de colonnes unicode ou entre guillemets doubles dans les bases de données externes provoquent des erreurs parce qu’ils ne sont pas cités correctement.

• Correction d’un bogue où les champs nommés dans les données imbriquées de OBJECT pouvaient provoquer des erreurs lorsqu’ils contenaient des espaces.

Mises à jour des tests locaux Snowpark¶

Mises à jour de l’API pandas Snowpark¶

Nouvelles fonctionnalités¶

• Ajout de la prise en charge de l’autorisation restricted caller de l’argument execute_as dans StoredProcedure.register():code:.

• Prise en charge des instructions de non-sélection dans DataFrame.to_pandas().

• La prise en charge du paramètre artifact_repository a été ajoutée à Session.add_packages, Session.add_requirements, Session.get_packages, Session.remove_package et Session.clear_packages.

• Ajout de la prise en charge de la lecture d’un fichier XML à l’aide d’une balise de ligne par session.read.option('rowTag', <tag_name>).xml(<stage_file_path>) (expérimental).

  • Chaque enregistrement XML est extrait sous la forme d’une ligne distincte.

  • Chaque champ de cet enregistrement devient une colonne distincte de type VARIANT, qui peut faire l’objet d’une requête à l’aide de la notation par points, par exemple col(a.b.c).

• Ajout de mises à jour sur DataFrameReader.dbapi (PrPr) :

  • Le paramètre fetch_merge_count a été ajouté pour optimiser les performances en fusionnant plusieurs données dans un seul fichier Parquet.

  • Ajout de la prise en charge de Databricks.

  • Ajout de la prise en charge de l’ingestion avec Snowflake UDTF.

• Ajout de la prise en charge des fonctions suivantes, activées par AI, dans functions.py (Aperçu privé) :

  • prompt

  • ai_filter (ajout de la prise en charge de la fonction prompt() et des fichiers image, et modification du nom du deuxième argument de expr à file)

  • ai_classify

Mises à jour des tests locaux Snowpark¶

Mises à jour de l’API pandas Snowpark¶

Nouvelles fonctionnalités¶

• Prise en charge des garanties de cohérence et d’ordre relâchées dans Dataframe.to_snowpark_pandas en introduisant le paramètre relaxed_ordering.

• DataFrameReader.dbapi (aperçu) accepte désormais une liste de chaînes pour le paramètre session_init_statement, ce qui permet d’exécuter plusieurs instructions SQL lors de l’initialisation de la session.

Améliorations¶

• Amélioration de la génération de requêtes pour Dataframe.stat.sample_by afin de générer une seule requête plate qui s’adapte bien à un large dictionnaire fractions par rapport à l’ancienne méthode qui consistait à créer une sous-requête UNION ALL pour chaque clé dans fractions. Pour activer cette fonction, définissez session.conf.set("use_simplified_query_generation", True).

• Amélioration des performances de DataFrameReader.dbapi en activant l’option vectorisée lors de la copie d’un fichier parquet dans une table.

• La génération de requêtes pour DataFrame.random_split a été améliorée de la manière suivante. Elles peuvent être activées en définissant session.conf.set("use_simplified_query_generation", True) :

  • Suppression de la nécessité de cache_result dans l’implémentation interne de l’image de données d’entrée, ce qui permet une opération d’image de données paresseuse.

  • L’argument seed se comporte désormais comme prévu, avec des résultats reproductibles sur plusieurs appels et sessions.

• DataFrame.fillna et DataFrame.replace permettent désormais de faire rentrer int et float dans les colonnes de Decimal si include_decimal est défini sur True.

• Ajout de la documentation pour les UDF et les fonctions de procédure stockée suivantes dans files.py suite à leur disponibilité générale.

  • SnowflakeFile.write

  • SnowflakeFile.writelines

  • SnowflakeFile.writeable

• Changements mineurs dans la documentation pour SnowflakeFile et SnowflakeFile.open().

Corrections de bogues¶

• Correction d’un bogue pour les fonctions suivantes qui soulevaient des erreurs. .cast() est appliqué à leur sortie :

  • from_json

  • size

Mises à jour des tests locaux Snowpark¶

Mises à jour de l’API pandas Snowpark¶

Mises à jour des tests locaux Snowpark¶

Corrections de bogues¶

• Correction d’un bogue dans DataFrameReader.dbapi (aperçu privé) qui empêche l’utilisation dans les procédures stockées et les Snowbooks.

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des fonctions suivantes, activées par AI, dans functions.py (Aperçu privé) :

  • ai_filter

  • ai_agg

  • summarize_agg

• Ajout de la prise en charge du nouveau type FILE SQL, avec les fonctions connexes suivantes dans functions.py (Aperçu privé) :

  • fl_get_content_type

  • fl_get_etag

  • fl_get_file_type

  • fl_get_last_modified

  • fl_get_relative_path

  • fl_get_scoped_file_url

  • fl_get_size

  • fl_get_stage

  • fl_get_stage_file_url

  • fl_is_audio

  • fl_is_compressed

  • fl_is_document

  • fl_is_image

  • fl_is_video

• Ajout de la prise en charge de l’importation de paquets tiers depuis PyPi avec Artifact Repository (Aperçu privé) :

  • Utilisez les arguments de mot-clé artifact_repository et artifact_repository_packages pour spécifier respectivement votre référentiel d’artefacts et vos paquets lors de l’enregistrement de procédures stockées ou de fonctions définies par l’utilisateur.

  • Les APIs prises en charge sont :

    • Session.sproc.register

    • Session.udf.register

    • Session.udaf.register

    • Session.udtf.register

    • functions.sproc

    • functions.udf

    • functions.udaf

    • functions.udtf

    • functions.pandas_udf

    • functions.pandas_udtf

Améliorations¶

• Amélioration des avertissements de validation de version pour la compatibilité avec le paquet snowflake-snowpark-python lors de l’enregistrement des procédures stockées. Désormais, les avertissements ne sont déclenchés que si la version majeure ou mineure ne correspond pas, tandis que les différences de version ne génèrent plus d’avertissements.

• Augmentation de la dépendance de cloudpickle pour prendre en charge cloudpickle==3.0.0 en plus des versions précédentes.

Corrections de bogues¶

• Correction d’un bogue où la création d’un Dataframe avec un grand nombre de valeurs soulevait l’erreur Unsupported feature 'SCOPED_TEMPORARY'. si la session thread-safe était désactivée.

• Correction d’un bogue à cause duquel df.describe soulevait une erreur d’exécution interne de SQL lorsque DataFrame était créé à partir de la lecture d’un fichier de zone de préparation et que l’optimisation de CTE était activée.

• Correction d’un bogue à cause duquel df.order_by(A).select(B).distinct() générait des SQL invalides lorsque la génération de requêtes simplifiées était activée à l’aide de session.conf.set("use_simplified_query_generation", True).

  • La génération de requêtes simplifiées est désactivée par défaut.

Mises à jour de l’API pandas Snowpark¶

Mises à jour des tests locaux Snowpark¶

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des fonctions suivantes dans functions.py

  • normal

  • randn

• Ajout de la prise en charge du paramètre allow_missing_columns à Dataframe.union_by_name et Dataframe.union_all_by_name.

Améliorations¶

• Amélioration de la génération de noms d’objets aléatoires pour éviter les collisions.

• Amélioration de la génération de requêtes pour Dataframe.distinct afin de générer SELECT DISTINCT au lieu de SELECT avec GROUP BY toutes les colonnes. Pour désactiver cette fonction, définissez session.conf.set("use_simplified_query_generation", False).

Dépréciations¶

• Fonction Snowpark Python obsolète snowflake_cortex_summarize. Les utilisateurs peuvent installer snowflake-ml-python et utiliser la fonction snowflake.cortex.summarize à la place.

• Fonction Snowpark Python obsolète snowflake_cortex_sentiment. Les utilisateurs peuvent installer snowflake-ml-python et utiliser la fonction snowflake.cortex.sentiment à la place.

Corrections de bogues¶

• Correction d’un bogue où la balise de requête au niveau de la session était remplacée par une trace de pile pour DataFrames qui génère plusieurs requêtes. Désormais, la balise de requête ne sera définie avec la trace de pile que si session.conf.set("collect_stacktrace_in_query_tag", True).

• Correction d’un bogue dans Session._write_pandas qui passait par erreur le paramètre use_logical_type à Session._write_modin_pandas_helper lors de l’écriture d’un objet pandas Snowpark.

• Correction d’un bogue dans la génération des options SQL qui pouvait entraîner un formatage incorrect des valeurs multiples.

• Correction d’un bogue dans Session.catalog où les chaînes vides pour la base de données ou le schéma n’étaient pas gérées correctement et généraient des instructions SQL erronées.

Fonctions expérimentales¶

• Ajout de la prise en charge pour l’écriture de tables pyarrow vers des tables Snowflake.

Mises à jour de l’API pandas Snowpark¶

Corrections de bogues¶

• Correction d’un bogue dans apply où les kwargs n’étaient pas correctement passés dans la fonction appliquée.

Mises à jour des tests locaux Snowpark¶

Corrections de bogues¶

• Correction d’un bogue dans DataFrame.join qui provoquait une mauvaise saisie des colonnes.

• Correction d’un bogue dans les instructions when qui entraînait des résultats incorrects dans la clause otherwise.

Nouvelles fonctionnalités¶

Ajout de la prise en charge des fonctions suivantes dans functions.py :

• array_reverse

• divnull

• map_cat

• map_contains_key

• map_keys

• nullifzero

• snowflake_cortex_sentiment

• acosh

• asinh

• atanh

• bit_length

• bitmap_bit_position

• bitmap_bucket_number

• bitmap_construct_agg

• cbrt

• equal_null

• from_json

• ifnull

• localtimestamp

• max_by

• min_by

• nth_value

• nvl

• octet_length

• position

• regr_avgx

• regr_avgy

• regr_count

• regr_intercept

• regr_r2

• regr_slope

• regr_sxx

• regr_sxy

• regr_syy

• try_to_binary

• base64

• base64_decode_string

• base64_encode

• editdistance

• hex

• hex_encode

• instr

• log1p

• log2

• log10

• percentile_approx

• unbase64

• Ajout de la prise en charge de la spécification d’une chaîne de schéma (y compris la syntaxe struct implicite) lors de l’appel de DataFrame.create_dataframe.

• Ajout de la prise en charge de DataFrameWriter.insert_into/insertInto. Cette méthode prend également en charge le mode de test local.

• Ajout de la prise en charge de DataFrame.create_temp_view pour créer une vue temporaire. L’opération échouera si la vue existe déjà.

• Ajout de la prise en charge de plusieurs colonnes dans les fonctions map_cat et map_concat.

• Ajout d’une option keep_column_order pour conserver l’ordre original des colonnes dans DataFrame.with_column et DataFrame.with_columns.

• Ajout d’options aux conversions de colonnes qui permettent de renommer ou d’ajouter des champs dans les colonnes StructType.

• Ajout de la prise en charge de contains_null parameter à ArrayType.

• Ajout de la prise en charge de la création d’une vue temporaire via DataFrame.create_or_replace_temp_view à partir d’un DataFrame créé par la lecture d’un fichier depuis une zone de préparation.

• Ajout de la prise en charge du paramètre value_contains_null à MapType.

• Ajout d”« interactif » à la télémétrie qui indique si l’environnement actuel est interactif.

• Autorisation de session.file.get dans une Native App à lire les chemins d’accès aux fichiers commençant par / à partir de la version actuelle.

• Ajout de la prise en charge de plusieurs fonctions d’agrégation après DataFrame.pivot.

Fonctions expérimentales¶

• Ajout de la classe Session.catalog pour la gestion des objets Snowflake. Vous pouvez y accéder via Session.catalog.

  • snowflake.core est une dépendance nécessaire à cette fonction.

• Autoriser les schémas d’entrée de l’utilisateur ou les schémas d’entrée de l’utilisateur lors de la lecture du fichier JSON sur la zone de préparation.

• Ajout de la prise en charge de la spécification d’une chaîne de schéma (y compris la syntaxe struct implicite) lors de l’appel de DataFrame.create_dataframe.

Améliorations¶

• Mise à jour de README.md de sorte à inclure des instructions sur la façon de vérifier les signatures des paquets à l’aide de cosign.

Corrections de bogues¶

• Correction d’un bogue dans le mode de test local qui faisait qu’une colonne contenait None alors qu’elle aurait dû contenir 0.

• Correction d’un bogue dans StructField.from_json qui empêchait l’analyse correcte de TimestampTypes avec tzinfo.

• Correction d’un bogue dans function date_format qui provoquait une erreur lorsque la colonne d’entrée était de type date ou horodatage.

• Correction d’un bogue dans DataFrame qui permettait d’insérer des valeurs nulles dans une colonne non annulable.

• Correction d’un bogue dans les fonctions replace et lit qui provoquait une erreur d’assertion d’indication de type lors du passage d’objets d’expression de colonne.

• Correction d’un bogue dans pandas_udf et pandas_udtf où les paramètres de session étaient ignorés par erreur.

• Correction d’un bogue qui provoquait une erreur de conversion de type pour les fonctions du système appelées par l’intermédiaire de session.call.

Mises à jour de l’API pandas Snowpark¶