Notes de version de la bibliothèque Snowpark pour Python pour 2025¶

Corrections de bogues¶

• Ajout d’une correction expérimentale pour un bogue dans la génération de requête de schéma qui pourrait provoquer la génération de SQL non valides lors de l’utilisation de types structurés imbriqués.

Nouvelles fonctionnalités¶

• Rétrogradation au niveau logging.DEBUG - 1 du message du journal indiquant que la référence DataFrame d’un objet DataFrameReference interne a changé.

• Éliminer les requêtes de contrôle de paramètre en double pour l’état de la casse lors de la récupération de la session.

• Récupérer les nombres de lignes DataFrame dans les métadonnées d’objets pour éviter une requête COUNT (*) (performance)

• Ajout de la prise en charge de l’application de la fonction Snowflake Cortex Complete.

• Pandas plus rapides : Amélioration des performances en reportant le calcul de la position des lignes.

  • Les opérations suivantes sont actuellement prises en charge et peuvent bénéficier de l” optimisation : read_snowflake, repr, loc, reset_index, merge, et des opérations binaires.

  • Si un objet paresseux (par exemple, DataFrame ou Series) dépend d’un mélange d’opérations prises en charge et non prises en charge, l” optimisation ne sera pas utilisée.

• Mise à jour du message d’erreur apparaissant lorsque les pandas Snowpark sont référencés dans apply.

• Ajout d’un paramètre de session dummy_row_pos_optimization_enabled pour activer/désactiver l’optimisation de la position des lignes fictives dans les pandas rapides.

Mises à jour des dépendances¶

• Mise à jour des versions modin prises en charge vers >=0.35.0 et <0.37.0 (was previously >= 0.34.0 et <0.36.0).

Corrections de bogues¶

• Correction d’un problème avec drop_duplicates où la même source de données peut être lue plusieurs fois dans la même requête, mais dans un ordre différent à chaque fois, ce qui entraîne des lignes manquantes dans le résultat final. Le correctif garantit que la source de données n’est lue qu’une seule fois.

• Correction d’un bogue avec le mode exécution hybride où une AssertionError a été déclenchée de manière inattendue par certaines opérations d’indexation.

Mises à jour des tests locaux Snowpark¶

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des fonctions suivantes optimisées par l’AI dans:code:functions.py :

  • ai_extract

  • ai_parse_document

  • ai_transcribe

• Ajout de la prise en charge de Time Travel pour l’interrogation des données historiques :

  • Session.table() prend désormais en charge les paramètres Time Travel :

    • time_travel_mode

    • statement

    • offset

    • timestamp

    • timestamp_type

    • stream

  • DataFrameReader.table() prend en charge les mêmes paramètres Time Travel que les arguments directs.

  • DataFrameReader prend en charge Time Travel via le chaînage d’options (par exemple, session.read.option("time_travel_mode", "at").option("offset", -60).table("my_table")).

• Ajout de la prise en charge de la spécification des paramètres suivants dans DataFrameWriter.copy_into_location pour la validation et l’écriture de données dans des emplacements externes :

  • validation_mode

  • storage_integration

  • credentials

  • encryption

• Ajout de la prise en charge de Session.directory et Session.read.directory pour récupérer la liste de tous les fichiers d’une zone de préparation avec des métadonnées.

• Ajout de la prise en charge de DataFrameReader.jdbc(Private Preview) qui permet au pilote JDBC d’ingérer des sources de données externes.

• Ajout de la prise en charge de FileOperation.copy_files pour copier des fichiers d’un emplacement source vers une zone de préparation de sortie.

• Ajout de la prise en charge des fonctions scalaires suivantes dans functions.py :

  • all_user_names

  • bitand

  • bitand_agg

  • bitor

  • bitor_agg

  • bitxor

  • bitxor_agg

  • current_account_name

  • current_client

  • current_ip_address

  • current_role_type

  • current_organization_name

  • current_organization_user

  • current_secondary_roles

  • current_transaction

  • getbit

Corrections de bogues¶

• Correction du _repr_ de TimestampType pour faire correspondre le sous-type réel qu’il représente.

• Correction d’un bogue dans DataFrameReader.dbapi qui faisait que l’ingestion UDTF ne fonctionnait pas dans les procédures stockées.

• Correction d’un bogue dans l’inférence de schéma qui entraînait l’utilisation de préfixes de zone de préparation incorrects.

Améliorations¶

• Amélioration de la gestion des erreurs dans l’ingestion basée sur les threads DataFrameReader.dbapi pour éviter les opérations inutiles, ce qui améliore l’efficacité des ressources.

• Amélioration de la dépendance cloudpickle pour prendre également en charge:code:cloudpickle==3.1.1 en plus des versions précédentes.

• Amélioration des performances d’ingestion de DataFrameReader.dbapi (Prévisualisation publique) pour PostgreSQL et MySQL en utilisant un curseur côté serveur pour récupérer des données.

Mises à jour de l’API pandas Snowpark¶

Nouvelles fonctionnalités¶

• Prise en charge terminée des fonctions suivantes sur les backends « Pandas » et « Ray » :

  • pd.read_snowflake()

  • pd.to_iceberg()

  • pd.to_pandas()

  • pd.to_snowpark()

  • pd.to_snowflake()

  • DataFrame.to_iceberg()

  • DataFrame.to_pandas()

  • DataFrame.to_snowpark()

  • DataFrame.to_snowflake()

  • Series.to_iceberg()

  • Series.to_pandas()

  • Series.to_snowpark()

  • Series.to_snowflake()

    sur les backends « Pandas » et « Ray ». Auparavant, seules certaines de ces fonctions et méthodes étaient prises en charge sur le backend Pandas.

• Ajout de la prise en charge de Index.get_level_values().

Améliorations¶

• Définissez la limite de transfert par défaut dans l’exécution hybride pour les données qui quittent Snowflake à 100 000, qui peut être remplacée par la variable d’environnement SnowflakePandasTransferThreshold. Cette configuration est appropriée pour les scénarios avec deux moteurs disponibles, « pandas » et « Snowflake », sur des charges de travail relationnelles.

• Amélioration du message d’erreur d’importation en ajoutant --upgrade à pip install "snowflake-snowpark-python[modin]" dans le message.

• Réduction des messages de télémétrie du client modin en les pré-agrégeant dans des fenêtres de cinq secondes et en ne conservant qu’une bande étroite de métriques utiles pour suivre l’exécution hybride et les performances des pandas natifs.

• Définition du nombre de lignes initiales uniquement lorsque l’exécution hybride est activée, ce qui réduit le nombre de requêtes émises pour de nombreuses charges de travail.

• Ajout d’un nouveau paramètre de test pour les tests d’intégration afin de permettre l’exécution hybride.

Corrections de bogues¶

• Génération de NotImplementedError au lieu de AttributeError lors de la tentative d’appel de fonctions/méthodes d’extension Snowflake to_dynamic_table(), cache_result(), to_view(), create_or_replace_dynamic_table(), et create_or_replace_view() sur DataFrames ou les séries utilisant les backends pandas ou ray.

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des xpath`fonctions suivantes dans :code:`functions.py :

  • xpath

  • xpath_string

  • xpath_boolean

  • xpath_int

  • xpath_float

  • xpath_double

  • xpath_long

  • xpath_short

• Ajout de la prise en charge du paramètre use_vectorized_scanner dans la fonction Session.write_arrow().

• Le profileur DataFrame ajoute les informations suivantes à chaque requête : describe query time, execution time et sql query text. Pour consulter ces informations, appelez session.dataframe_profiler.enable() et appelez get_execution_profile sur un DataFrame.

• Ajout de la prise en charge de DataFrame.col_ilike.

• Ajout de la prise en charge des appels de procédures stockées non bloquants qui renvoient les objets AsyncJob.

  • Ajout du paramètre block: bool = True à Session.call(). Si block=False, renvoie un AsyncJob au lieu de bloquer jusqu’à la fin.

  • Ajout du paramètre block: bool = True à StoredProcedure.__call__() pour la prise en charge asynchrone des procédures stockées nommées et anonymes.

  • Ajout de Session.call_nowait() qui est équivalent à Session.call(block=False).

Corrections de bogues¶

• Correction d’un bogue dans la zone de préparation d’optimisation CTE où deepcopy des plans internes entraînerait un pic de mémoire lorsqu’un DataFrame est créé localement en utilisant session.create_dataframe() et engendrerait de grandes quantités de données d’entrée.

• Correction d’un bogue dans DataFrameReader.parquet où l’option ignore_case dans le:code:infer_schema_options n’était pas respectée.

• Correction d’un bogue à cause duquel to_pandas() avait un format de nom de colonne différent lorsque le format de résultat de la requête est défini sur JSON et ARROW.

Dépréciations¶

• pkg_resources rendu obsolète.

Mises à jour des dépendances¶

• Ajout d’une dépendance sur protobuf<6.32

Mises à jour de l’API pandas Snowpark¶

Nouvelles fonctionnalités¶

• Ajout de la prise en charge du transfert efficace des données entre Snowflake et <Ray avec la méthode DataFrame.set_backend. La version installée de modin doit être au moins 0.35.0, et ray doit être installé.

Mises à jour des dépendances¶

• Mise à jour des versions de modin prises en charge vers >=0.34.0, = 0,33.0 et <0.35.0.

• Ajout de la prise en charge de pandas 2.3 lorsque la version de modin installée est 0.35.0 ou supérieure.

Corrections de bogues¶

• Correction d’un problème en mode d’exécution hybride (Avant-première privée) où pd.to_datetime et pd.to_timedelta déclenchaient de manière inattendue IndexError.

• Correction d’un bogue à cause duquel pd.explain_switch déclenche IndexError ou renvoie None s’il est appelé avant que toute opération de basculement potentielle soit effectuée.

Nouvelles fonctionnalités¶

• Session.create_dataframe accepte désormais des arguments de type mot-clé qui sont transmis dans l’appel interne à Session.write_pandas ou Session.write_arrow lors de la création d’un DataFrame depuis un pandas DataFrame ou une table pyarrow.

• Ajout de nouvelles APIs pour AsyncJob :

  • AsyncJob.is_failed() renvoie un valeur bool indiquant si la tâche est en échec. Peut être utilisé en combinaison avec AsyncJob.is_done() pour déterminer si une tâche est terminée et erronée.

  • AsyncJob.status() renvoie une chaîne représentant l’état actuel de la requête (par exemple, « RUNNING », « SUCCESS », « FAILED_WITH_ERROR ») pour une surveillance détaillée sans appeler result().

• Ajout d’un profileur DataFrame. Pour l’utiliser, vous pouvez appeler get_execution_profile() sur le DataFrame souhaité. Ce profileur rend compte des requêtes exécutées pour évaluer un DataFrame et les statistiques sur chacun des opérateurs de requête. Il s’agit actuellement d’une fonctionnalité expérimentale.

• Ajout de la prise en charge des fonctions suivantes dans functions.py :

  • ai_sentiment

• Mise à jour de l’interface pour la fonctionnalité expérimentale context.configure_development_features. Toutes les fonctions de développement sont désactivées par défaut, sauf si elles sont explicitement activées par l’utilisateur.

Améliorations¶

• Améliorations de l’estimation des lignes de l’exécution hybride et réduction des appels exigeants.

• Ajout d’une nouvelle variable de configuration pour contrôler les coûts de transfert hors de Snowflake lors de l’utilisation d’une exécution hybride.

• Ajout de la prise en charge de la création des UDFs/UDTFs permanentes et immuables avec DataFrame/Série/GroupBy.apply, mappent et transforment en transmettant l’argument de mot-clé snowflake_udf_params.

• Ajout de la prise en charge de mapping np.unique dans DataFrame et Entrées de séries en utilisant pd.unique.

Corrections de bogues¶

• Correction d’un problème où le plugin Snowpark pandas se désactivait inconditionnellement AutoSwitchBackend même lorsque les utilisateurs l’avaient explicitement configuré de manière programmatique ou avec des variables d’environnement.

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des fonctions suivantes dans functions.py :

  • ai_embed

  • try_parse_json

Améliorations¶

• Amélioration du paramètre query dans DataFrameReader.dbapi (Avant-première privée) pour que les parenthèses ne soient pas nécessaires autour de la requête.

• Amélioration de l’expérience d’erreur dans DataFrameReader.dbapi (Avant-première privée) pour les exceptions levées lors de l’inférence du schéma de la source de données cible.

Corrections de bogues¶

• Correction d’un bogue dans DataFrameReader.dbapi (Avant-première privée) qui fait échouer dbapi avec le code de sortie de processus 1 dans une procédure stockée Python.

• Correction d’un bogue dans DataFrameReader.dbapi (Avant-première privée) où custom_schema accepte un schéma illégal.

• Correction d’un bogue dans DataFrameReader.dbapi (Avant-première privée) où custom_schema ne fonctionne pas lors de la connexion à Postgres et MySQL.

• Correction d’un bogue dans l’inférence de schéma qui l’entraînait à échouer pour les zones de préparation externes.

Mises à jour des tests locaux Snowpark¶

Nouvelles fonctionnalités¶

• Ajout d’une nouvelle option TRY_CAST dans DataFrameReader. Lorsque TRY_CAST est True, les colonnes sont groupées dans un TRY_CAST au lieu d’une conversion matérielle lors du chargement des données.

• Ajout d’une nouvelle option USE_RELAXED_TYPES au INFER_SCHEMA_OPTIONS de DataFrameReader. Lorsqu’elle est définie sur True, cette option convertit toutes les chaînes en chaînes de longueur maximale et tous les types numériques en DoubleType.

• Ajout d’améliorations de débogabilité pour valider immédiatement les métadonnées des schémas de dataframe. Activez-la en utilisant snowflake.snowpark.context.configure_development_features().

• Ajout d’une nouvelle fonction snowflake.snowpark.dataframe.map_in_pandas qui permet aux utilisateurs de mapper une fonction à travers un dataframe. La fonction de mappage prend un itérateur de pandas DataFrames en entrée et en fournit un en sortie.

• Ajout d’un ttl cache pour décrire les requêtes. Les requêtes répétées dans un intervalle de 15 secondes utilisent la valeur mise en cache plutôt que d’interroger Snowflake.

• Ajout d’un paramètre fetch_with_process dans DataFrameReader.dbapi (PrPr) pour activer le multitraitement pour la récupération de données en parallèle dans l’ingestion locale. Par défaut, l’ingestion locale utilise le multithreading. Le multitraitement peut améliorer les performances pour les tâches liées aux CPU, telles que la génération de fichiers Parquet.

• Ajout d’une nouvelle fonction snowflake.snowpark.functions.model qui permet aux utilisateurs de nommer les méthodes d’un modèle.

Améliorations¶

• Ajout de la prise en charge de la validation des lignes à l’aide d’un schéma XSD utilisant l’option rowValidationXSDPath lors de la lecture de fichiers XML avec une balise de ligne utilisant l’option rowTag.

• Amélioration de la génération de SQL pour que session.table().sample() génère une instruction SQL.

• Ajout de la prise en charge de l’expression de colonne complexe comme entrée pour functions.explode.

• Ajout d’améliorations de débogabilité pour montrer à quelles lignes Python une erreur de compilation SQL correspond. Activez-le en utilisant snowflake.snowpark.context.configure_development_features(). Cette fonctionnalité dépend également des collections AST à activer dans la session, ce qui peut être fait en utilisant session.ast_enabled = True.

• Définissez enforce_ordering=True lors de l’appel de to_snowpark_pandas():code: à partir d’un DataFrame Snowpark contenant des requêtes DML/DDL au lieu de renvoyer une NotImplementedError.

Corrections de bogues¶

• Correction d’un bogue causé par une validation redondante lors de la création d’une table Iceberg.

• Correction d’un bogue dans DataFrameReader.dbapi (Avant-première privée), où la fermeture du curseur ou de la connexion pouvait générer de manière inattendue une erreur et mettre fin au programme.

• Correction d’erreurs de colonnes ambiguës lors de l’utilisation de fonctions de table dans DataFrame.select() dont les colonnes de sortie correspondent aux colonnes d’entrée du DataFrame. Cette amélioration fonctionne lorsque les colonnes DataFrame sont fournies sous la forme d’objets Column.

• Correction d’un bogue où le fait d’avoir une valeur NULL dans une colonne avec desDecimalTypes convertissait la colonne en FloatTypes, entraînant une perte de précision.

Mises à jour des tests locaux Snowpark¶

• Correction d’un bogue lors du traitement des fonctions fenêtrées qui entraînait une indexation incorrecte des résultats.

• Lorsqu’un numérique scalaire sera transmis à fillna, Snowflake ignorera les colonnes non numériques au lieu de produire une erreur.

Mises à jour de l’API pandas Snowpark¶

Nouvelles fonctionnalités¶

• Ajout de la prise en charge de MySQL dans DataFrameWriter.dbapi (Avant-première privée) pour Parquet et l’ingestion basée sur les UDTF.

• Ajout de la prise en charge de PostgreSQL dans DataFrameReader.dbapi (Avant-première privée) pour Parquet et l’ingestion basée sur les UDTF.

• Ajout de la prise en charge de Databricks dans DataFrameWriter.dbapi (Avant-première privée) pour l’ingestion basée sur les UDTF, se renforçant avec d’autres mentions de la prise en charge de Databricks.

• Ajout de la prise en charge à DataFrameReader pour activer l’utilisation de PATTERN lors de la lecture de fichiers où INFER_SCHEMA est activé.

• Ajout de la prise en charge des fonctions suivantes optimisées par l’AI dans:code:functions.py :

  • ai_complete

  • ai_similarity

  • ai_summarize_agg (à l’origine summarize_agg)

  • différentes options de configuration pour ai_classify

• Ajout de la prise en charge de plus d’options lors de la lecture de fichiers XML avec une balise de ligne utilisant l’option rowTag.

  • Ajout de la prise en charge de la suppression des préfixes d’espace de noms des noms de colonnes à l’aide de l’option ignoreNamespace.

  • Ajout de la prise en charge de la spécification du préfixe de la colonne d’attributs dans la table de résultats à l’aide de l’option attributePrefix.

  • Ajout de la prise en charge de l’exclusion des attributs de l’élément XML utilisant l’option excludeAttributes.

  • Ajout de la prise en charge de la spécification du nom de colonne pour la valeur lorsqu’il y a des attributs dans un élément qui n’a pas d’éléments enfants utilisant l’option valueTag.

  • Ajout de la prise en charge de la spécification de la valeur à traiter comme une valeur nulle à l’aide de l’option nullValue.

  • Ajout de la prise en charge de la spécification de l’encodage des caractères pour le fichier XML à l’aide de l’option charset.

  • Ajout de la prise en charge du fait d’ignorer les espaces blancs environnants dans l’élément XML à l’aide de l’option ignoreSurroundingWhitespace.

• Ajout de la prise en charge du paramètre return_dataframe dans Session.call, qui peut être utilisé pour définir le type de renvoi des fonctions sur un objet DataFrame.

• Ajout d’un nouvel argument à Dataframe.describe appelé strings_include_math_stats, qui déclenche le calcul stddev et mean pour les colonnes de type chaîne.

• Ajout de la prise en charge de la récupération des Edge.properties lors de la récupération de la lignée de DGQL dans DataFrame.lineage.trace.

• Ajout d’un paramètre table_exists dans DataFrameWriter.save_as_table qui permet de spécifier si une table existe déjà. Cela permet d’ignorer une recherche dans la table qui peut s’avérer coûteuse.

Corrections de bogues¶

• Correction d’un bogue dans DataFrameReader.dbapi (Avant-première privée) où le create_connection définie comme fonction locale était incompatible avec le multitraitement.

• Correction d’un bogue dans DataFrameReader.dbapi (Avant-première privée) où le type Databricks TIMESTAMP était converti en type Snowflake TIMESTAMP_NTZ, lequel devrait être de type TIMESTAMP_LTZ.

• Correction d’un bogue dans DataFrameReader.json où des lectures répétées avec le même objet de lecteur créaient des colonnes mal citées.

• Correction d’un bogue dans DataFrame.to_pandas() qui entraînait l’abandon des noms de colonnes lors de la conversion d’un DataFrame qui ne provient pas d’une instruction de sélection.

• Correction d’un bogue à cause duquel DataFrame.create_or_replace_dynamic_table signalait une erreur lorsque le DataFrame contenait une UDTF et SELECT * dans la UDTF n’était pas analysé correctement.

• Correction d’un bogue où les colonnes converties ne pouvaient pas être utilisées dans la clause valeurs des fonctions.

Améliorations¶

• Amélioration du message d’erreur pour Session.write_pandas() et Session.create_dataframe() lorsque le pandas d’entrée DataFrame n’a pas de colonne.

• Amélioration de DataFrame.select lorsque les arguments contiennent une fonction de table avec des colonnes de sortie qui coïncident avec les colonnes du DataFrame actuel. Avec l’amélioration, si l’utilisateur fournit des colonnes non coïncidentes dans df.select("col1", "col2", table_func(...)) comme arguments de chaîne, la requête générée par le client Snowpark ne lèvera pas d’erreur de colonne ambiguë.

• Amélioration de DataFrameReader.dbapi (Avant-première privée) pour utiliser l’ingestion en mémoire basée sur Parquet et améliorer les performances et la sécurité.

• Amélioration de DataFrameReader.dbapi (Avant-première privée) pour utiliser MATCH_BY_COLUMN_NAME=CASE_SENSITIVE dans l’opération de copie dans la table.

Mises à jour des tests locaux Snowpark¶

Mises à jour de l’API pandas Snowpark¶

Améliorations¶

• L’invocation des procédures du système Snowflake n’entraîne pas d’appel supplémentaire à describe procedure pour vérifier le type de retour de la procédure.

• Ajout de la prise en charge de Session.create_dataframe() avec l’URL de la zone de préparation et le type de données FILE.

• Prise en charge de différents modes de traitement des enregistrements XML corrompus lors de la lecture d’un fichier XML à l’aide de session.read.option('mode', <mode>), option('rowTag', <tag_name>).xml(<stage_file_path>). Actuellement, PERMISSIVE, DROPMALFORMED et FAILFAST sont pris en charge.

• Amélioration du message d’erreur du lecteur XML lorsque ROWTAG spécifié n’est pas trouvé dans le fichier.

• Amélioration de la génération de requêtes pour Dataframe.drop afin d’utiliser SELECT * EXCLUDE () pour exclure les colonnes supprimées. Pour activer cette fonction, définissez session.conf.set("use_simplified_query_generation", True).

• Ajout de la prise en charge de VariantType à StructType.from_json.

Corrections de bogues¶

• Correction d’un bogue dans DataFrameWriter.dbapi (Aperçu privé) où les noms de colonnes unicode ou entre guillemets doubles dans les bases de données externes provoquent des erreurs parce qu’ils ne sont pas cités correctement.

• Correction d’un bogue où les champs nommés dans les données imbriquées de OBJECT pouvaient provoquer des erreurs lorsqu’ils contenaient des espaces.

Mises à jour des tests locaux Snowpark¶

Mises à jour de l’API pandas Snowpark¶

Nouvelles fonctionnalités¶

• Ajout de la prise en charge de l’autorisation restricted caller de l’argument execute_as dans StoredProcedure.register():code:.

• Prise en charge des instructions de non-sélection dans DataFrame.to_pandas().

• La prise en charge du paramètre artifact_repository a été ajoutée à Session.add_packages, Session.add_requirements, Session.get_packages, Session.remove_package et Session.clear_packages.

• Ajout de la prise en charge de la lecture d’un fichier XML à l’aide d’une balise de ligne par session.read.option('rowTag', <tag_name>).xml(<stage_file_path>) (expérimental).

  • Chaque enregistrement XML est extrait sous la forme d’une ligne distincte.

  • Chaque champ de cet enregistrement devient une colonne distincte de type VARIANT, qui peut faire l’objet d’une requête à l’aide de la notation par points, par exemple col(a.b.c).

• Ajout de mises à jour sur DataFrameReader.dbapi (PrPr) :

  • Le paramètre fetch_merge_count a été ajouté pour optimiser les performances en fusionnant plusieurs données dans un seul fichier Parquet.

  • Ajout de la prise en charge de Databricks.

  • Ajout de la prise en charge de l’ingestion avec Snowflake UDTF.

• Ajout de la prise en charge des fonctions suivantes, activées par AI, dans functions.py (Aperçu privé) :

  • prompt

  • ai_filter (ajout de la prise en charge de la fonction prompt() et des fichiers image, et modification du nom du deuxième argument de expr à file)

  • ai_classify

Mises à jour des tests locaux Snowpark¶

Mises à jour de l’API pandas Snowpark¶

Nouvelles fonctionnalités¶

• Prise en charge des garanties de cohérence et d’ordre relâchées dans Dataframe.to_snowpark_pandas en introduisant le paramètre relaxed_ordering.

• DataFrameReader.dbapi (aperçu) accepte désormais une liste de chaînes pour le paramètre session_init_statement, ce qui permet d’exécuter plusieurs instructions SQL lors de l’initialisation de la session.

Améliorations¶

• Amélioration de la génération de requêtes pour Dataframe.stat.sample_by afin de générer une seule requête plate qui s’adapte bien à un large dictionnaire fractions par rapport à l’ancienne méthode qui consistait à créer une sous-requête UNION ALL pour chaque clé dans fractions. Pour activer cette fonction, définissez session.conf.set("use_simplified_query_generation", True).

• Amélioration des performances de DataFrameReader.dbapi en activant l’option vectorisée lors de la copie d’un fichier parquet dans une table.

• La génération de requêtes pour DataFrame.random_split a été améliorée de la manière suivante. Elles peuvent être activées en définissant session.conf.set("use_simplified_query_generation", True) :

  • Suppression de la nécessité de cache_result dans l’implémentation interne de l’image de données d’entrée, ce qui permet une opération d’image de données paresseuse.

  • L’argument seed se comporte désormais comme prévu, avec des résultats reproductibles sur plusieurs appels et sessions.

• DataFrame.fillna et DataFrame.replace permettent désormais de faire rentrer int et float dans les colonnes de Decimal si include_decimal est défini sur True.

• Ajout de la documentation pour les UDF et les fonctions de procédure stockée suivantes dans files.py suite à leur disponibilité générale.

  • SnowflakeFile.write

  • SnowflakeFile.writelines

  • SnowflakeFile.writeable

• Changements mineurs dans la documentation pour SnowflakeFile et SnowflakeFile.open().

Corrections de bogues¶

• Correction d’un bogue pour les fonctions suivantes qui soulevaient des erreurs. .cast() est appliqué à leur sortie :

  • from_json

  • size

Mises à jour des tests locaux Snowpark¶

Mises à jour de l’API pandas Snowpark¶

Mises à jour des tests locaux Snowpark¶

Corrections de bogues¶

• Correction d’un bogue dans DataFrameReader.dbapi (aperçu privé) qui empêche l’utilisation dans les procédures stockées et les Snowbooks.

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des fonctions suivantes, activées par AI, dans functions.py (Aperçu privé) :

  • ai_filter

  • ai_agg

  • summarize_agg

• Ajout de la prise en charge du nouveau type FILE SQL, avec les fonctions connexes suivantes dans functions.py (Aperçu privé) :

  • fl_get_content_type

  • fl_get_etag

  • fl_get_file_type

  • fl_get_last_modified

  • fl_get_relative_path

  • fl_get_scoped_file_url

  • fl_get_size

  • fl_get_stage

  • fl_get_stage_file_url

  • fl_is_audio

  • fl_is_compressed

  • fl_is_document

  • fl_is_image

  • fl_is_video

• Ajout de la prise en charge de l’importation de paquets tiers depuis PyPi avec Artifact Repository (Aperçu privé) :

  • Utiliser des arguments de mots-clés artifact_repository et packages pour spécifier respectivement votre référentiel d’artefacts et vos paquets lors de l’enregistrement de procédures stockées ou de fonctions définies par l’utilisateur.

  • Les APIs prises en charge sont :

    • Session.sproc.register

    • Session.udf.register

    • Session.udaf.register

    • Session.udtf.register

    • functions.sproc

    • functions.udf

    • functions.udaf

    • functions.udtf

    • functions.pandas_udf

    • functions.pandas_udtf

Améliorations¶

• Amélioration des avertissements de validation de version pour la compatibilité avec le paquet snowflake-snowpark-python lors de l’enregistrement des procédures stockées. Désormais, les avertissements ne sont déclenchés que si la version majeure ou mineure ne correspond pas, tandis que les différences de version ne génèrent plus d’avertissements.

• Augmentation de la dépendance de cloudpickle pour prendre en charge cloudpickle==3.0.0 en plus des versions précédentes.

Corrections de bogues¶

• Correction d’un bogue où la création d’un Dataframe avec un grand nombre de valeurs soulevait l’erreur Unsupported feature 'SCOPED_TEMPORARY'. si la session thread-safe était désactivée.

• Correction d’un bogue à cause duquel df.describe soulevait une erreur d’exécution interne de SQL lorsque DataFrame était créé à partir de la lecture d’un fichier de zone de préparation et que l’optimisation de CTE était activée.

• Correction d’un bogue à cause duquel df.order_by(A).select(B).distinct() générait des SQL invalides lorsque la génération de requêtes simplifiées était activée à l’aide de session.conf.set("use_simplified_query_generation", True).

  • La génération de requêtes simplifiées est désactivée par défaut.

Mises à jour de l’API pandas Snowpark¶

Mises à jour des tests locaux Snowpark¶

Nouvelles fonctionnalités¶

• Ajout de la prise en charge des fonctions suivantes dans functions.py

  • normal

  • randn

• Ajout de la prise en charge du paramètre allow_missing_columns à Dataframe.union_by_name et Dataframe.union_all_by_name.

Améliorations¶

• Amélioration de la génération de noms d’objets aléatoires pour éviter les collisions.

• Amélioration de la génération de requêtes pour Dataframe.distinct afin de générer SELECT DISTINCT au lieu de SELECT avec GROUP BY toutes les colonnes. Pour désactiver cette fonction, définissez session.conf.set("use_simplified_query_generation", False).

Dépréciations¶

• Fonction Snowpark Python obsolète snowflake_cortex_summarize. Les utilisateurs peuvent installer snowflake-ml-python et utiliser la fonction snowflake.cortex.summarize à la place.

• Fonction Snowpark Python obsolète snowflake_cortex_sentiment. Les utilisateurs peuvent installer snowflake-ml-python et utiliser la fonction snowflake.cortex.sentiment à la place.

Corrections de bogues¶

• Correction d’un bogue où la balise de requête au niveau de la session était remplacée par une trace de pile pour DataFrames qui génère plusieurs requêtes. Désormais, la balise de requête ne sera définie avec la trace de pile que si session.conf.set("collect_stacktrace_in_query_tag", True).

• Correction d’un bogue dans Session._write_pandas qui passait par erreur le paramètre use_logical_type à Session._write_modin_pandas_helper lors de l’écriture d’un objet pandas Snowpark.

• Correction d’un bogue dans la génération des options SQL qui pouvait entraîner un formatage incorrect des valeurs multiples.

• Correction d’un bogue dans Session.catalog où les chaînes vides pour la base de données ou le schéma n’étaient pas gérées correctement et généraient des instructions SQL erronées.

Fonctions expérimentales¶

• Ajout de la prise en charge pour l’écriture de tables pyarrow vers des tables Snowflake.

Mises à jour de l’API pandas Snowpark¶

Corrections de bogues¶

• Correction d’un bogue dans apply où les kwargs n’étaient pas correctement passés dans la fonction appliquée.

Mises à jour des tests locaux Snowpark¶

Corrections de bogues¶

• Correction d’un bogue dans DataFrame.join qui provoquait une mauvaise saisie des colonnes.

• Correction d’un bogue dans les instructions when qui entraînait des résultats incorrects dans la clause otherwise.

Nouvelles fonctionnalités¶

Ajout de la prise en charge des fonctions suivantes dans functions.py :

• array_reverse

• divnull

• map_cat

• map_contains_key

• map_keys

• nullifzero

• snowflake_cortex_sentiment

• acosh

• asinh

• atanh

• bit_length

• bitmap_bit_position

• bitmap_bucket_number

• bitmap_construct_agg

• cbrt

• equal_null

• from_json

• ifnull

• localtimestamp

• max_by

• min_by

• nth_value

• nvl

• octet_length

• position

• regr_avgx

• regr_avgy

• regr_count

• regr_intercept

• regr_r2

• regr_slope

• regr_sxx

• regr_sxy

• regr_syy

• try_to_binary

• base64

• base64_decode_string

• base64_encode

• editdistance

• hex

• hex_encode

• instr

• log1p

• log2

• log10

• percentile_approx

• unbase64

• Ajout de la prise en charge de la spécification d’une chaîne de schéma (y compris la syntaxe struct implicite) lors de l’appel de DataFrame.create_dataframe.

• Ajout de la prise en charge de DataFrameWriter.insert_into/insertInto. Cette méthode prend également en charge le mode de test local.

• Ajout de la prise en charge de DataFrame.create_temp_view pour créer une vue temporaire. L’opération échouera si la vue existe déjà.

• Ajout de la prise en charge de plusieurs colonnes dans les fonctions map_cat et map_concat.

• Ajout d’une option keep_column_order pour conserver l’ordre original des colonnes dans DataFrame.with_column et DataFrame.with_columns.

• Ajout d’options aux conversions de colonnes qui permettent de renommer ou d’ajouter des champs dans les colonnes StructType.

• Ajout de la prise en charge de contains_null parameter à ArrayType.

• Ajout de la prise en charge de la création d’une vue temporaire via DataFrame.create_or_replace_temp_view à partir d’un DataFrame créé par la lecture d’un fichier depuis une zone de préparation.

• Ajout de la prise en charge du paramètre value_contains_null à MapType.

• Ajout d”« interactif » à la télémétrie qui indique si l’environnement actuel est interactif.

• Autorisation de session.file.get dans une Native App à lire les chemins d’accès aux fichiers commençant par / à partir de la version actuelle.

• Ajout de la prise en charge de plusieurs fonctions d’agrégation après DataFrame.pivot.

Fonctions expérimentales¶

• Ajout de la classe Session.catalog pour la gestion des objets Snowflake. Vous pouvez y accéder via Session.catalog.

  • snowflake.core est une dépendance nécessaire à cette fonction.

• Autoriser les schémas d’entrée de l’utilisateur ou les schémas d’entrée de l’utilisateur lors de la lecture du fichier JSON sur la zone de préparation.

• Ajout de la prise en charge de la spécification d’une chaîne de schéma (y compris la syntaxe struct implicite) lors de l’appel de DataFrame.create_dataframe.

Améliorations¶

• Mise à jour de README.md de sorte à inclure des instructions sur la façon de vérifier les signatures des paquets à l’aide de cosign.

Corrections de bogues¶

• Correction d’un bogue dans le mode de test local qui faisait qu’une colonne contenait None alors qu’elle aurait dû contenir 0.

• Correction d’un bogue dans StructField.from_json qui empêchait l’analyse correcte de TimestampTypes avec tzinfo.

• Correction d’un bogue dans function date_format qui provoquait une erreur lorsque la colonne d’entrée était de type date ou horodatage.

• Correction d’un bogue dans DataFrame qui permettait d’insérer des valeurs nulles dans une colonne non annulable.

• Correction d’un bogue dans les fonctions replace et lit qui provoquait une erreur d’assertion d’indication de type lors du passage d’objets d’expression de colonne.

• Correction d’un bogue dans pandas_udf et pandas_udtf où les paramètres de session étaient ignorés par erreur.

• Correction d’un bogue qui provoquait une erreur de conversion de type pour les fonctions du système appelées par l’intermédiaire de session.call.

Mises à jour de l’API pandas Snowpark¶