Juin 2022¶

Snowpark API pour Python — Avant-première¶

Nous avons le plaisir d’annoncer l’avant-première de l’API Snowpark pour Python.

Snowpark est une nouvelle expérience de développement qui offre une API intuitive pour l’interrogation et le traitement des données dans un pipeline de données. Grâce à cette bibliothèque, vous pouvez créer des applications qui traitent les données dans Snowflake sans les déplacer vers le système où s’exécute le code de votre application.

Les fonctionnalités en avant-première sont destinées à des fins d’évaluation et de test et ne sont pas recommandées pour une utilisation en production.

Pour plus d’informations, voir Guide du développeur Snowpark pour Python.

UDFs Python — Avant-première¶

Nous avons le plaisir d’annoncer en avant-première l’introduction d’UDFs Python (fonctions définies par l’utilisateur).

Les utilisateurs peuvent désormais écrire des fonctions personnalisées dans le langage de programmation Python et les appeler comme s’il s’agissait de fonctions intégrées.

Les fonctionnalités en avant-première sont destinées à des fins d’évaluation et de test et ne sont pas recommandées pour une utilisation en production.

Pour plus d’informations, voir Introduction aux UDFs Python.

Interface lots UDF Python — Avant-première¶

Nous avons le plaisir d’annoncer en avant-première l’introduction de l’API par lots UDF Python

L’API par lots UDF Python permet de définir des fonctions Python qui reçoivent des lots de lignes d’entrée sous forme de DataFrames Pandas et renvoient des lots de résultats sous forme de tableaux ou de séries Pandas. Vous appelez des UDFs Python qui utilisent l’API par lots de la même manière que vous appelez les autres UDFs Python.

Les fonctionnalités en avant-première sont destinées à des fins d’évaluation et de test et ne sont pas recommandées pour une utilisation en production.

Pour plus d’informations, voir UDFs Python vectorisées.

UDTFs Python — Avant-première¶

Nous avons le plaisir d’annoncer en avant-première l’introduction d’UDTFs Python (fonctions de table définies par l’utilisateur).

Les UDTFs Python étendent les capacités de développement natives de Snowflake en combinant les avantages des fonctions de table avec la puissance, la flexibilité et la facilité de la programmation en Python.

Les fonctionnalités en avant-première sont destinées à des fins d’évaluation et de test et ne sont pas recommandées pour une utilisation en production.

Pour plus d’informations, voir Écriture d’une UDTF en Python.

Procédures stockées Snowpark pour Python — Avant-première¶

Nous avons le plaisir d’annoncer en avant-première l’introduction de procédures stockées Snowpark for Python. Vous pourrez ainsi écrire des procédures stockées en Python en utilisant l’API Snowpark.

Dans votre procédure stockée, vous pouvez utiliser l’API Snowpark pour Python pour héberger vos pipelines de données dans Snowflake. Par exemple, vous pouvez écrire des procédures stockées dans les cas où vous devez exécuter votre code Snowpark sans lancer une application client (par exemple, à partir d’une tâche).

Les fonctionnalités en avant-première sont destinées à des fins d’évaluation et de test et ne sont pas recommandées pour une utilisation en production.

Pour plus d’informations, voir Écriture de procédures stockées en Python.

Commande ALTER TAG : ajout d’une prise en charge de la politique de masquage¶

Avec cette version, Snowflake met à jour la commande ALTER TAG pour permettre de spécifier une politique de masquage.

Nouvelles fonctions¶

Les fonctions suivantes sont désormais disponibles avec cette version :

Améliorations de latence DML¶

Nous avons le plaisir d’annoncer des améliorations de latence DML pour les charges de travail comportant un nombre élevé d’opérations DML simultanées (par exemple, plus de 100 tâches DML par seconde), telles que les charges de travail d’ingestion ou les charges de travail de type OLTP. Ces améliorations permettent d’accélérer les charges de travail à forte intensité d’écriture et de réduire la charge de l’entrepôt.

Entrepôts plus grands — Avant-première¶

Avec cette version, nous avons le plaisir d’annoncer une amélioration des performances des entrepôts de grande taille (5X-LARGE et 6X-LARGE). Ces entrepôts plus grands peuvent améliorer les performances des charges de travail à forte intensité de calcul et permettre un traitement plus rapide des grands ensembles de données.

Cette fonction en avant-première n’est actuellement disponible que sur Amazon Web Services (AWS) en EU (Irlande), d’autres régions suivront. Avant de provisionner un entrepôt 5X-LARGE ou 6X-LARGE, veuillez contacter l’assistance Snowflake. Les délais de provisionnement pour ces tailles peuvent être légèrement plus longs pendant la phase de prévisualisation.

Pour plus d’informations, voir Aperçu des entrepôts.

Snowpipe : notifications d’erreur pour Google Cloud Pub/Sub ou Microsoft Azure Event Grid — Avant-première¶

Nous avons le plaisir d’annoncer la prise en charge en avant-première des notifications d’erreur Snowpipe envoyées vers le service de messagerie Cloud Google Cloud Platform Pub/Sub ou Microsoft Azure Event Grid. Lorsque Snowpipe rencontre des erreurs lors du chargement des données de fichiers en zone de préparation dans un service de stockage Cloud pris en charge, cette fonctionnalité déclenche une notification qui décrit les erreurs, ce qui permet une analyse plus approfondie des données des fichiers.

Cette fonction permet d’envoyer des notifications d’erreur pour les charges provenant de l’auto-ingestion Snowpipe ou les appels à l’API REST Snowpipe.

Les fonctionnalités disponibles en avant-première sont destinées à des fins d’évaluation et de test et ne sont pas recommandées pour une utilisation en production.

Snowpipe : prise en charge de l’appel de l’API REST Snowpipe par des non-propriétaires de canaux¶

Avec cette version, l’appel des points de terminaison REST Snowpipe publics pour charger des données et récupérer des rapports sur l’historique de chargement n’est plus limité au propriétaire d’un canal (c’est-à-dire le rôle ayant le privilège OWNERSHIP sur le canal) ou à un rôle supérieur dans une hiérarchie de rôles. Les privilèges de canaux suivants permettent d’appeler des points de terminaison REST spécifiques :

Les autres exigences en matière de contrôle d’accès existantes restent les mêmes.

Tâches : prise en charge de DAG — Avant-première¶

Nous avons le plaisir d’annoncer en avant-première l’introduction de la prise en charge des graphes orientés acycliques (DAG) de tâches. Un DAG est une série de tâches composée d’une seule tâche racine et de tâches supplémentaires, organisées en fonction de leurs dépendances. Auparavant, les utilisateurs étaient limités aux arborescences de tâches, dans lesquelles chaque tâche avait au maximum une seule tâche prédécesseur (parent). Dans un DAG, chaque tâche non-racine peut avoir des dépendances sur plusieurs tâches prédécesseurs, ainsi que sur plusieurs tâches suivantes (enfants) qui dépendent d’elle.

Voici un exemple très simple :

La tâche racine (A) s’exécute selon un calendrier, tel que « toutes les 5 minutes » ou « tous les jours à 5 h (5 AM) et 17 h (5 PM) ». Les tâches B et C s’exécutent simultanément lorsque la tâche A est terminée. La tâche D ne s’exécute que lorsque les deux tâches B et C terminent leur exécution.

Les DAGs permettent des flux de traitement parallèles qui étaient impossibles ou difficiles à réaliser à l’aide d’arborescences de tâches, notamment :

• Mise à jour simultanée d’un ensemble de tables de dimension avant d’agréger les faits pour un tableau de bord.

• Envoi d’une notification par le biais d’un service de messagerie à distance à l’aide d’une fonction externe après l’achèvement de toutes les tâches précédentes.

Classification des données — Disponibilité générale¶

Avec cette version, Snowflake est heureux d’annoncer la disponibilité générale (GA) de Introduction à la classification pour les comptes Enterprise Edition (ou supérieurs) sur AWS et Azure. Cette fonctionnalité a été introduite en avant-première en février et est toujours en avant-première sur GCP.

La classification permet de catégoriser les données potentiellement personnelles et/ou sensibles stockées dans les tables et les vues Snowflake, qui peuvent ensuite être utilisées pour permettre une variété de cas d’utilisation de gouvernance, partage et confidentialité des données.

Avec la GA de cette fonctionnalité, nous avons introduit un nouveau modèle de classification des données qui génère des modèles de prédiction et des modèles de données améliorés. En outre, le processus de classification inclut désormais des résultats pour chaque colonne de table spécifiée en entrée, notamment :

• Des colonnes dont les types de données ne pouvaient pas être classés auparavant.

• Des colonnes comportant uniquement des valeurs NULL.

Pour voir les avantages des améliorations de la GA, vous devez générer de nouveaux résultats pour toutes les données qui ont été classées à l’aide du modèle de classification des données précédent.

Politiques de masquage basées sur les balises — Avant-première¶

Avec cette version, Snowflake est heureux d’annoncer les politiques de masquage basées sur les balises en avant-première. Une politique de masquage basée sur les balises combine les fonctions de balisage d’objets et de politique de masquage pour permettre de définir une politique de masquage sur une balise à l’aide d’une commande ALTER TAG. Cette fonctionnalité introduit également deux nouvelles fonctions système, SYSTEM$GET_TAG_ON_CURRENT_COLUMN et SYSTEM$GET_TAG_ON CURRENT_TABLE, qui peuvent être utilisées pour obtenir la valeur de la chaîne de balises dans les conditions de la politique.

Lorsque le type de données dans la signature de la politique de masquage et le type de données de la colonne correspondent, la colonne balisée est automatiquement protégée par les conditions de la politique de masquage. Cela simplifie les efforts de protection des données, car les données de la colonne qui doivent être protégées ne nécessitent plus une politique de masquage appliquée manuellement à la colonne pour protéger les données.

Notez qu’une politique de masquage appliquée directement à une colonne à l’aide d’une commande ALTER TABLE … ALTER COLUMN est prioritaire sur la politique de masquage basée sur les balises. Pour plus de détails, voir Politiques de masquage basées sur les balises.

Sujets restructurés sur l’intégration de la sécurité¶

Avec cette version, Snowflake a amélioré la documentation pour les commandes SQL suivantes :

• CREATE SECURITY INTEGRATION

• ALTER SECURITY INTEGRATION

Le contenu des rubriques existantes est désormais divisé en rubriques plus restreintes portant exclusivement sur chacun des types d’intégration de la sécurité suivants :

• OAuth externe

• Snowflake OAuth

• SCIM

• SAML2

Pour soutenir ce changement, huit nouvelles entrées ont été ajoutées sous SQL Command Reference » All Commands dans la TOC.