Snowflake en 20 minutes¶

Introduction¶

Ce tutoriel utilise le client de ligne de commande de Snowflake SnowSQL pour présenter les concepts et tâches clés, dont :

• Création d’objets Snowflake — Vous créez une base de données et une table pour stocker les données.

• Chargement des données — Nous fournissons de petits échantillons de fichiers de données CSV que vous pouvez charger dans la table.

• Requête—Vous explorez des exemples de requêtes.

Conditions préalables¶

Ce tutoriel nécessite une base de données, une table et un entrepôt virtuel pour charger et interroger les données. La création de ces objets Snowflake nécessite un utilisateur Snowflake ayant un rôle avec les privilèges de contrôle d’accès nécessaires. De plus, SnowSQL est nécessaire pour exécuter les instructions SQL dans le tutoriel. Pour terminer, le tutoriel nécessite des fichiers CSV qui contiennent des données d’échantillon à charger.

Vous pouvez effectuer ce tutoriel à l’aide d’un entrepôt, d’une base de données et d’une table Snowflake existants et de vos propres fichiers de données locaux. Cependant, nous vous recommandons d’utiliser les objets Snowflake et l’ensemble des données fournies.

Pour configurer Snowflake pour ce tutoriel, effectuez les opérations suivantes avant de continuer :

1. Créer un utilisateur

   Pour créer la base de données, la table et l’entrepôt virtuel, vous devez être connecté en tant qu’utilisateur Snowflake avec un rôle qui vous accorde les privilèges nécessaires pour créer ces objets.

   • Si vous utilisez un compte d’essai de 30 jours, vous pouvez vous connecter en tant qu’utilisateur créé pour ce compte. Cet utilisateur a le rôle avec les privilèges nécessaires pour créer les objets.

   • Si vous n’avez pas d’utilisateur Snowflake, vous ne pouvez pas effectuer ce tutoriel. Si vous n’avez pas de rôle vous permettant de créer un utilisateur, demandez à quelqu’un qui en a un d’effectuer cette étape pour vous. Les utilisateurs avec le rôle ACCOUNTADMIN ou SECURITYADMIN peuvent créer des utilisateurs.

2. Installer SnowSQL

   Pour installer SnowSQL, voir Installation de SnowSQL.

3. Téléchargement des fichiers de données d’exemple

   Pour ce tutoriel, vous téléchargez des exemples de fichiers de données d’employés au format CSV fournis par Snowflake.

   Pour télécharger et décompresser les fichiers de données d’exemple :

   1. Téléchargez l’ensemble des fichiers de données d’échantillon. Cliquez avec le bouton droit de la souris sur le nom du fichier d’archive getting-started.zip, et enregistrez le lien/le fichier dans votre système de fichiers local.

   2. Décompressez les fichiers d’exemple. Le tutoriel suppose que vous avez décompressé les fichiers dans l’un des répertoires suivants :

   • Linux/macOS : /tmp

   • Windows : C:\\temp

   Chaque fichier comporte cinq enregistrements de données. Les données utilisent le caractère virgule (,) comme délimiteur de champ. Voici un exemple d’enregistrement :

   Althea,Featherstone,afeatherstona@sf_tuts.com,"8172 Browning Street, Apt B",Calatrava,7/12/2017
   

   Copy

Il n’y a pas d’espaces blancs avant ou après les virgules séparant les champs dans chaque enregistrement. Il s’agit de la valeur par défaut attendue par Snowflake lors du chargement des données CSV.

Se connecter à SnowSQL¶

Une fois que vous avez SnowSQL, démarrez SnowSQL pour vous connecter à Snowflake :

1. Ouvrez une fenêtre de ligne de commande.

2. Démarrez SnowSQL :

   $ snowsql -a <account_identifier> -u <user_name>
   

   Copy

   Où :

   • <account_identifier> est l’identificateur unique pour votre compte Snowflake.

     Le format préféré de l’identificateur du compte est le suivant :

     organization_name-account_name

     Noms de votre organisation et de votre compte Snowflake. Pour plus d’informations, voir Format 1 (recommandé) : nom du compte dans votre organisation..

   • <nom_utilisateur> est le nom de connexion de votre utilisateur Snowflake.

   Note

   Si votre compte dispose d’un fournisseur d’identité (IdP) qui a été défini pour votre compte, vous pouvez utiliser un navigateur Web pour vous authentifier au lieu d’un mot de passe, comme le montre l’exemple suivant :

   $ snowsql -a <account_identifier> -u <user_name> --authenticator externalbrowser
   

   Copy

   Pour plus d’informations, voir Utilisation d’un navigateur Web pour l’authentification fédérée/SSO.

3. Lorsque SnowSQL vous y invite, saisissez le mot de passe de votre utilisateur Snowflake.

Si vous vous connectez avec succès, SnowSQL affiche une invite de commande qui comprend votre entrepôt, votre base de données et votre schéma actuels.

Si votre utilisateur Snowflake n’a pas d’entrepôt, de base de données et de schéma par défaut, ou si vous n’avez pas configuré SnowSQL pour spécifier un entrepôt, une base de données et un schéma par défaut, l’invite affiche no warehouse, no database et no schema. Par exemple :

user-name#(no warehouse)@(no database).(no schema)>

Cette invite indique qu’il n’y a pas d’entrepôt, de base de données et de schéma sélectionnés pour la session en cours. Vous créez ces objets à l’étape suivante. Lorsque vous suivez les étapes suivantes de ce tutoriel pour créer ces objets, l’invite est automatiquement mise à jour pour inclure les noms de ces objets.

Pour plus d’informations, voir Connexion par le biais de SnowSQL.

Créer des objets Snowflake¶

Dans cette étape, vous créez les objets Snowflake suivants :

• Une base de données (sf_tuts) et une table (emp_basic). Vous chargez des données d’exemple dans cette table.

• Un entrepôt virtuel (sf_tuts_wh). Cet entrepôt fournit les ressources de calcul nécessaires au chargement des données dans la table et à l’interrogation de la table. Pour ce tutoriel, vous créez un entrepôt X-Small.

Lorsque vous aurez terminé ce tutoriel, vous supprimerez ces objets.

CREATE OR REPLACE DATABASE sf_tuts;

SELECT CURRENT_DATABASE(), CURRENT_SCHEMA();

+--------------------+------------------+
| CURRENT_DATABASE() | CURRENT_SCHEMA() |
|--------------------+------------------|
| SF_TUTS            | PUBLIC           |
+--------------------+------------------+

CREATE OR REPLACE TABLE emp_basic (
   first_name STRING ,
   last_name STRING ,
   email STRING ,
   streetaddress STRING ,
   city STRING ,
   start_date DATE
   );

CREATE OR REPLACE WAREHOUSE sf_tuts_wh WITH
   WAREHOUSE_SIZE='X-SMALL'
   AUTO_SUSPEND = 180
   AUTO_RESUME = TRUE
   INITIALLY_SUSPENDED=TRUE;

SELECT CURRENT_WAREHOUSE();

+---------------------+
| CURRENT_WAREHOUSE() |
|---------------------|
| SF_TUTS_WH          |
+---------------------+

Fichiers de données en zone de préparation¶

Une zone de préparation Snowflake est un emplacement dans un stockage Cloud que vous utilisez pour charger et décharger les données d’une table. Snowflake prend en charge les types de zones de préparation suivants :

• Zones de préparation internes — Utilisées pour stocker les fichiers de données en interne dans Snowflake. Chaque utilisateur et chaque table dans Snowflake dispose par défaut d’une zone de préparation interne pour la mise en zone de préparation des fichiers de données.

• Zones de préparation externes — Utilisées pour stocker des fichiers de données en externe dans Amazon S3, Google Cloud Storage ou Microsoft Azure. Si vos données sont déjà stockées dans ces services de stockage dans le Cloud, vous pouvez utiliser une zone de préparation externe pour charger les données dans des tables Snowflake.

Dans ce tutoriel, nous chargeons les fichiers de données d’exemple (téléchargés dans Conditions préalables) vers la zone de préparation interne pour la table emp_basic que vous avez créée précédemment. Vous utilisez la commande PUT pour charger les fichiers de données suivants vers cette zone de préparation.

PUT file://<file-path>[/\]employees0*.csv @sf_tuts.public.%emp_basic;

+-----------------+--------------------+-------------+-------------+--------------------+--------------------+----------+---------+
| source          | target             | source_size | target_size | source_compression | target_compression | status   | message |
|-----------------+--------------------+-------------+-------------+--------------------+--------------------+----------+---------|
| employees01.csv | employees01.csv.gz |         360 |         287 | NONE               | GZIP               | UPLOADED |         |
| employees02.csv | employees02.csv.gz |         355 |         274 | NONE               | GZIP               | UPLOADED |         |
| employees03.csv | employees03.csv.gz |         397 |         295 | NONE               | GZIP               | UPLOADED |         |
| employees04.csv | employees04.csv.gz |         366 |         288 | NONE               | GZIP               | UPLOADED |         |
| employees05.csv | employees05.csv.gz |         394 |         299 | NONE               | GZIP               | UPLOADED |         |
+-----------------+--------------------+-------------+-------------+--------------------+--------------------+----------+---------+

LIST @sf_tuts.public.%emp_basic;

+--------------------+------+----------------------------------+------------------------------+
| name               | size | md5                              | last_modified                |
|--------------------+------+----------------------------------+------------------------------|
| employees01.csv.gz |  288 | a851f2cc56138b0cd16cb603a97e74b1 | Tue, 9 Jan 2018 15:31:44 GMT |
| employees02.csv.gz |  288 | 125f5645ea500b0fde0cdd5f54029db9 | Tue, 9 Jan 2018 15:31:44 GMT |
| employees03.csv.gz |  304 | eafee33d3e62f079a054260503ddb921 | Tue, 9 Jan 2018 15:31:45 GMT |
| employees04.csv.gz |  304 | 9984ab077684fbcec93ae37479fa2f4d | Tue, 9 Jan 2018 15:31:44 GMT |
| employees05.csv.gz |  304 | 8ad4dc63a095332e158786cb6e8532d0 | Tue, 9 Jan 2018 15:31:44 GMT |
+--------------------+------+----------------------------------+------------------------------+

Copier des données dans les tables cibles¶

Pour charger vos données en zone de préparation dans la table cible, exécutez COPY INTO <table>.

La commande COPY INTO <table> utilise l’entrepôt virtuel que vous avez créé dans Créer des objets Snowflake pour copier les fichiers.

COPY INTO emp_basic
  FROM @%emp_basic
  FILE_FORMAT = (type = csv field_optionally_enclosed_by='"')
  PATTERN = '.*employees0[1-5].csv.gz'
  ON_ERROR = 'skip_file';

Où :

• La clause FROM spécifie l’emplacement contenant les fichiers de données (la zone de préparation interne de la table).

• La clause FILE_FORMAT spécifie le type de fichier comme CSV, et spécifie le caractère de guillemet double (") comme caractère utilisé pour fermer les chaînes. Snowflake prend en charge différents types de fichier et options. Vous trouverez une description dans CREATE FILE FORMAT.

• La clause PATTERN spécifie que la commande doit charger les données à partir des noms de fichiers correspondant à cette expression régulière (.*employees0[1-5].csv.gz).

• La clause ON_ERROR spécifie ce qu’il faut faire lorsque la commande COPY rencontre des erreurs dans les fichiers. Par défaut, la commande arrête le chargement des données à la première erreur rencontrée. Cet exemple ignore tout fichier contenant une erreur et passe au chargement du fichier suivant. (Aucun des fichiers de ce tutoriel ne contient d’erreurs, il ne s’agit que d’une illustration.)

La commande COPY propose également une option permettant de valider les fichiers avant de les charger. Pour plus d’informations sur les vérifications d’erreurs supplémentaires et la validation , voir les chapitres COPY INTO <table> et les autres tutoriels sur le chargement des données.

La commande COPY renvoie un résultat indiquant la liste des fichiers copiés et les informations connexes :

+--------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+
| file               | status | rows_parsed | rows_loaded | error_limit | errors_seen | first_error | first_error_line | first_error_character | first_error_column_name |
|--------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------|
| employees02.csv.gz | LOADED |           5 |           5 |           1 |           0 | NULL        |             NULL |                  NULL | NULL                    |
| employees04.csv.gz | LOADED |           5 |           5 |           1 |           0 | NULL        |             NULL |                  NULL | NULL                    |
| employees05.csv.gz | LOADED |           5 |           5 |           1 |           0 | NULL        |             NULL |                  NULL | NULL                    |
| employees03.csv.gz | LOADED |           5 |           5 |           1 |           0 | NULL        |             NULL |                  NULL | NULL                    |
| employees01.csv.gz | LOADED |           5 |           5 |           1 |           0 | NULL        |             NULL |                  NULL | NULL                    |
+--------------------+--------+-------------+-------------+-------------+-------------+-------------+------------------+-----------------------+-------------------------+

Interrogation des données chargées¶

Vous pouvez interroger les données chargées dans la table emp_basic à l’aide d’un code SQL standard et des fonctions et opérateurs pris en charge.

Vous pouvez également manipuler les données, par exemple mettre à jour les données chargées ou ajouter des données supplémentaires à l’aide de commandes DML standard.

SELECT * FROM emp_basic;

+------------+--------------+---------------------------+-----------------------------+--------------------+------------+
| FIRST_NAME | LAST_NAME    | EMAIL                     | STREETADDRESS               | CITY               | START_DATE |
|------------+--------------+---------------------------+-----------------------------+--------------------+------------|
| Arlene     | Davidovits   | adavidovitsk@sf_tuts.com  | 7571 New Castle Circle      | Meniko             | 2017-05-03 |
| Violette   | Shermore     | vshermorel@sf_tuts.com    | 899 Merchant Center         | Troitsk            | 2017-01-19 |
| Ron        | Mattys       | rmattysm@sf_tuts.com      | 423 Lien Pass               | Bayaguana          | 2017-11-15 |
 ...
 ...
 ...
| Carson     | Bedder       | cbedderh@sf_tuts.co.au    | 71 Clyde Gallagher Place    | Leninskoye         | 2017-03-29 |
| Dana       | Avory        | davoryi@sf_tuts.com       | 2 Holy Cross Pass           | Wenlin             | 2017-05-11 |
| Ronny      | Talmadge     | rtalmadgej@sf_tuts.co.uk  | 588 Chinook Street          | Yawata             | 2017-06-02 |
+------------+--------------+---------------------------+-----------------------------+--------------------+------------+

INSERT INTO emp_basic VALUES
   ('Clementine','Adamou','cadamou@sf_tuts.com','10510 Sachs Road','Klenak','2017-9-22') ,
   ('Marlowe','De Anesy','madamouc@sf_tuts.co.uk','36768 Northfield Plaza','Fangshan','2017-1-26');

SELECT email FROM emp_basic WHERE email LIKE '%.uk';

+--------------------------+
| EMAIL                    |
|--------------------------|
| gbassfordo@sf_tuts.co.uk |
| rtalmadgej@sf_tuts.co.uk |
| madamouc@sf_tuts.co.uk   |
+--------------------------+

SELECT first_name, last_name, DATEADD('day',90,start_date) FROM emp_basic WHERE start_date <= '2017-01-01';

+------------+-----------+------------------------------+
| FIRST_NAME | LAST_NAME | DATEADD('DAY',90,START_DATE) |
|------------+-----------+------------------------------|
| Granger    | Bassford  | 2017-03-30                   |
| Catherin   | Devereu   | 2017-03-17                   |
| Cesar      | Hovie     | 2017-03-21                   |
| Wallis     | Sizey     | 2017-03-30                   |
+------------+-----------+------------------------------+

Résumé, nettoyage et ressources supplémentaires¶

Félicitations ! Vous avez terminé avec succès ce tutoriel d’introduction.

Prenez quelques minutes pour passer en revue un bref résumé et les points clés abordés dans le tutoriel. Vous pouvez également envisager un nettoyage en détruisant tous les objets que vous avez créés dans le tutoriel. Pour en savoir plus, consultez les autres rubriques de la documentation Snowflake.

DROP DATABASE IF EXISTS sf_tuts;

DROP WAREHOUSE IF EXISTS sf_tuts_wh;