Snowflake DevOps¶

Rationaliser les workflows en conservant les actifs dans un référentiel Git connecté à Snowflake¶

Vous pouvez garantir la cohérence, simplifier la collaboration et rationaliser les restaurations si nécessaire en gérant vos données, votre code et vos configurations de manière centralisée et en contrôlant les versions dans un référentiel Git et en utilisant le référentiel de Snowflake.

Vous pouvez connecter votre compte Snowflake à votre référentiel Git afin que Snowflake puisse exécuter du code dans les fichiers clonés depuis le référentiel. Le résultat est une zone de préparation du référentiel Git qui représente un clone complet de votre référentiel. Depuis Snowflake, vous pouvez accéder aux fichiers contrôlés par version à une certaine validation, une certaine branche ou une certaine balise.

Par exemple, avec les fichiers de référentiels clonés dans Snowflake, vous pouvez utiliser la commande EXECUTE IMMEDIATE FROM pour exécuter du code dans un fichier cloné. De cette manière, vous pouvez créer de manière déclarative des objets de base de données avec SQL et ensuite exécuter ce SQL à partir d’un autre code, tel qu’une action GitHub.

Maintenir des environnements distincts pour le développement, les tests et la production¶

En conservant des environnements distincts pour le développement, les tests et la production, vos équipes peuvent isoler les activités de développement de l’environnement de production, ce qui réduit la probabilité de conséquences involontaires et de corruption des données.

Lorsque vous séparez les workflows en plusieurs environnements, chacun reçoit sa propre base de données Snowflake - généralement une copie identique.

CREATE IF NOT EXISTS DATABASE MYDB_{{environment}};

run:
  snow sql -q "EXECUTE IMMEDIATE FROM @myco_common.public.my_repo/branches/main/deploy_parameterized_pipeline.sql USING (environment => 'prod', retention_time => 1)" \

Gérer les changements avec du code déclaratif et des versions¶

Vous pouvez gérer plus facilement les modifications apportées aux ressources de votre base de données grâce à des fichiers de configuration réutilisables dans votre référentiel Git.

Vous pouvez définir les objets de la base de données à l’aide de la commande CREATE OR ALTER, qui crée l’objet ou le modifie pour qu’il corresponde à la définition spécifiée par la commande. En utilisant cette commande à partir d’un fichier versionné dans un référentiel, vous pouvez plus facilement revenir à une version antérieure : il vous suffit d’exécuter une version précédente du fichier.

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

Automatiser les tâches CI/CD avec GitHub Actions¶

Comme indiqué brièvement dans Paramétrer des scripts avec des modèles Jinja, vous pouvez utiliser GitHub Actions pour automatiser les tâches qui constituent un pipeline CI/CD. Avec GitHub Actions, vous pouvez définir des workflows qui automatisent les tâches de création de version, de test et de déploiement.

Dans ces workflows, vous pouvez utiliser d’autres fonctions de Snowflake et de GitHub pour assembler les pièces du puzzle. Vous pouvez exécuter ces tâches :

• Stockez vos identifiants de connexion Snowflake dans un GitHub secret afin que GitHub Actions puisse se connecter à Snowflake.

• Exécutez des commandes dans Snowflake en utilisant la CLI de Snowflake.

• Utilisez la CLI de Snowflake pour exécuter du code contenu dans des fichiers récupérés dans un référentiel Git connecté et conservés par Snowflake.

L’extrait du workflow GitHub Actions dans l’exemple suivant déploie un pipeline. Le workflow s’authentifie auprès de Snowflake en récupérant les valeurs nécessaires à partir des secrets précédemment configurés.

Pour déployer le pipeline, le workflow exécute les deux commandes SQL suivantes avec la commande snow sql :

• ALTER GIT REPOSITORY récupère la dernière version du référentiel GitHub cloné dans la zone de préparation du référentiel repository myco_common.public.my_repo Git dans Snowflake.

• EXECUTE IMMEDIATE FROM exécute le code du fichier deploy_parameterized_pipeline.sql de la branche main du référentiel.

name: Deploy data pipeline to prod

# Controls when the action will run.
on:
  push:
    branches:
      - main

  # Allows you to run this workflow manually from the Actions tab
  workflow_dispatch:

jobs:
  deploy:
    runs-on: ubuntu-latest

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Setup Python 3.10
        uses: actions/setup-python@v5
        with:
          python-version: '3.10'

      - name: Install Python packages
        run: pip install -r requirements.txt

      - name: Deploy data pipeline
        env:
          SNOWFLAKE_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
          SNOWFLAKE_USER: ${{ secrets.SNOWFLAKE_USER }}
          SNOWFLAKE_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}
          SNOWFLAKE_ROLE: ${{ secrets.SNOWFLAKE_ROLE }}
          SNOWFLAKE_WAREHOUSE: ${{ secrets.SNOWFLAKE_WAREHOUSE}}
        run: |
          snow sql -q "ALTER GIT REPOSITORY quickstart_common.public.quickstart_repo FETCH" --temporary-connection --account $SNOWFLAKE_ACCOUNT --user $SNOWFLAKE_USER --role $SNOWFLAKE_ROLE --warehouse $SNOWFLAKE_WAREHOUSE
          snow sql -q "EXECUTE IMMEDIATE FROM @quickstart_common.public.quickstart_repo/branches/main/deploy_parameterized_pipeline.sql USING (environment => 'prod', retention_time => 1)" --temporary-connection --account $SNOWFLAKE_ACCOUNT --user $SNOWFLAKE_USER --role $SNOWFLAKE_ROLE --warehouse $SNOWFLAKE_WAREHOUSE

Orchestrer l’exécution du code Snowflake avec des tâches Snowflake¶

Vous pouvez créer des tâches pour orchestrer l’exécution des instructions SQL dans Snowflake. Les tâches peuvent être exécutées selon une planification, faire l’objet d’une nouvelle tentative, être suspendues en cas d’échec et être exécutées après que d’autres tâches spécifiques ont été achevées.

Avec une tâche, vous pouvez joindre des vues, envoyer des notifications par e-mail, transmettre des données à d’autres parties de votre application, etc.

Après avoir créé une tâche qui coordonne ces instructions SQL, vous pouvez exécuter la tâche en une seule fois. Comme indiqué ailleurs dans cette rubrique, vous pouvez par exemple exécuter une tâche en incluant EXECUTE TASK dans un fichier de référentiel que vous exécutez avec EXECUTE IMMEDIATE FROM.

• Pour obtenir des informations sur la création de tâches à l’aide de SQL, consultez CREATE TASK.

• Pour obtenir des informations sur la création de tâches à l’aide d’une API Python, consultez Gestion des tâches et des graphiques de tâches Snowflake avec Python.

Vous pouvez surveiller les tâches, y compris l’historique de leur exécution, en utilisant SQL ou Snowsight.

• Pour obtenir des informations sur le suivi des tâches à l’aide de SQL, consultez Vue TASK_HISTORY.

• Pour obtenir des informations sur le suivi des tâches dans Snowsight, consultez Affichage des tâches et des graphiques de tâches dans Snowsight.

• Pour obtenir des informations sur la gestion des tâches à l’aide d’une API Python, consultez Gestion des tâches et des graphiques de tâches Snowflake avec Python.

La tâche de l’exemple suivant effectue une sélection dans une table vacation_spots. Ensuite, en fonction du résultat, la tâche appelle SYSTEM$SEND_EMAIL pour envoyer une notification par e-mail.

CREATE OR ALTER TASK email_notification
  WAREHOUSE = 'quickstart_wh'
  AFTER vacation_spots_update
  AS
    BEGIN
      LET OPTIONS VARCHAR := (
        SELECT TO_VARCHAR(ARRAY_AGG(OBJECT_CONSTRUCT(*)))
        FROM vacation_spots
        WHERE TRUE
          AND punctual_pct >= 50
          AND avg_temperature_air_f >= 70
          -- STEP 5: INSERT CHANGES HERE
        LIMIT 10);


      IF (:OPTIONS = '[]') THEN
        CALL SYSTEM$SEND_EMAIL(
            'email_integration',
            '<insert your email here>', -- INSERT YOUR EMAIL HERE
            'New data successfully processed: No suitable vacation spots found.',
            'The query did not return any results. Consider adjusting your filters.');
      END IF;

      LET QUERY VARCHAR := 'Considering the data provided below in JSON format, pick the best city for a family vacation in summer?
      Explain your choice, offer a short description of the location and provide tips on what to pack for the vacation considering the weather conditions?
      Finally, could you provide a detailed plan of daily activities for a one week long vacation covering the highlights of the chosen destination?\n\n';

      LET RESPONSE VARCHAR := (SELECT SNOWFLAKE.CORTEX.COMPLETE('mistral-7b', :query || :options));

      CALL SYSTEM$SEND_EMAIL(
        'email_integration',
        '<insert your email here>', -- INSERT YOUR EMAIL HERE
        'New data successfully processed: The perfect place for your summer vacation has been found.',
        :response);
    EXCEPTION
        WHEN EXPRESSION_ERROR THEN
            CALL SYSTEM$SEND_EMAIL(
            'email_integration',
            '<insert your email here>', -- INSERT YOUR EMAIL HERE
            'New data successfully processed: Cortex LLM function inaccessible.',
            'It appears that the Cortex LLM functions are not available in your region');
    END;

Pour une démonstration interactive de l’utilisation de Snowflake DevOps, consultez le quickstart Premiers pas avec Snowflake DevOps.