Snowflake DevOps¶

Rationaliser les workflows en conservant les actifs dans un référentiel Git connecté à Snowflake¶

Vous pouvez garantir la cohérence, simplifier la collaboration et rationaliser les restaurations si nécessaire en gérant vos données, votre code et vos configurations de manière centralisée et en contrôlant les versions dans un référentiel Git et en utilisant le référentiel de Snowflake.

Vous pouvez connecter votre compte Snowflake à votre référentiel Git afin que Snowflake puisse exécuter du code dans les fichiers clonés depuis le référentiel. Le résultat est une zone de préparation du référentiel Git qui représente un clone complet de votre référentiel. Depuis Snowflake, vous pouvez accéder aux fichiers contrôlés par version à une certaine validation, une certaine branche ou une certaine balise.

Avec la zone de préparation interne, vous pouvez créer une fonction ou une procédure Snowpark à partir d’un fichier à version contrôlée et exécuter directement des scripts SQL versionnés avec EXECUTE IMMEDIATE FROM ou utiliser la CLI Snowflake pour exécuter des scripts Python. Ainsi, vous pouvez définir de manière déclarative des objets de base de données avec SQL ou Python, puis déployer ces objets à l’aide d’un pipeline CI/CD robuste et facile à mettre en place.

Maintenir des environnements distincts pour le développement, les tests et la production¶

En conservant des environnements distincts pour le développement, les tests et la production, vos équipes peuvent isoler les activités de développement de l’environnement de production, ce qui réduit la probabilité de conséquences involontaires et de corruption des données.

Lorsque vous séparez les workflows en plusieurs environnements, chacun reçoit sa propre base de données Snowflake - généralement une copie identique.

CREATE OR ALTER TASK {{ environment }}.my_schema.my_task
  WAREHOUSE = my_warehouse
  SCHEDULE = '60 minute'
  AS select pi();

import os
from snowflake.core import Root, CreateMode
from datetime import timedelta
from snowflake.core.task import Task

my_task = Task(
    name="my_task",
    warehouse="my_warehouse",
    definition="select pi()",
    schedule=timedelta(minutes=60)
)
root = Root(Session.builder.getOrCreate())
tasks = root.databases[os.environ["environment"]].schemas["my_schema"].tasks
tasks.create(my_task, mode=CreateMode.or_replace)

snow git execute @my_git_repo/branches/main/path/to/my_scripts" \
    -D "environment='preprod'"

Gérer les changements avec du code déclaratif et des versions¶

Vous pouvez gérer plus facilement les modifications apportées aux ressources de votre base de données grâce à des fichiers de configuration réutilisables dans votre référentiel Git.

Vous pouvez définir les objets de la base de données à l’aide de la commande CREATE OR ALTER <objet>, qui crée l’objet ou le modifie pour qu’il corresponde à la définition spécifiée par la commande. En utilisant cette commande à partir d’un fichier versionné dans un référentiel, vous pouvez plus facilement revenir à une version antérieure : il vous suffit d’exécuter une version précédente du fichier.

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

Automatiser les tâches CI/CD avec GitHub Actions¶

Vous pouvez utiliser GitHub Actions pour automatiser les actions qui constituent un pipeline CI/CD. Grâce à GitHub Actions ou à des exécutants similaires CI/CD, vous pouvez définir des flux de travail qui automatisent les tâches de création de version, de test et de déploiement.

Dans ces workflows, vous pouvez utiliser d’autres fonctions de Snowflake et de GitHub pour assembler les pièces du puzzle. Vous pouvez exécuter ces tâches :

• Stockez vos identifiants de connexion Snowflake dans un GitHub secret afin que GitHub Actions puisse se connecter à Snowflake.

• Installez facilement la CLI Snowflake et connectez-vous à Snowflake à l’aide de l’action de la CLI Snowflake GitHub native.

• Exécutez des commandes dans Snowflake en utilisant la CLI de Snowflake. Tout d’abord, récupérez les modifications les plus récentes de votre référentiel Git dans Snowflake. Ensuite, exécutez vos scripts déclaratifs et paramétrés pour déployer vos modifications dans l’environnement de votre choix.

L’extrait du workflow GitHub Actions dans l’exemple suivant déploie un pipeline. Le workflow s’authentifie auprès de Snowflake en récupérant les valeurs nécessaires à partir des secrets précédemment configurés.

Pour déployer le pipeline, le flux de travail exécute les commandes snow git suivantes :

• snow git fetch extrait la dernière version du référentiel GitHub vers la zone de préparation clonée du référentiel Git my_git_repo dans Snowflake.

• snow git execute exécute les scripts Python et SQL dans le répertoire /scripts à partir de la branche main du référentiel.

name: Deploy scripts to preprod

on:
  push:
    branches:
      - main

jobs:
  deploy:
    runs-on: ubuntu-latest

    env:
      SNOWFLAKE_CONNECTIONS_DEFAULT_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_USER: ${{ secrets.SNOWFLAKE_USER }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Install snowflake-cli
        uses: Snowflake-Labs/snowflake-cli-action@v1.5
        with:
          cli-version: "latest"
          default-config-file-path: ".snowflake/config.toml"

      - name: Fetch repository changes
        run: snow git fetch my_git_repo

      - name: Deploy scripts to preprod environment
        run: snow git execute @my_git_repo/branches/main/scripts/* \
            -D "environment='preprod'"