Gestion de dbt Projects on Snowflake à l’aide de Snowflake CLI

Note

Les fonctionnalités dbt Projects on Snowflake dans Snowflake CLI ne sont disponibles que dans la version 3.13.0 ou ultérieure.

Vous pouvez utiliser Snowflake CLI pour gérer des projets dbt avec les opérations suivantes :

Deploying a dbt project object

The snow dbt deploy command uploads local files to a temporary stage and creates a new dbt project object, updates it by making a new version, or completely recreates it. A valid dbt project must contain two files:

  • dbt_project.yml: A standard dbt configuration file that specifies the profile to use.

  • profiles.yml: A dbt connection profile definition referenced in dbt_project.yml. profiles.yaml must define the database, role, schema, and type.

    • Par défaut, dbt Projects on Snowflake utilise votre schéma cible (target.schema) spécifié à partir de votre environnement dbt ou de votre profil dbt. Contrairement au comportement dbt Core, le schéma cible spécifié dans le fichier profiles.yml doit exister avant que vous ne créiez votre projet dbt pour qu’il puisse être correctement compilé ou exécuté.

    <profile_name>:
target: dev
outputs:
  dev:
    database: <database_name>
    role: <role_name>
    schema: <schema_name>
    type: snowflake
    Copy

Les exemples suivants montrent comment utiliser la commande snow dbt deploy :

  • Déployez un objet de projet dbt nommé jaffle_shop :

    snow dbt deploy jaffle_shop
    Copy

  • Deploy a project named jaffle_shop from a specified directory and create or add a new version depending on whether the dbt project object already exists:

    snow dbt deploy jaffle_shop --source /path/to/dbt/directory --profiles-dir ~/.dbt/ --force
    Copy

  • Déployez un projet nommé jaffle_shop à partir d’un répertoire spécifié en utilisant un répertoire de profils personnalisés et en activant des intégrations d’accès externes :

    snow dbt deploy jaffle_shop --source /path/to/dbt/directory
--profiles-dir ~/.dbt/ --default-target dev
--external-access-integration dbthub-integration
--external-access-integration github-integration
--force
    Copy

Listing all available dbt project objects

The snow dbt list command lists all available dbt project objects on Snowflake.

Les exemples suivants illustrent l’utilisation de la commande snow dbt list :

  • Dressez la liste de tous les objets de projet dbt disponibles :

    snow dbt list
    Copy

  • Dressez la liste des objets de projet dbt dans la base de données codenowrap:product dont le nom commence par JAFFLE :

    snow dbt list --like JAFFLE% --in database product
    Copy

Executing a dbt project object command

The snow dbt execute command executes one of the following dbt commands on a Snowflake dbt project object:

Pour plus d’informations sur l’utilisation des commandes dbt, voir Référentiel des commandes dbt.

Les exemples suivants illustrent l’utilisation de la commande snow dbt execute :

  • Exécutez la commande dbt test :

    snow dbt execute jaffle_shop test
    Copy

  • Exécutez la commande dbt run de manière asynchrone :

    snow dbt execute --run-async jaffle_shop run --select @source:snowplow,tag:nightly models/export
    Copy

Describing a dbt project object

The snow dbt describe command describes a dbt project object on Snowflake.

L’exemple suivant décrit l’objet de projet dbt nommé my_dbt_project sur Snowflake :

snow dbt describe my_dbt_project
Copy

Dropping a dbt project object

The snow dbt drop command deletes a dbt project object on Snowflake.

L’exemple suivant supprime l’objet de projet dbt nommé my_dbt_project sur Snowflake :

snow dbt drop my_dbt_project
Copy

Use snow dbt commands in a CI/CD workflow

Note

Pour créer des workflows CI/CD, vous n’avez besoin que de votre serveur git, tel que Github, et de Snowflake CLI. Un objet de dépôt Git n’est pas nécessaire.

Vous pouvez exécuter des commandes dbt avec Snowflake CLI pour créer des pipelines CI/CD. Ces pipelines sont généralement utilisés pour tester un nouveau code, par exemple de nouvelles pull requests, ou pour mettre à jour les applications de production chaque fois que quelque chose est fusionné avec la branche principale.

Pour créer un workflow CI/CD avec les commandes snow dbt, suivez les étapes ci-dessous :

  1. Préparez votre projet dbt :

    1. Téléchargez votre projet dbt ou démarrez-en un nouveau.

      • Assurez-vous que le répertoire principal du projet contient les fichiers dbt_project.yml et profiles.yml.

      • Vérifiez que le nom de profil référencé dans dbt_project.yml est défini dans profiles.yml.

        Note

        Les objets de projet dbt de Snowflake n’ont pas besoin de mots de passe, donc si profiles.yml en contient, le déploiement s’arrête jusqu’à ce qu’ils soient supprimés.

  2. Configurez Snowflake CLI GitHub Action.

    Suivez les instructions de configuration de GitHub Action pour Snowflake CLI et vérifiez votre connexion à Snowflake.

  3. Définissez votre workflow.

    Déterminez les commandes que votre workflow doit exécuter en fonction des besoins de votre organisation. L’exemple suivant illustre un workflow CI qui met à jour la version de l’objet du projet dbt nommé product_pipeline avec de nouveaux fichiers, exécute les transformations, et effectue des tests pour finir :

    - name: Execute Snowflake CLI command
  run: |
    snow dbt deploy product_pipeline
    snow dbt execute product_pipeline run
    snow dbt execute product_pipeline test
    Copy
Langage: Français