Comprendre les dépendances des projets dbt sur Snowflake¶

À propos de l’exécution de la commande dbt deps¶

Vous pouvez exécuter la commande dbt deps de l’une des manières suivantes :

• Dans un espace de travail Snowflake : (recommandé pour les environnements de développement) Vous pouvez exécuter la commande dbt deps à l’intérieur de votre espace de travail dans l’Snowsight pour remplir dbt_packages avant de déployer votre projet dbt en tant qu’objet DBT PROJECT.

  Cela nécessite un accès au réseau externe afin que Snowflake puisse accéder aux référentiels pour les dépendances. Pour plus d’informations, voir Créer une intégration d’accès externe dans Snowflake pour les dépendances dbt.

• En dehors de Snowflake : (par exemple, lors de l’étape de création de votre pipeline de déploiement) Vous pouvez exécuter la commande dbt deps sur votre machine locale ou dans votre intégration continue (CI), qui télécharge les paquets dans dbt_packages, puis déployer l’ensemble du projet (y compris ce dossier) dans Snowflake.

  Cela ne nécessite pas d’intégration d’accès au réseau externe, car toutes les dépendances sont déjà incluses dans le projet dbt.

  Étant donné que les fichiers d’une version d’un projet dbt sont immuables, si vous essayez d’exécuter dbt deps sur un objet déployé, cela n’aura aucun effet sur le dossier dbt_packages au sein de l’objet.

Dépendances de projets dbt croisées¶

Afin de référencer un autre projet dbt dans votre projet dbt, le projet dbt référencé doit être copié au niveau de la racine de votre projet dbt.

Bien que les dépendances locales ne nécessitent pas d’intégration d’accès externe, si vous avez besoin d’une combinaison de paquets locaux et de paquets distants (par exemple, provenant du hub dbt Packages ou de Git), vous devez configurer une véritable intégration d’accès externe.

Prenons, par exemple, les deux projets dbt suivants. Vous souhaitez que core_project inclue metrics_project localement, de sorte que tout soit autonome lorsque vous déployez sur Snowflake (aucun accès externe nécessaire).

/Projects
├─ core_project/
│   ├─ dbt_project.yml
│   ├─ packages.yml
│   ├─ models/
│   └─ ...
└─ metrics_project/
    ├─ dbt_project.yml
    ├─ models/
    └─ ...

• core_project : Il s’agit de votre projet principal (celui que vous allez déployer).

• metrics_project : Il s’agit du projet que vous souhaitez utiliser comme dépendance locale.

Pour référencer metrics_project à l’intérieur de core_project, suivez les étapes suivantes :

1. À l’intérieur de core_project, créez un dossier nommé local_packages. Copiez metrics_project dans ce dossier.

   Assurez-vous que metrics_project possède un autre nom que core_project dans son dbt_project.yml. Les noms doivent être uniques.

   cd /Projects/core_project
   mkdir local_packages
   cp -R ../metrics_project ./local_packages/metrics_project
   

   Copy

   À présent, votre disposition ressemble à ceci :

   core_project/
     ├─ dbt_project.yml
     ├─ packages.yml
     ├─ models/
     ├─ local_packages/
     │   └─ metrics_project/
     │       ├─ dbt_project.yml
     │       ├─ models/
     │       └─ ...
   

   Copy

2. Dans core_project/packages.yml, déclarez la dépendance locale en utilisant le chemin relatif.

   packages:
     - local: local_packages/metrics_project
   

   Copy

3. Depuis l’intérieur de core_project, exécutez dbt deps.

   dbt traitera désormais metrics_project comme un paquet, et les macros de metrics_project seront disponibles pour core_project.

Exécuter automatiquement dbt deps lors de la compilation¶

Lorsque vous déployez ou mettez à jour un objet de projet dbt et que vous lui donnez une intégration d’accès externe, Snowflake peut automatiquement exécuter dbt deps pendant la compilation, afin que les dépendances soient installées dans le cadre de cette étape. Cela signifie que vous n’avez plus besoin d’inclure /dbt_packages lors du déploiement de projets avec des dépendances externes.

CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

my_dbt_project successfully created.

-- Create a dbt project object that runs dbt deps on compile for remote packages
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

-- Create a dbt project object that runs dbt deps on compile for only local dependencies
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Update the Git repository object to fetch the latest code
ALTER GIT REPOSITORY mydb.dev_schema.my_dbt_git_stage FETCH;

-- Set external access integrations
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  SET EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Add a new version to the dbt project object based on the updated Git repository object
-- After an external access integration is set, the next ALTER DBT PROJECT ... ADD VERSION will call dbt deps during compile
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  ADD VERSION
  FROM '@mydb.dev_schema.my_dbt_git_stage/branches/main/sales_dbt_project';

snow dbt deploy my_dbt_project --install-local-deps;

Créer une intégration d’accès externe dans Snowflake pour les dépendances dbt¶

Lorsque vous exécutez des commandes dbt dans un espace de travail, dbt peut avoir besoin d’accéder à des URLs distantes pour télécharger les dépendances. Par exemple, dbt peut avoir besoin de télécharger des paquets à partir du hub de paquets dbt ou à partir de GitHub.

La plupart des projets dbt spécifient les dépendances dans leur fichier:file:packages.yml. Vous devez installer ces dépendances dans l’espace de travail du projet dbt.

Vous ne pouvez pas mettre à jour un objet de projet dbt déployé avec des dépendances. Pour mettre à jour un objet de projet dbt avec de nouvelles dépendances, vous devez ajouter une nouvelle version à l’objet. Pour plus d’informations, voir Comment les objets du projet dbt sont mis à jour.

Pour obtenir un packet dbt à partir d’URLs distantes, Snowflake a besoin d’une intégration d’accès externe qui s’appuie sur une règle réseau, comme montré dans l’exemple suivant :

-- Create NETWORK RULE for external access integration

CREATE OR REPLACE NETWORK RULE my_dbt_network_rule
  MODE = EGRESS
  TYPE = HOST_PORT
  -- Minimal URL allowlist that is required for dbt deps
  VALUE_LIST = (
    'hub.getdbt.com',
    'codeload.github.com'
    );

-- Create EXTERNAL ACCESS INTEGRATION for dbt access to external dbt package locations

CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION my_dbt_ext_access
  ALLOWED_NETWORK_RULES = (my_dbt_network_rule)
  ENABLED = TRUE;

Pour plus d’informations sur les intégrations d’accès externe dans Snowflake, voir Création et utilisation d’une intégration d’accès externe.

Limitations, exigences et considérations pour les dépendances dbt¶

Les exigences, considérations et limitations suivantes s’appliquent aux dépendances dbt pour les projets dbt dans dbt Projects on Snowflake :

• Vous devez exécuter la commande dbt deps dans un espace de travail Snowflake pour renseigner le dossier dbt_packages de votre projet dbt. Vous pouvez également exécuter dbt deps sur votre machine locale ou votre orchestrateur Git et procéder au déploiement en utilisant snow dbt deploy.

  Un objet de projet dbt est un instantané versionné, donc exécuter dbt deps avec EXECUTE DBT PROJECT ou exécuter snow dbt ne modifie aucun fichier ; cela vérifie principalement que votre accès externe est configuré correctement.

• Vous pouvez spécifier des paquets Git publics dans le fichier packages.yml, mais les paquets Git privés ne sont pas pris en charge.

• Une règle réseau et une intégration d’accès externe sont nécessaires pour permettre à Snowflake d’accéder aux référentiels des dépendances. Pour plus d’informations, voir Créer une intégration d’accès externe dans Snowflake pour les dépendances dbt.

• Un objet de projet dbt est un instantané versionné de votre projet. L’exécution de la commande deps ne modifie aucun fichier ; elle est principalement utilisée pour vérifier que votre configuration d’accès externe est correcte. Lorsqu’un objet de projet dbt est créé avec une intégration d’accès externe, dbt deps est exécutée avant dbt compile pour empaqueter toutes les dépendances et les fichiers de projet.