Compreensão das dependências de projetos dbt no Snowflake¶

Sobre a execução do comando dbt deps¶

Você pode executar o comando dbt deps de uma das seguintes maneiras:

• Em um espaço de trabalho Snowflake: (recomendado para ambientes de desenvolvimento). Você pode executar o comando dbt deps no seu espaço de trabalho no Snowsight para preencher dbt_packages antes de implantar seu projeto dbt como um objeto DBT PROJECT.

  Para isso, é necessário ter acesso à rede externa para o Snowflake acessar os repositórios para as dependências. Para obter mais informações, consulte Criação de integração de acesso externo no Snowflake para dependências de dbt.

• Fora do Snowflake: (por exemplo, na etapa de criação do pipeline de implantação). Você pode executar o comando dbt deps em sua máquina local ou integração contínua (Continuous Integration, CI), o que baixa os pacotes em dbt_packages, e depois implantar o projeto inteiro (incluindo essa pasta) no Snowflake.

  Isso não requer uma integração de acesso à rede externa porque todas as dependências já estão incluídas no projeto dbt.

  Como os arquivos em uma versão do projeto dbt são imutáveis, se você tentar executar dbt deps em um objeto implantado, isso não terá efeito sobre a pasta dbt_packages no objeto.

Dependências entre projetos dbt¶

Para fazer referência a outro projeto dbt dentro do seu projeto dbt, o projeto dbt que for referenciado deverá ser copiado para a raiz do seu projeto dbt.

As dependências locais não exigem uma integração de acesso externo; mas, se você precisar de uma combinação de pacotes locais e remotos (por exemplo, do hub de pacotes dbt ou Git), será necessário configurar uma integração de acesso externo real.

Por exemplo, considere os dois projetos dbt a seguir. Você quer que core_project inclua metrics_project localmente para que tudo esteja incluído quando você implantar no Snowflake (sem necessidade de acesso externo).

/Projects
├─ core_project/
│   ├─ dbt_project.yml
│   ├─ packages.yml
│   ├─ models/
│   └─ ...
└─ metrics_project/
    ├─ dbt_project.yml
    ├─ models/
    └─ ...

• core_project: este é seu projeto principal (o que você vai implantar).

• metrics_project: este é o projeto que você deseja usar como dependência local.

Para fazer referência ao metrics_project no core_project, conclua as seguintes etapas:

1. No core_project, crie uma pasta chamada local_packages. Copie metrics_project para essa pasta.

   Certifique-se de que metrics_project tenha um nome diferente no dbt_project.yml daquele usado no core_project. Eles devem ser exclusivos.

   cd /Projects/core_project
   mkdir local_packages
   cp -R ../metrics_project ./local_packages/metrics_project
   

   Copy

   Este é o seu layout:

   core_project/
     ├─ dbt_project.yml
     ├─ packages.yml
     ├─ models/
     ├─ local_packages/
     │   └─ metrics_project/
     │       ├─ dbt_project.yml
     │       ├─ models/
     │       └─ ...
   

   Copy

2. No core_project/packages.yml, declare a dependência local usando o caminho relativo.

   packages:
     - local: local_packages/metrics_project
   

   Copy

3. No core_project, execute dbt deps.

   O dbt agora considera o metrics_project como um pacote, e as macros de metrics_project estão disponíveis para core_project.

Execução automática do dbt deps na compilação¶

Quando você implanta ou atualiza um objeto de projeto dbt e concede a ele uma integração de acesso externo, o Snowflake pode executar automaticamente dbt deps durante a compilação, para que as dependências sejam instaladas como parte desta etapa. Isso significa que você não precisa mais incluir /dbt_packages ao implantar projetos com dependências externas.

CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

my_dbt_project successfully created.

-- Create a dbt project object that runs dbt deps on compile for remote packages
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

-- Create a dbt project object that runs dbt deps on compile for only local dependencies
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Update the Git repository object to fetch the latest code
ALTER GIT REPOSITORY mydb.dev_schema.my_dbt_git_stage FETCH;

-- Set external access integrations
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  SET EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Add a new version to the dbt project object based on the updated Git repository object
-- After an external access integration is set, the next ALTER DBT PROJECT ... ADD VERSION will call dbt deps during compile
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  ADD VERSION
  FROM '@mydb.dev_schema.my_dbt_git_stage/branches/main/sales_dbt_project';

snow dbt deploy my_dbt_project --install-local-deps;

Criação de integração de acesso externo no Snowflake para dependências de dbt¶

Ao executar comandos do dbt em um espaço de trabalho, o dbt pode precisar acessar URLs remotos para baixar as dependências. Por exemplo, o dbt pode precisar baixar pacotes do hub de pacotes dbt ou do GitHub.

A maioria dos projetos dbt especifica as dependências no arquivo packages.yml. Você deve instalar essas dependências no espaço de trabalho do projeto dbt.

Você não pode atualizar um objeto de projeto dbt implantado com dependências. Para atualizar um objeto de projeto dbt com novas dependências, adicione uma nova versão ao objeto. Para obter mais informações, consulte Como os objetos de projeto dbt são atualizados.

Para obter o pacote dbt dos URLs remotos, o Snowflake precisa de uma integração de acesso externo que siga uma regra de rede, como mostrado no seguinte exemplo:

-- Create NETWORK RULE for external access integration

CREATE OR REPLACE NETWORK RULE my_dbt_network_rule
  MODE = EGRESS
  TYPE = HOST_PORT
  -- Minimal URL allowlist that is required for dbt deps
  VALUE_LIST = (
    'hub.getdbt.com',
    'codeload.github.com'
    );

-- Create EXTERNAL ACCESS INTEGRATION for dbt access to external dbt package locations

CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION my_dbt_ext_access
  ALLOWED_NETWORK_RULES = (my_dbt_network_rule)
  ENABLED = TRUE;

Para obter mais informações sobre integrações de acesso externo no Snowflake, consulte Criação e uso de uma integração de acesso externo.

Limitações, requisitos e considerações para dependências de dbt¶

Os seguintes requisitos, considerações e limitações se aplicam às dependências do dbt para projetos dbt em dbt Projects on Snowflake:

• Você deve executar o comando dbt deps em um espaço de trabalho Snowflake para preencher a pasta dbt_packages do seu projeto dbt. Se preferir, execute dbt deps na sua máquina local ou no orquestrador Git e implante com snow dbt deploy.

  Um objeto de projeto dbt é um instantâneo com versão, portanto, a execução de dbt deps com EXECUTE DBT PROJECT ou snow dbt execute não modifica nenhum arquivo. Essa instrução verifica principalmente se seu acesso externo está configurado corretamente.

• Você pode especificar pacotes Git públicos no arquivo packages.yml, no entanto, os pacotes Git privados não são compatíveis.

• Uma regra de rede e a integração de acesso externo são necessárias para permitir que o Snowflake acesse os repositórios para as dependências. Para obter mais informações, consulte Criação de integração de acesso externo no Snowflake para dependências de dbt.

• Um objeto de projeto dbt é um instantâneo com controle de versão do seu projeto. A execução do comando deps nele não modifica nenhum arquivo. Ele é usado principalmente para verificar se a configuração de acesso externo está correta. Quando um objeto de projeto dbt é criado com uma integração de acesso externo, o dbt deps é executado antes de dbt compile para empacotar todas as dependências e os arquivos do projeto.