Snowflake上のdbtプロジェクトの依存関係を理解する¶

dbt depsコマンドの実行について¶

dbt deps コマンドは、次のいずれかの方法で実行できます。

• Snowflakeワークスペース内: （開発環境にお勧めです。）dbtプロジェクトを DBT PROJECT オブジェクトとしてデプロイする前に、 dbt deps コマンドを Snowsight のワークスペース内で実行して dbt_packages を入力できます。

  これには、Snowflakeが依存関係のリポジトリにアクセスできるようにするための外部ネットワークアクセスが必要です。詳細については、 dbt依存関係のためにSnowflakeで外部アクセス統合を作成する をご参照ください。

• Snowflake外部: （たとえば、デプロイメントパイプラインのビルドステップ内など。）ローカルマシンまたは継続的統合の（CI）内で dbt deps コマンドを実行できます。この場合、パッケージを dbt_packages にダウンロードしてから、プロジェクト全体（そのフォルダーを含む）をSnowflakeにデプロイします。

  すべての依存関係がdbtプロジェクトに既に含まれているため、外部ネットワークアクセスの統合は必要ありません。

  dbtプロジェクトバージョンのファイルは不変であるため、デプロイされたオブジェクトに対して dbt deps の実行を試みても、オブジェクト内の dbt_packages フォルダーには影響がありません。

dbtプロジェクトを横断する依存関係¶

dbtプロジェクト内の別のdbtプロジェクトを参照するには、参照されるdbtプロジェクトをdbtプロジェクトのルートにコピーする必要があります。

ローカルの依存関係は外部アクセス統合を必要としませんが、ローカルパッケージとリモートパッケージ（たとえば、dbt Packages hubまたはGitから）の組み合わせが必要な場合は、実際の外部アクセス統合を構成する必要があります。

たとえば、次の2つのdbtプロジェクトについて考えます。ローカルで core_project に metrics_project を含めて、Snowflakeのデプロイ時にすべてを自己完結させたいとします（外部アクセス不要）。

/Projects
├─ core_project/
│   ├─ dbt_project.yml
│   ├─ packages.yml
│   ├─ models/
│   └─ ...
└─ metrics_project/
    ├─ dbt_project.yml
    ├─ models/
    └─ ...

• core_project:これはメインプロジェクト（デプロイするもの）です。

• metrics_project:これはローカル依存関係として使用するプロジェクトです。

core_project 内の metrics_project を参照するには、次の手順を実行します。

1. core_project 内部に local_packages という名前のフォルダーを作成します。このフォルダーに metrics_project をコピーします。

   metrics_project で、間違いなく dbt_project.yml に core_project とは別の名前があることを確認します。これは一意である必要があります。

   cd /Projects/core_project
   mkdir local_packages
   cp -R ../metrics_project ./local_packages/metrics_project
   

   Copy

   これで、レイアウトは次のようになります。

   core_project/
     ├─ dbt_project.yml
     ├─ packages.yml
     ├─ models/
     ├─ local_packages/
     │   └─ metrics_project/
     │       ├─ dbt_project.yml
     │       ├─ models/
     │       └─ ...
   

   Copy

2. core_project/packages.yml では、相対パスを使用してローカル依存関係を宣言します。

   packages:
     - local: local_packages/metrics_project
   

   Copy

3. core_project 内部から、 dbt deps を実行します。

   これで、dbtは metrics_project をパッケージとして扱うようになり、 metrics_project のマクロを core_project で利用できるようになります。

コンパイル時にdbt depsを自動的に実行する¶

dbtプロジェクトオブジェクトをデプロイまたは更新して、外部アクセス統合を可能にすると、Snowflakeがコンパイル中に自動的に dbt deps を実行し、そのステップの一部として依存関係がインストールされるようにできます。つまり、外部依存関係を持つプロジェクトをデプロイするときに /dbt_packages を含める必要がなくなります。

CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

my_dbt_project successfully created.

-- Create a dbt project object that runs dbt deps on compile for remote packages
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

-- Create a dbt project object that runs dbt deps on compile for only local dependencies
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Update the Git repository object to fetch the latest code
ALTER GIT REPOSITORY mydb.dev_schema.my_dbt_git_stage FETCH;

-- Set external access integrations
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  SET EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Add a new version to the dbt project object based on the updated Git repository object
-- After an external access integration is set, the next ALTER DBT PROJECT ... ADD VERSION will call dbt deps during compile
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  ADD VERSION
  FROM '@mydb.dev_schema.my_dbt_git_stage/branches/main/sales_dbt_project';

snow dbt deploy my_dbt_project --install-local-deps;

dbt依存関係のためにSnowflakeで外部アクセス統合を作成する¶

ワークスペースでdbtコマンドを実行すると、dbtはリモートの URLs にアクセスして、依存関係をダウンロードする必要が生じる場合があります。たとえば、dbtはdbtパッケージハブから、または GitHub からパッケージをダウンロードする必要がある場合があります。

ほとんどのdbtプロジェクトは、 packages.yml ファイルで依存関係を指定します。これらの依存関係をdbtプロジェクトのワークスペースにインストールする必要があります。

依存関係のあるデプロイされたdbtプロジェクトオブジェクトを更新することはできません。新しい依存関係でdbtプロジェクトオブジェクトを更新するには、オブジェクトに新しいバージョンを追加する必要があります。詳細については、 dbtプロジェクトオブジェクトの更新方法 をご参照ください。

リモートの URLs からdbtパッケージを取得するには、次の例に示すように、Snowflakeにネットワークルールに依存する外部アクセス統合が必要です。

-- Create NETWORK RULE for external access integration

CREATE OR REPLACE NETWORK RULE my_dbt_network_rule
  MODE = EGRESS
  TYPE = HOST_PORT
  -- Minimal URL allowlist that is required for dbt deps
  VALUE_LIST = (
    'hub.getdbt.com',
    'codeload.github.com'
    );

-- Create EXTERNAL ACCESS INTEGRATION for dbt access to external dbt package locations

CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION my_dbt_ext_access
  ALLOWED_NETWORK_RULES = (my_dbt_network_rule)
  ENABLED = TRUE;

外部アクセス統合の詳細については、外部アクセス統合の作成と使用 をご参照ください。

dbt依存関係の制限、要件、および考慮事項¶

次の要件、考慮事項、および制限は、dbt Projects on Snowflake のdbtプロジェクトのdbt依存関係に適用されます。

• dbtプロジェクトの dbt_packages フォルダにデータを入力するには、Snowflakeワークスペース内で dbt deps コマンドを実行する必要があります。あるいは、ローカルマシンまたはGitオーケストレーターで dbt deps を実行して、snow dbt deploy でデプロイすることもできます。

  dbtプロジェクトオブジェクトはバージョン管理されたスナップショットであるため、 EXECUTE DBT PROJECT または:codenowrap:snow dbt execute で dbt deps を実行しても、ファイルは変更されません。主に、外部アクセスが正しく構成されているかどうかを確認します。

• packages.yml ファイルには、パブリック Gitパッケージ を指定できますが、プライベートGitパッケージはサポートされていません。

• Snowflakeが依存関係のリポジトリにアクセスできるようにするには、ネットワークルールと外部アクセス統合が必要です。詳細については、 dbt依存関係のためにSnowflakeで外部アクセス統合を作成する をご参照ください。

• dbtプロジェクトオブジェクトは、プロジェクトのバージョン管理されたスナップショットです。deps コマンドを実行してもファイルは変更されません。これは主に、外部アクセスの構成が正しいかどうかを確認するために使用されます。dbtプロジェクトオブジェクトが外部アクセス統合で作成された場合、 dbt compile の前に dbt deps が実行され、すべての依存関係とプロジェクトファイルがパッケージ化されます。