Snowflake의 dbt 프로젝트에 대한 종속성 이해¶

dbt deps 명령 실행 정보¶

다음 방법 중 하나로 dbt deps 명령을 실행할 수 있습니다.

• **Snowflake Workspace에서:**(개발 환경에 권장됨) dbt 프로젝트를 DBT PROJECT 오브젝트로 배포하기 전에 |sf-web-interface|의 작업 공간 내에서 dbt deps 명령을 실행하여 :code:`dbt_packages`를 채울 수 있습니다.

  이를 위해서는 Snowflake가 종속성에 대한 리포지토리에 액세스할 수 있도록 외부 네트워크 액세스가 필요합니다. 자세한 내용은 Snowflake에서 dbt 종속성에 대한 외부 액세스 통합 만들기 섹션을 참조하십시오.

• **Snowflake 외부:**(예: 배포 파이프라인의 빌드 단계) 로컬 컴퓨터 또는 CI(연속 통합)에서 dbt deps 명령을 실행하여 패키지를 :code:`dbt_packages`에 다운로드한 다음, 전체 프로젝트(해당 폴더 포함)를 Snowflake에 배포할 수 있습니다.

  모든 종속성이 dbt 프로젝트에 이미 포함되어 있으므로 외부 네트워크 액세스 통합이 필요하지 않습니다.

  dbt 프로젝트 버전의 파일은 변경할 수 없으므로 배포된 오브젝트에 대해 dbt deps`를 실행하려고 하면 오브젝트 내의 :code:`dbt_packages 폴더에는 아무런 영향도 미치지 않습니다.

dbt 프로젝트 간 종속성¶

In order to reference another dbt project within your dbt project, the dbt project being referenced must be copied into the root of your dbt project. Snowflake only supports references in the same folder. For example, :local: ../some_other_project isn’t supported.

로컬 종속성에는 외부 액세스 통합이 필요하지 않지만, 로컬 패키지와 원격 패키지의 혼합(예: dbt 패키지 허브 또는 Git의 패키지)이 필요한 경우 실제 외부 액세스 통합을 구성해야 합니다.

다음 두 dbt 프로젝트를 예로 들어 보겠습니다. Snowflake에 배포할 때 모든 것이 독립적이 되도록 :code:`core_project`에 :code:`metrics_project`를 포함하려고 할 수 있습니다(외부 액세스 불필요).

/Projects
├─ core_project/
│   ├─ dbt_project.yml
│   ├─ packages.yml
│   ├─ models/
│   └─ ...
└─ metrics_project/
    ├─ dbt_project.yml
    ├─ models/
    └─ ...

• core_project: 이것이 기본 프로젝트(배포할 프로젝트)입니다.

• metrics_project: 이것은 로컬 종속성으로 사용하려는 프로젝트입니다.

core_project 내에서 :code:`metrics_project`를 참조하려면 다음 단계를 완료하세요.

1. core_project 내부에서 이름이 :code:`local_packages`인 폴더를 만듭니다. :code:`metrics_project`를 이 폴더에 복사합니다.

   :code:`metrics_project`의 :file:`dbt_project.yml`에 :file:`core_project`와는 다른 이름이 있는지 확인하세요. 고유해야 합니다.

   cd /Projects/core_project
   mkdir local_packages
   cp -R ../metrics_project ./local_packages/metrics_project
   

   Copy

   이제 레이아웃은 다음과 같습니다.

   core_project/
     ├─ dbt_project.yml
     ├─ packages.yml
     ├─ models/
     ├─ local_packages/
     │   └─ metrics_project/
     │       ├─ dbt_project.yml
     │       ├─ models/
     │       └─ ...
   

   Copy

2. :file:`core_project/packages.yml`에서 상대 경로를 사용하여 로컬 종속성을 선언합니다.

   packages:
     - local: local_packages/metrics_project
   

   Copy

3. core_project 내부에서 :code:`dbt deps`를 실행합니다.

   이제 dbt가 :code:`metrics_project`를 패키지로 취급하며 :code:`metrics_project`의 매크로는 :code:`core_project`에서 사용할 수 있습니다.

컴파일 시 dbt deps 자동 실행¶

dbt 프로젝트 오브젝트를 배포하거나 업데이트하고 외부 액세스 통합을 제공하면 종속성이 해당 단계의 일부로 설치되도록, 컴파일하는 동안 Snowflake가 dbt deps`를 자동으로 실행할 수 있습니다. 즉, 외부 종속성이 있는 프로젝트를 배포할 때 더 이상 :code:/dbt_packages`를 포함할 필요가 없습니다.

CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

my_dbt_project successfully created.

-- Create a dbt project object that runs dbt deps on compile for remote packages
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = (my_dbt_ext_access);

-- Create a dbt project object that runs dbt deps on compile for only local dependencies
CREATE DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  FROM 'snow://workspace/mydb.my_dbt_projects_schema.sales_model/versions/version$2'
  EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Update the Git repository object to fetch the latest code
ALTER GIT REPOSITORY mydb.dev_schema.my_dbt_git_stage FETCH;

-- Set external access integrations
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  SET EXTERNAL_ACCESS_INTEGRATIONS = ();

-- Add a new version to the dbt project object based on the updated Git repository object
-- After an external access integration is set, the next ALTER DBT PROJECT ... ADD VERSION will call dbt deps during compile
ALTER DBT PROJECT mydb.my_dbt_projects_schema.my_dbt_project
  ADD VERSION
  FROM '@mydb.dev_schema.my_dbt_git_stage/branches/main/sales_dbt_project';

snow dbt deploy my_dbt_project --install-local-deps;

Snowflake에서 dbt 종속성에 대한 외부 액세스 통합 만들기¶

작업 공간에서 dbt 명령을 실행할 때 dbt는 종속성을 다운로드하기 위해 원격 URLs에 액세스해야 할 수 있습니다. 예를 들어, dbt는 dbt 패키지 허브 또는 GitHub에서 패키지를 다운로드해야 할 수 있습니다.

대부분의 dbt 프로젝트는 packages.yml 파일에 종속성을 지정합니다. 이러한 종속성은 dbt 프로젝트 작업 공간에 설치해야 합니다.

종속성이 있는 배포된 dbt 프로젝트 오브젝트는 업데이트할 수 없습니다. dbt 프로젝트 오브젝트를 새 종속성으로 업데이트하려면 오브젝트에 새 버전을 추가해야 합니다. 자세한 내용은 dbt 프로젝트 오브젝트가 업데이트되는 방법 섹션을 참조하십시오.

원격 URLs에서 dbt 패키지를 가져오려면 Snowflake는 다음 예와 같이 네트워크 규칙에 의존하는 외부 액세스 통합이 필요합니다.

-- Create NETWORK RULE for external access integration

CREATE OR REPLACE NETWORK RULE my_dbt_network_rule
  MODE = EGRESS
  TYPE = HOST_PORT
  -- Minimal URL allowlist that is required for dbt deps
  VALUE_LIST = (
    'hub.getdbt.com',
    'codeload.github.com'
    );

-- Create EXTERNAL ACCESS INTEGRATION for dbt access to external dbt package locations

CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION my_dbt_ext_access
  ALLOWED_NETWORK_RULES = (my_dbt_network_rule)
  ENABLED = TRUE;

Snowflake의 외부 액세스 통합에 대한 자세한 내용은 외부 액세스 통합 생성 및 사용하기 섹션을 참조하세요.

dbt 종속성에 대한 제한 사항, 요구 사항 및 고려 사항¶

|sf-dbt|의 dbt 프로젝트에 대한 dbt 종속성에 적용되는 요구 사항, 고려 사항, 제한 사항은 다음과 같습니다.

• Snowflake 작업 공간 내에서 dbt deps 명령을 실행하여 dbt 프로젝트의 dbt_packages 폴더를 채워야 합니다. 또는 로컬 컴퓨터 또는 git 오케스트레이터에서 :code:`dbt deps`를 실행하고 :code:`snow dbt deploy`를 사용하여 배포할 수 있습니다.

  dbt 프로젝트 오브젝트는 버전이 지정된 스냅샷이므로 EXECUTE DBT PROJECT 또는 :codenowrap:`snow dbt execute`를 사용하여 :code:`dbt deps`를 실행해도 파일이 수정되지 않으며 주로 외부 액세스가 올바르게 구성되었는지 확인합니다.

• You can specify public Git packages in the packages.yml file. As a best practice, Snowflake recommends using private Git packages only if they are stored securely. We don’t recommend embedding unencrypted Git tokens.

• Snowflake가 종속성에 대한 리포지토리에 액세스할 수 있도록 허용하려면 네트워크 규칙 및 외부 액세스 통합이 필요합니다. 자세한 내용은 Snowflake에서 dbt 종속성에 대한 외부 액세스 통합 만들기 섹션을 참조하십시오.

• dbt 프로젝트 오브젝트는 프로젝트의 버전이 지정된 스냅샷입니다. 이 오브젝트에 대해 deps 명령을 실행해도 파일이 수정되지 않으며 주로 외부 액세스 구성이 올바른지 확인하는 데 사용됩니다. dbt 프로젝트 오브젝트가 외부 액세스 통합으로 생성되면 dbt compile 전에 :code:`dbt deps`가 실행되어 모든 종속성과 프로젝트 파일을 패키징합니다.

• Snowflake only supports referencing another dbt project in the same folder. For example, :local: ../some_other_project isn’t supported. For a workaround, see dbt 프로젝트 간 종속성.