Snowflake의 dbt 프로젝트¶

dbt 프로젝트 오브젝트에 대한 CI/CD 워크플로¶

dbt 프로젝트 오브젝트는 명령줄에서 dbt 프로젝트를 만들고 관리하는 데 사용할 수 있는 Snowflake CLI 명령을 지원합니다. 이는 dbt 프로젝트를 데이터 엔지니어링 워크플로 및 CI/CD 파이프라인에 통합하는 데 유용합니다. 자세한 내용은 Snowflake CLI, CI/CD 와 Snowflake CLI 통합하기, snow dbt 명령 를 참조하십시오.

dbt 프로젝트 오브젝트 및 파일의 버전 관리¶

Snowflake는 dbt 프로젝트 오브젝트와 해당 프로젝트 파일의 버전을 유지 관리합니다. 이 버전 관리를 사용하여 데이터 개발 및 배포 수명 주기 전체에서 변경 사항을 추적하고 관리할 수 있습니다. Snowflake는 다음 예제와 같이 dbt 프로젝트 스테이지에서 dbt 프로젝트 오브젝트 버전을 식별합니다.

snow://dbt/my_db.my_schema.my_dbt_project_object/versions/version_id

:samp:`{version_id}`는 다음 식별자 중 하나일 수 있습니다.

• VERSION$<num> - VERSION$<num>``의 형식으로 버전 식별자를 지정합니다. 여기서 ``<num>은 양의 정수(예: VERSION$1)입니다.

  dbt 프로젝트 오브젝트를 생성할 때 버전 번호는 ``1``에서 시작하고 dbt 프로젝트 오브젝트의 새 버전이 나올 때마다 1씩 증분합니다.

  Snowflake는 다음 작업을 수행할 때 버전 식별자를 증분합니다.

  • 작업 공간에서 :ui:`Redeploy dbt project`(ALTER 명령 실행).

  • ALTER DBT PROJECT 명령을 사용하여 프로젝트 업데이트.

  • --force 옵션 없이 Snow CLI snow dbt deploy 명령 실행.

  Snowflake는 버전 식별자를 ``1``로 재설정하고 다음 명령을 실행할 때 모든 버전 별칭을 제거합니다.

  • OR REPLACE 옵션이 있는 SQL의 CREATE DBT PROJECT 명령.

  • Snowflake CLI의 --force 옵션이 있는 snow dbt deploy 명령.

• LAST - dbt 프로젝트 오브젝트의 최신 버전을 나타냅니다.

• FIRST - dbt 프로젝트 오브젝트의 가장 오래된 버전을 나타냅니다.

• version_name_alias - ADD VERSION 옵션과 함께 ALTER DBT PROJECT 명령을 사용하여 dbt 프로젝트 오브젝트의 특정 버전에 대해 생성한 사용자 지정 버전 이름 별칭을 나타냅니다. 버전 이름 별칭은 항상 특정 버전 식별자(예: VERSION$3)에 매핑됩니다.

dbt 프로젝트 스테이지에 저장된 프로젝트 파일은 버전별로 구성되며, 각 버전에는 자체 하위 디렉터리가 있습니다. 예를 들어, 버전 식별자가 ``VERSION$3``인 ``my_dbt_project_object``라는 dbt 프로젝트 오브젝트와 :file:`dbt_project.yml`이라는 dbt 프로젝트 파일은 다음 예와 같이 참조할 수 있습니다.

snow://dbt/my_db.my_schema/my_dbt_project_object/versions/VERSION$3/dbt_project.yml

dbt 프로젝트¶

|sf-dbt|에서 지원하는 dbt 프로젝트 구성에는 다음 요구 사항, 고려 사항, 제한 사항이 적용됩니다.

• dbt Core 프로젝트만 지원됩니다. dbt Cloud 프로젝트는 지원되지 않습니다. |sf-dbt|는 dbt-core 버전 1.9.4 및 dbt-snowflake 버전 1.9.2를 실행합니다. 기존 dbt 프로젝트를 Snowflake로 마이그레이션할 때 dbt 버전을 Snowflake 버전과 맞출 필요가 없습니다.

• Snowflake 작업 공간의 각 dbt 프로젝트 폴더에는 프로젝트에 대한 Snowflake의 대상 warehouse, database, schema, role`을 지정하는 :file:`profiles.yml 파일이 포함되어야 합니다. type`은 :code:`snowflake`로 설정해야 합니다. dbt에는 :code:`account 및 :code:`user`가 필요하지만, dbt 프로젝트는 현재 계정 및 사용자 컨텍스트로 Snowflake에서 실행되므로 비어 있거나 임의의 문자열로 남을 수 있습니다.

• 작업 공간의 dbt 프로젝트는 폴더 구조에 20,000개 이상의 파일을 포함할 수 없습니다. 이 제한에는 dbt 프로젝트 디렉터리와 하위 디렉터리의 모든 파일이 포함되며, dbt 프로젝트가 작업 공간 내에서 실행될 때 로그 파일이 저장되는 target/dbt_packages/logs 디렉터리도 포함됩니다.

저장 프로시저¶

저장 프로시저를 사용하여 EXECUTE DBT PROJECT를 호출하는 경우, 호출자 권한 저장 프로시저를 사용합니다. 자세한 내용은 CREATE PROCEDURE 및 저장 프로시저 만들기 섹션을 참조하십시오.

|sf-dbt|용 작업 공간¶

|sf-dbt|용 작업 공간에는 다음 요구 사항, 고려 사항, 제한 사항이 적용됩니다.

dbt 종속성¶

|sf-dbt|의 dbt 프로젝트에 대한 dbt 종속성에 적용되는 요구 사항, 고려 사항, 제한 사항은 다음과 같습니다.

• |sf-dbt|용 작업 공간 내에서 dbt deps 명령을 실행하거나, Snowflake CLI에서 snow dbt execute 명령을 사용하여 dbt_packages 프로젝트 폴더를 빌드하고 채워야 합니다. EXECUTE DBT PROJECT SQL 명령을 사용하여 deps 명령을 실행할 수 없습니다. 또는 Snowflake에 dbt 프로젝트 오브젝트로 배포하기 전에 로컬 dbt 프로젝트에서 ``deps``를 실행할 수 있습니다.

• packages.yml 파일에서 `Git 패키지`_를 지정하는 것은 지원되지 않습니다.

• Snowflake가 종속성에 대한 리포지토리에 액세스할 수 있도록 허용하려면 네트워크 규칙 및 외부 액세스 통합이 필요합니다. 자세한 내용은 Snowflake에서 dbt 종속성에 대한 외부 액세스 통합 만들기 섹션을 참조하십시오. 외부 네트워크 액세스 제한에 대한 자세한 내용은 외부 네트워크 액세스 제한 사항 섹션을 참조하세요.

원격 분석, 로깅, 추적¶

Snowflake의 dbt에 대한 원격 분석, 로깅, 추적에는 다음 요구 사항, 고려 사항, 제한 사항이 적용됩니다.

• |sf-dbt|용 작업 공간은 표준 출력을 동적으로 스트리밍하지 않으며, 표준 출력은 명령 완료 시에만 볼 수 있습니다.

• 로그 및 추적을 보려면 dbt 프로젝트 오브젝트에 LOG_LEVEL 및 TRACE_LEVEL을 설정해야 합니다. 자세한 내용은 Snowflake의 dbt 프로젝트에 대한 액세스 제어 및 Snowflake에서 dbt 프로젝트 모니터링 섹션을 참조하십시오.

• 기본적으로 Snowflake는 기본 SNOWFLAKE.TELEMETRY.EVENTS 테이블에서 원격 분석을 수집합니다. 계정의 이벤트 테이블로 설정된 사용자 지정 이벤트 테이블이 있는 경우 원격 분석 데이터가 그곳에서 수집됩니다. Enterprise Edition 계정을 사용하는 경우 이벤트 테이블을 생성하여 원격 분석 데이터를 수집하고 이를 dbt 프로젝트 오브젝트가 배포된 데이터베이스와 연결할 수 있습니다. 자세한 내용은 이벤트 테이블 개요 섹션을 참조하십시오.