DCM Projects 파일 및 템플릿¶

프로젝트 정의 및 프로젝트 오브젝트 간의 매핑¶

DCM Projects 정의 파일은 특정 DCM project 오브젝트 파일에 엄격하게 연결되어 있지 않습니다. 동일한 정의 세트를 사용하여 다른 Snowflake 계정에서 또는 다른 구성 프로필을 참조하여 여러 프로젝트에 배포할 수 있습니다. 예를 들어, 다음 그림과 같이 리포지토리 분기의 동일한 정의 파일을 DEV 및 PROD 계정 모두에 배포할 수 있습니다.

마찬가지로, 다른 경로의 정의 파일을 참조하여 DCM Projects 오브젝트를 실행할 수 있습니다. 예를 들어, CI 또는 CD 자동화는 기본 분기에서 정의를 배포할 수 있으며, 동일한 프로젝트에 대해 로컬 정의 파일에서 PLAN을 수동으로 실행하여 해당 최신 배포와 어떻게 다른지 확인할 수 있습니다. 이러한 접근 방식은 다른 분기 또는 로컬 경로에서의 임시 수동 배포에도 사용할 수 있습니다.

매크로¶

매크로 파일은 macros 파일 및 해당 하위 폴더에 있는 모든 SQL 파일입니다. 매크로만 포함할 수 있습니다.

매크로 파일이 있는 DCM project 디렉터리 구조의 예제는 다음과 같습니다.

My_dcm_project
 |_ manifest.yml
 |_ sources
    |_ definitions
       |_ my_definitions.sql
    |_ macros
       |_ my_global_macros.sql

일반 프로그래밍 언어의 함수와 유사하게, 매크로는 자주 사용하는 코드 조각을 재사용 가능한 함수로 구성하여 반복을 방지하고 중복배제(DRY) 원칙을 따르는 데 도움이 됩니다. DCM Projects 의 매크로는 다음 예외를 제외하고 `Jinja2 매크로 <https://jinja.palletsprojects.com/en/stable/templates/#macros>`_와 같은 방식으로 작동합니다.

• macros 폴더 내 매크로 파일 전용 위치.

• 매크로 파일에 정의된 매크로는 다른 소스 파일에 자동으로 표시됩니다. import Jinja 태그는 허용되지 않습니다.

• 동일한 이름의 매크로 중복 정의는 감지되어 거부됩니다.

템플릿 설명¶

SQL 명령에서 코드 앞에 ``–``을 추가하여 줄을 주석 처리할 수 있습니다. Jinja는 SQL 코드 내에서 계속 변수를 처리하지만 SQL 주석은 그대로 유지합니다.

예를 들어, 다음 Jinja 코드는 다음과 같습니다.

-- hello {{ project_owner_role }}

다음과 같이 렌더링됩니다.

-- hello DCM_DEVELOPER

주석 처리된 명령은 SQL에서 실행되지 않습니다. 템플릿 주석을 사용하면 SQL 코드에 영향을 주지 않고 Jinja 템플릿을 디버깅할 수 있습니다.

렌더링 중에 Jinja 코드를 무시하려면 다음 예제와 같이 여는 대괄호와 닫는 대괄호 안에 ``#``을 추가합니다.

{# This Jinja comment will not appear in the rendered output. #}

구성¶

오브젝트 정의에서 템플릿을 사용하는 경우 다음과 같은 옵션이 있습니다.

• 런타임 시 변수에 값을 할당합니다.

• manifest.yml`의 ``templating: configurations:``에서 다양한 구성 프로필을 정의합니다. 각 대상은 ``templating_config``를 통해 구성을 참조할 수 있습니다. 자세한 내용은 :ref:`label-dcm_projects_files_configurations 섹션을 참조하십시오.

  구성 프로필이 정의되어 있고 대상이 ``templating_config``를 통해 참조하는 경우 해당 대상을 사용할 때 구성이 자동으로 적용됩니다. 예는 DCM project 계획 을 참조하십시오.

  DCM Projects 에서 구성 프로필의 기본 사용 사례는 다양한 환경을 대상으로 하는 것입니다. 구성 프로필을 사용하면 다음을 수행할 수 있습니다.

  • 여러 환경에 동일한 코드를 배포합니다.

  • 비프로덕션 환경에서 축소된 규모로 프로덕션 코드를 테스트합니다.

  • 동일한 계정에서 여러 개의 격리된 환경을 유지 관리합니다.

  대상 프로필에서 모든 템플릿 구성을 참조할 필요는 없습니다. 사용하지 않는 구성을 유지하여 대상의 템플릿 구성을 다른 구성으로 전환할 수 있습니다.

• ``templating: defaults:``에서 공유 기본값을 정의하여 구성 전체에서 공통 변수가 반복되지 않도록 합니다. 자세한 내용은 프로젝트 템플릿 구성 섹션을 참조하십시오.

• CLI의 --variable 플래그를 사용하여 런타임 시 특정 변수를 일회성 값으로 덮어씁니다.

변수는 전역 기본값 < 구성 변수 < 런타임 실행 변수의 3단계 계층 구조로 확인됩니다.

사전¶

DCM Projects 템플릿은 사전을 변수 값으로 지원하므로 복잡한 다중 테넌트 또는 다중 리소스 배포를 위한 정형 구성이 가능합니다.

관련 구성 세부 정보를 사전으로 그룹화하면 다음과 같은 이점을 얻을 수 있습니다.

• 세분화된 제어: 모든 변형에 대해 고유한 논리를 작성하지 않고도 웨어하우스 크기, 보존 정책, 권한 부여와 같은 특정 설정을 개별 리소스에 적용할 수 있습니다.

• 더 깔끔한 코드 베이스: 하드 코딩된 반복적인 스크립트를 구성에 따라 조정되는 동적 루프로 바꿉니다.

• 확장성: 배포 파이프라인을 리팩터링하는 대신 구성에 항목을 추가하여 새 팀이나 리소스를 온보딩합니다.

templating:
  defaults:
    user: "GITHUB_ACTIONS_SERVICE_USER"
    wh_size: "X-SMALL"
  configurations:
    PROD:
      env_suffix: ""
      project_owner_role: "DCM_PROD_DEPLOYER"
      teams:
        - name: "Marketing"
          wh_size: "MEDIUM"
          data_retention_days: 14
          needs_sandbox_schema: true
        - name: "Finance"
          wh_size: "X-LARGE"
          data_retention_days: 90
          needs_sandbox_schema: false
        - name: "HR"
          data_retention_days: 30
          needs_sandbox_schema: false

-- loop through team dictionaries
{% for team in teams %}
    {% set team_name = team.name | upper %}

    -- inject dictionary values directly into object properties
    define schema DCM_DEMO_1{{env_suffix}}.{{team_name}}
        comment = 'using JINJA dictionary values'
        data_retention_time_in_days = {{ team.data_retention_days }};

    -- pass the name to your macro
    {{ create_team_roles(team_name) }}

    define table DCM_DEMO_1{{env_suffix}}.{{team_name}}.PRODUCTS(
        ITEM_NAME varchar,
        ITEM_ID varchar,
        ITEM_CATEGORY array
    )
    data_metric_schedule = 'TRIGGER_ON_CHANGES';

    {% if team_name == 'HR' %}
        define table DCM_DEMO_1{{env_suffix}}.{{team_name}}.EMPLOYEES(
            NAME varchar,
            ID int
        )
        comment = 'This table is only created in HR';
    {% endif %}

    -- use dictionary booleans to deploy optional infrastructure
    {% if team.needs_sandbox_schema | default(false) %}
        define schema DCM_DEMO_1{{env_suffix}}.{{team_name}}_SANDBOX
            comment = 'Sandbox schema defined via dictionary flag'
            data_retention_time_in_days = 1;
    {% endif %}

{% endfor %}