Snowflake DevOps¶

Snowflake와 연결된 Git 리포지토리에 자산을 유지하여 워크플로를 간소화할 수 있습니다.¶

데이터 자산, 코드 및 구성을 Git 리포지토리에서 중앙에서 관리하고, 버전을 제어하고, Snowflake의 리포지토리를 사용하면 일관성을 보장하고, 공동 작업을 간소화하며, 필요한 경우 롤백을 간소화할 수 있습니다.

Snowflake 계정을 Git 리포지토리에 연결하면 Snowflake가 리포지토리에서 복제된 파일의 코드를 실행할 수 있습니다. 그 결과, 리포지토리의 전체 복제본을 나타내는 Git 리포지토리 스테이지가 생성됩니다. Snowflake 내에서 특정 커밋, 분기 또는 태그에서 버전 제어된 파일에 액세스할 수 있습니다.

예를 들어, Snowflake에서 리포지토리 파일이 복제된 경우 EXECUTE IMMEDIATE FROM 명령을 사용하여 복제된 파일에서 코드를 실행할 수 있습니다. 이렇게 하면 SQL로 데이터베이스 오브젝트를 선언적으로 생성한 다음 GitHub Action과 같은 다른 코드에서 해당 SQL을 실행할 수 있습니다.

개발, 테스트, 프로덕션을 위한 별도의 환경을 유지합니다.¶

개발, 테스트, 프로덕션을 위한 별도의 환경을 유지함으로써 팀은 개발 활동을 프로덕션 환경에서 분리하여 의도치 않은 결과와 데이터 손상의 가능성을 줄일 수 있습니다.

워크플로를 여러 환경으로 분리하면 각 환경마다 고유한 Snowflake 데이터베이스(일반적으로 동일한 사본)가 생성됩니다.

CREATE IF NOT EXISTS DATABASE MYDB_{{environment}};

run:
  snow sql -q "EXECUTE IMMEDIATE FROM @myco_common.public.my_repo/branches/main/deploy_parameterized_pipeline.sql USING (environment => 'prod', retention_time => 1)" \

선언적 코드 및 버전 관리를 사용한 변경 사항 관리¶

Git 리포지토리의 재사용 가능한 구성 파일을 사용하면 데이터베이스 리소스의 변경 사항을 더욱 쉽게 관리할 수 있습니다.

데이터베이스 오브젝트는 CREATE OR ALTER 명령을 사용하여 정의할 수 있으며, 이 명령은 오브젝트를 생성하거나 명령에 지정된 정의와 일치하도록 오브젝트를 변경합니다. 리포지토리에 있는 버전이 관리되는 파일에서 이 명령을 사용하면 이전 버전으로 변경 사항을 더 쉽게 롤백할 수 있으며, 사용자는 파일의 이전 버전을 실행하기만 하면 됩니다.

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

GitHub Actions를 사용한 CI/CD 작업 자동화¶

Jinja 템플릿을 사용하여 스크립트 매개 변수화 에서 간략하게 설명된 바와 같이 GitHub Actions 를 사용하여 CI/CD 파이프라인을 구성하는 작업을 자동화할 수 있습니다. GitHub Actions를 사용하면 빌드, 테스트 및 배포 작업을 자동화하는 워크플로를 정의할 수 있습니다.

이러한 워크플로에서는 Snowflake와 GitHub의 다른 기능을 사용하여 조각을 조합할 수 있습니다. 또는 다음 작업을 수행할 수 있습니다.

• Snowflake 자격 증명을 GitHub 시크릿 에 저장하여 GitHub Actions가 Snowflake에 연결할 수 있도록 합니다.

• Snowflake CLI 를 사용하여 Snowflake에서 명령을 실행합니다.

• 연결된 Git 리포지토리에서 검색되어 Snowflake가 보유한 파일에 포함된 코드를 실행하려면 Snowflake CLI를 사용합니다.

다음 예제의 GitHub Actions 워크플로 발췌본은 파이프라인을 배포합니다. 워크플로는 이전에 구성된 시크릿에서 필요한 값을 검색하여 Snowflake에서 인증합니다.

워크플로에서는 파이프라인을 배포하기 위해 snow sql 명령과 함께 다음 두 개의 SQL 명령을 실행합니다.

• ALTER GIT REPOSITORY는 Snowflake의 repository myco_common.public.my_repo Git 리포지토리 스테이지에 복제된 GitHub 리포지토리에서 최신 버전을 가져옵니다.

• EXECUTE IMMEDIATE FROM은 리포지토리의 main 분기에서 deploy_parameterized_pipeline.sql 파일에 있는 코드를 실행합니다.

name: Deploy data pipeline to prod

# Controls when the action will run.
on:
  push:
    branches:
      - main

  # Allows you to run this workflow manually from the Actions tab
  workflow_dispatch:

jobs:
  deploy:
    runs-on: ubuntu-latest

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Setup Python 3.10
        uses: actions/setup-python@v5
        with:
          python-version: '3.10'

      - name: Install Python packages
        run: pip install -r requirements.txt

      - name: Deploy data pipeline
        env:
          SNOWFLAKE_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
          SNOWFLAKE_USER: ${{ secrets.SNOWFLAKE_USER }}
          SNOWFLAKE_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}
          SNOWFLAKE_ROLE: ${{ secrets.SNOWFLAKE_ROLE }}
          SNOWFLAKE_WAREHOUSE: ${{ secrets.SNOWFLAKE_WAREHOUSE}}
        run: |
          snow sql -q "ALTER GIT REPOSITORY quickstart_common.public.quickstart_repo FETCH" --temporary-connection --account $SNOWFLAKE_ACCOUNT --user $SNOWFLAKE_USER --role $SNOWFLAKE_ROLE --warehouse $SNOWFLAKE_WAREHOUSE
          snow sql -q "EXECUTE IMMEDIATE FROM @quickstart_common.public.quickstart_repo/branches/main/deploy_parameterized_pipeline.sql USING (environment => 'prod', retention_time => 1)" --temporary-connection --account $SNOWFLAKE_ACCOUNT --user $SNOWFLAKE_USER --role $SNOWFLAKE_ROLE --warehouse $SNOWFLAKE_WAREHOUSE

Snowflake 작업을 사용하여 Snowflake 코드 실행을 조정합니다.¶

Snowflake 작업 을 생성하여 Snowflake에서 SQL 문 실행을 오케스트레이션할 수 있습니다. 작업에는 일정에 따라 실행하고, 재시도하고, 실패 후 일시 중단하고, 다른 특정 작업이 완료된 후 실행하는 기능이 포함됩니다.

작업을 사용하면 뷰에 조인하고, 이메일 알림을 보내고, 애플리케이션의 다른 부분에 데이터를 공급하는 등의 작업을 수행할 수 있습니다.

이러한 SQL 문을 조정하는 작업을 만든 후에는 한 번의 실행으로 작업을 실행할 수 있습니다. 이 항목의 다른 곳에서 설명한 바와 같이, 예를 들어 EXECUTE IMMEDIATE FROM으로 실행하는 리포지토리 파일에 EXECUTE TASK 를 포함시켜 작업을 실행할 수 있습니다.

• SQL을 사용하여 작업을 만드는 방법에 대한 자세한 내용은 CREATE TASK 섹션을 참조하십시오.

• Python API를 사용하여 작업을 만드는 방법에 대한 자세한 내용은 Python을 사용하여 Snowflake 작업 및 작업 그래프 관리하기 섹션을 참조하십시오.

SQL 또는 Snowsight 를 사용하여 작업 실행 기록을 포함한 작업을 모니터링할 수 있습니다.

• SQL을 사용하여 작업을 모니터링하는 방법에 대한 자세한 내용은 TASK_HISTORY 뷰 섹션을 참조하십시오.

• Snowsight 에서 작업을 모니터링하는 방법에 대한 자세한 내용은 Snowsight 의 작업 및 작업 그래프 보기 섹션을 참조하십시오.

• Python API를 사용하여 작업을 관리하는 방법에 대한 자세한 내용은 Python을 사용하여 Snowflake 작업 및 작업 그래프 관리하기 섹션을 참조하십시오.

다음 예제의 작업은 vacation_spots 테이블에서 선택합니다. 그런 다음 결과에 따라 작업에서 SYSTEM$SEND_EMAIL을 호출하여 이메일 알림을 보냅니다.

CREATE OR ALTER TASK email_notification
  WAREHOUSE = 'quickstart_wh'
  AFTER vacation_spots_update
  AS
    BEGIN
      LET OPTIONS VARCHAR := (
        SELECT TO_VARCHAR(ARRAY_AGG(OBJECT_CONSTRUCT(*)))
        FROM vacation_spots
        WHERE TRUE
          AND punctual_pct >= 50
          AND avg_temperature_air_f >= 70
          -- STEP 5: INSERT CHANGES HERE
        LIMIT 10);


      IF (:OPTIONS = '[]') THEN
        CALL SYSTEM$SEND_EMAIL(
            'email_integration',
            '<insert your email here>', -- INSERT YOUR EMAIL HERE
            'New data successfully processed: No suitable vacation spots found.',
            'The query did not return any results. Consider adjusting your filters.');
      END IF;

      LET QUERY VARCHAR := 'Considering the data provided below in JSON format, pick the best city for a family vacation in summer?
      Explain your choice, offer a short description of the location and provide tips on what to pack for the vacation considering the weather conditions?
      Finally, could you provide a detailed plan of daily activities for a one week long vacation covering the highlights of the chosen destination?\n\n';

      LET RESPONSE VARCHAR := (SELECT SNOWFLAKE.CORTEX.COMPLETE('mistral-7b', :query || :options));

      CALL SYSTEM$SEND_EMAIL(
        'email_integration',
        '<insert your email here>', -- INSERT YOUR EMAIL HERE
        'New data successfully processed: The perfect place for your summer vacation has been found.',
        :response);
    EXCEPTION
        WHEN EXPRESSION_ERROR THEN
            CALL SYSTEM$SEND_EMAIL(
            'email_integration',
            '<insert your email here>', -- INSERT YOUR EMAIL HERE
            'New data successfully processed: Cortex LLM function inaccessible.',
            'It appears that the Cortex LLM functions are not available in your region');
    END;

대화형 Snowflake DevOps 사용에 대한 안내는 Snowflake DevOps 시작하기 빠른 시작을 참조하십시오.