Snowflake DevOps¶

Snowflake와 연결된 Git 리포지토리에 자산을 유지하여 워크플로를 간소화할 수 있습니다.¶

데이터 자산, 코드 및 구성을 Git 리포지토리에서 중앙에서 관리하고, 버전을 제어하고, Snowflake의 리포지토리를 사용하면 일관성을 보장하고, 공동 작업을 간소화하며, 필요한 경우 롤백을 간소화할 수 있습니다.

Snowflake 계정을 Git 리포지토리에 연결하면 Snowflake가 리포지토리에서 복제된 파일의 코드를 실행할 수 있습니다. 그 결과, 리포지토리의 전체 복제본을 나타내는 Git 리포지토리 스테이지가 생성됩니다. Snowflake 내에서 특정 커밋, 분기 또는 태그에서 버전 제어된 파일에 액세스할 수 있습니다.

리포지토리 스테이지에서는 버전이 관리되는 파일에서 Snowpark 함수 또는 프로시저를 생성하고 EXECUTE IMMEDIATE FROM 으로 버전이 관리된 SQL 스크립트를 직접 실행하거나 Snowflake CLI를 사용하여 Python 스크립트를 실행할 수 있습니다. 이렇게 하면 SQL 또는 Python으로 데이터베이스 오브젝트를 선언적으로 정의한 다음, 강력하고 설정하기 쉬운 CI/CD 파이프라인으로 해당 오브젝트를 배포할 수 있습니다.

개발, 테스트, 프로덕션을 위한 별도의 환경을 유지합니다.¶

개발, 테스트, 프로덕션을 위한 별도의 환경을 유지함으로써 팀은 개발 활동을 프로덕션 환경에서 분리하여 의도치 않은 결과와 데이터 손상의 가능성을 줄일 수 있습니다.

워크플로를 여러 환경으로 분리하면 각 환경마다 고유한 Snowflake 데이터베이스(일반적으로 동일한 사본)가 생성됩니다.

CREATE OR ALTER TASK {{ environment }}.my_schema.my_task
  WAREHOUSE = my_warehouse
  SCHEDULE = '60 minute'
  AS select pi();

import os
from snowflake.core import Root, CreateMode
from datetime import timedelta
from snowflake.core.task import Task

my_task = Task(
    name="my_task",
    warehouse="my_warehouse",
    definition="select pi()",
    schedule=timedelta(minutes=60)
)
root = Root(Session.builder.getOrCreate())
tasks = root.databases[os.environ["environment"]].schemas["my_schema"].tasks
tasks.create(my_task, mode=CreateMode.or_replace)

snow git execute @my_git_repo/branches/main/path/to/my_scripts" \
    -D "environment='preprod'"

선언적 코드 및 버전 관리를 사용한 변경 사항 관리¶

Git 리포지토리의 재사용 가능한 구성 파일을 사용하면 데이터베이스 리소스의 변경 사항을 더욱 쉽게 관리할 수 있습니다.

데이터베이스 오브젝트는 CREATE OR ALTER <오브젝트> 명령을 사용하여 정의할 수 있으며, 이 명령은 오브젝트를 생성하거나 명령에 지정된 정의와 일치하도록 오브젝트를 변경합니다. 리포지토리에 있는 버전이 관리되는 파일에서 이 명령을 사용하면 이전 버전으로 변경 사항을 더 쉽게 롤백할 수 있으며, 사용자는 파일의 이전 버전을 실행하기만 하면 됩니다.

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

GitHub Actions를 사용한 CI/CD 작업 자동화¶

GitHub Actions 를 사용하여 CI/CD 파이프라인을 구성하는 작업을 자동화할 수 있습니다. GitHub Actions 또는 이와 유사한 CI/CD 러너를 사용하여 빌드, 테스트 및 배포 작업을 자동화하는 워크플로를 정의할 수 있습니다.

이러한 워크플로에서는 Snowflake와 GitHub의 다른 기능을 사용하여 조각을 조합할 수 있습니다. 또는 다음 작업을 수행할 수 있습니다.

• Snowflake 자격 증명을 GitHub 시크릿 에 저장하여 GitHub Actions가 Snowflake에 연결할 수 있도록 합니다.

• Snowflake CLI 를 쉽게 설치하고 기본 Snowflake CLI GitHub 작업 의 도움으로 Snowflake에 연결합니다.

• Snowflake CLI 를 사용하여 Snowflake에서 명령을 실행합니다. 먼저 Git 리포지토리에서 가장 최근의 변경 내용을 Snowflake로 가져옵니다. 그런 다음 선언적 스크립트와 매개 변수화된 스크립트를 실행하여 변경 사항을 원하는 환경에 배포합니다.

다음 예제의 GitHub Actions 워크플로 발췌본은 파이프라인을 배포합니다. 워크플로는 이전에 구성된 시크릿에서 필요한 값을 검색하여 Snowflake에서 인증합니다.

파이프라인을 배포하기 위해 워크플로에서는 다음 snow git 명령을 실행합니다.

• snow git fetch 는 GitHub 리포지토리의 최신 내용을 Snowflake에서 복제된 my_git_repo Git 리포지토리 스테이지로 가져옵니다.

• snow git execute 는 리포지토리의 main 브랜치의 /scripts 디렉터리에서 Python 및 SQL 스크립트를 실행합니다.

name: Deploy scripts to preprod

on:
  push:
    branches:
      - main

jobs:
  deploy:
    runs-on: ubuntu-latest

    env:
      SNOWFLAKE_CONNECTIONS_DEFAULT_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_USER: ${{ secrets.SNOWFLAKE_USER }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Install snowflake-cli
        uses: Snowflake-Labs/snowflake-cli-action@v1.5
        with:
          cli-version: "latest"
          default-config-file-path: ".snowflake/config.toml"

      - name: Fetch repository changes
        run: snow git fetch my_git_repo

      - name: Deploy scripts to preprod environment
        run: snow git execute @my_git_repo/branches/main/scripts/* \
            -D "environment='preprod'"