Snowflake DevOps¶

Snowflakeに接続されたGitリポジトリにアセットを保存することで、ワークフローを合理化する¶

データ資産、コード、構成をGitリポジトリで集中管理およびバージョン管理し、Snowflakeのリポジトリを使用することで、一貫性を確保し、コラボレーションを簡素化し、必要に応じてロールバックを効率化できます。

SnowflakeアカウントをGitリポジトリに接続すると、Snowflakeはリポジトリからクローンされたファイル内のコードを実行できるようになります。結果は、リポジトリの完全なクローンを表すGitリポジトリステージになります。Snowflake内から、特定のコミット、ブランチ、タグでバージョン管理されたファイルにアクセスできます。

リポジトリステージを使用すると、バージョン管理されたファイルからSnowpark関数やプロシージャを作成し、バージョン管理された SQL スクリプトを EXECUTE IMMEDIATE FROM で直接実行したり、Snowflake CLI を使用してPythonスクリプトを実行することができます。このように、 SQL または Python でデータベースオブジェクトを宣言的に定義し、 CI/CD パイプラインを堅牢かつ簡単にセットアップして、それらのオブジェクトをデプロイすることができます。

開発、テスト、本番用に別々の環境を維持する¶

開発、テスト、本番用に別々の環境を維持することで、チームは開発アクティビティを本番環境から分離し、意図しない結果やデータ破損の可能性を減らすことができます。

ワークフローを複数の環境に分割すると、それぞれに独自のSnowflakeデータベース（通常は同一のコピー）が取得されます。

CREATE OR ALTER TASK {{ environment }}.my_schema.my_task
  WAREHOUSE = my_warehouse
  SCHEDULE = '60 minute'
  AS select pi();

import os
from snowflake.core import Root, CreateMode
from datetime import timedelta
from snowflake.core.task import Task

my_task = Task(
    name="my_task",
    warehouse="my_warehouse",
    definition="select pi()",
    schedule=timedelta(minutes=60)
)
root = Root(Session.builder.getOrCreate())
tasks = root.databases[os.environ["environment"]].schemas["my_schema"].tasks
tasks.create(my_task, mode=CreateMode.or_replace)

snow git execute @my_git_repo/branches/main/path/to/my_scripts" \
    -D "environment='preprod'"

宣言型コードとバージョン管理による変更の管理¶

Gitリポジトリ内の再利用可能な構成ファイルを使用すると、データベースリソースへの変更をより簡単に管理できます。

CREATE OR ALTER <オブジェクト> コマンドを使用してデータベースオブジェクトを定義できます。このコマンドは、オブジェクトを作成したり、コマンドで指定された定義と一致するようにオブジェクトを変更したりします。リポジトリ内のバージョン管理されたファイルからこのコマンドを使用すると、以前のバージョンへの変更をより簡単にロールバックできます。単にファイルの以前のバージョンを実行するだけです。

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

GitHub アクションを使用して CI/CD ジョブを自動化する¶

GitHub アクション を使用して、 CI/CD パイプラインを構成するジョブを自動化できます。GitHub アクションまたは同様の CI/CD ランナーを使用すると、ビルド、テスト、デプロイのタスクを自動化するワークフローを定義できます。

これらのワークフローでは、Snowflakeと GitHub の他の機能を使用して、各部分をまとめることができます。次のタスクを実行できます。

• Snowflakeの認証情報を GitHub シークレット に保存し、 GitHub アクションがSnowflakeに接続できるようにします。

• Snowflake CLI を簡単にインストールし、ネイティブの Snowflake CLI GitHub アクション の助けを借りて Snowflake に接続します。

• Snowflake CLI を使用して、Snowflakeでコマンドを実行します。まず、Gitリポジトリから最新の変更点をSnowflakeに取り込みます。次に、宣言スクリプトとパラメトリックスクリプトを実行して、変更内容を任意の環境にデプロイします。

次の例の GitHub アクションワークフローの抜粋では、パイプラインをデプロイします。ワークフローは、以前に構成されたシークレットから必要な値を取得して、Snowflakeで認証します。

パイプラインをデプロイするために、ワークフローは以下の:codenowrap:snow git コマンドを実行します。

• snow git fetch は、 GitHub リポジトリから Snowflake のクローン my_git_repo Git リポジトリステージに最新のものをプルします。

• snow git execute はリポジトリの main ブランチから /scripts 　ディレクトリのPython と SQL スクリプトを実行します。

name: Deploy scripts to preprod

on:
  push:
    branches:
      - main

jobs:
  deploy:
    runs-on: ubuntu-latest

    env:
      SNOWFLAKE_CONNECTIONS_DEFAULT_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_USER: ${{ secrets.SNOWFLAKE_USER }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Install snowflake-cli
        uses: Snowflake-Labs/snowflake-cli-action@v1.5
        with:
          cli-version: "latest"
          default-config-file-path: ".snowflake/config.toml"

      - name: Fetch repository changes
        run: snow git fetch my_git_repo

      - name: Deploy scripts to preprod environment
        run: snow git execute @my_git_repo/branches/main/scripts/* \
            -D "environment='preprod'"