Snowflake DevOps¶

Simplifique os fluxos de trabalho mantendo os ativos em um repositório Git conectado ao Snowflake¶

Você pode garantir consistência, simplificar a colaboração e agilizar reversões, se necessário, mantendo seus ativos de dados, código e configurações gerenciados centralmente e controlados por versão em um repositório Git e usando o repositório do Snowflake.

Você pode conectar sua conta Snowflake ao seu repositório Git para que o Snowflake possa executar código em arquivos clonados do repositório. O resultado é um estágio de repositório Git que representa um clone completo do seu repositório. De dentro do Snowflake, você pode acessar arquivos controlados por versão em um determinado commit, ramificação ou tag.

Com o estágio do repositório, você pode criar uma função ou um procedimento do Snowpark a partir de um arquivo controlado por versão e executar diretamente os scripts SQL com EXECUTE IMMEDIATE FROM ou usar o Snowflake CLI para executar scripts Python. Dessa forma, você pode definir declarativamente objetos de banco de dados com SQL ou Python e, em seguida, implementar esses objetos com um pipeline CI/CD robusto e fácil de configurar.

Manutenção de ambientes separados para desenvolvimento, teste e produção¶

Ao manter ambientes separados para desenvolvimento, teste e produção, suas equipes podem isolar as atividades de desenvolvimento do ambiente de produção, reduzindo a probabilidade de consequências não intencionais e corrupção de dados.

Quando você separa fluxos de trabalho em vários ambientes, cada um obtém seu próprio banco de dados Snowflake — normalmente uma cópia idêntica.

CREATE OR ALTER TASK {{ environment }}.my_schema.my_task
  WAREHOUSE = my_warehouse
  SCHEDULE = '60 minute'
  AS select pi();

import os
from snowflake.core import Root, CreateMode
from datetime import timedelta
from snowflake.core.task import Task

my_task = Task(
    name="my_task",
    warehouse="my_warehouse",
    definition="select pi()",
    schedule=timedelta(minutes=60)
)
root = Root(Session.builder.getOrCreate())
tasks = root.databases[os.environ["environment"]].schemas["my_schema"].tasks
tasks.create(my_task, mode=CreateMode.or_replace)

snow git execute @my_git_repo/branches/main/path/to/my_scripts" \
    -D "environment='preprod'"

Gerenciamento de alterações com código declarativo e controle de versão¶

Você pode gerenciar mais facilmente as alterações nos recursos do seu banco de dados com arquivos de configuração reutilizáveis no seu repositório Git.

Você pode definir objetos de banco de dados usando o comando CREATE OR ALTER <objeto>, que cria o objeto ou o altera para corresponder à definição especificada pelo comando. Ao usar este comando a partir de um arquivo com controle de versão em um repositório, você pode reverter mais facilmente as alterações para uma versão anterior: você simplesmente executa uma versão anterior do arquivo.

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

Automatização de trabalhos CI/CD nas ações do GitHub¶

Você pode usar GitHub Actions para automatizar os trabalhos que constituem um pipeline CI/CD. Com GitHub Actions ou executores semelhantes CI/CD, você pode definir fluxos de trabalho que automatizam tarefas de criação, teste e implantação.

Nesses fluxos de trabalho, você pode usar outros recursos do Snowflake e GitHub para juntar as peças. Você pode executar as seguintes tarefas:

• Armazene suas credenciais Snowflake em um segredo do GitHub para que GitHub Actions possam se conectar ao Snowflake.

• Instale facilmente o Snowflake CLI e conecte-se ao Snowflake com a ajuda da ação nativa Snowflake CLI GitHub.

• Execute comandos no Snowflake usando o Snowflake CLI. Primeiro, busque as alterações mais recentes do seu repositório Git para o Snowflake. Em seguida, execute seus scripts declarativos e parametrizados para implementar as alterações em um ambiente de sua escolha.

O trecho do fluxo de trabalho do GitHub Actions no exemplo a seguir implanta um pipeline. O fluxo de trabalho é autenticado com o Snowflake recuperando os valores necessários de segredos configurados anteriormente.

Para implantar o pipeline, o fluxo de trabalho executa os seguintes comandos snow git:

• snow git fetch puxa o mais recente do repositório GitHub para o estágio clonado do repositório my_git_repo Git no Snowflake.

• snow git execute executa scripts Python e SQL no diretório /scripts a partir do ramo main do repositório.

name: Deploy scripts to preprod

on:
  push:
    branches:
      - main

jobs:
  deploy:
    runs-on: ubuntu-latest

    env:
      SNOWFLAKE_CONNECTIONS_DEFAULT_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_USER: ${{ secrets.SNOWFLAKE_USER }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Install snowflake-cli
        uses: Snowflake-Labs/snowflake-cli-action@v1.5
        with:
          cli-version: "latest"
          default-config-file-path: ".snowflake/config.toml"

      - name: Fetch repository changes
        run: snow git fetch my_git_repo

      - name: Deploy scripts to preprod environment
        run: snow git execute @my_git_repo/branches/main/scripts/* \
            -D "environment='preprod'"