Snowflakeでのdbtプロジェクト¶

dbtプロジェクトオブジェクトの CI/CD ワークフロー¶

dbtプロジェクトオブジェクトはSnowflakeのCLI コマンドをサポートします。これを使用すると、コマンドラインからdbtプロジェクトを作成および管理することができます。これは、dbtプロジェクトをデータエンジニアリングワークフローや CI/CD パイプラインに統合する際に便利です。詳細については、 Snowflake CLI、 CI/CD と Snowflake CLI の統合 および snow dbtコマンド をご参照ください。

dbtプロジェクトオブジェクトとファイルのバージョン管理¶

Snowflakeは、dbtプロジェクトオブジェクトとそれに対応するプロジェクトファイルのバージョンを管理します。このバージョン管理を使用して、データ開発および展開ライフサイクル全体の変更を追跡および管理できます。Snowflakeは、次の例に示すように、dbtプロジェクトステージ内のdbtプロジェクトオブジェクトのバージョンを識別します。

snow://dbt/my_db.my_schema.my_dbt_project_object/versions/version_id

version_id は以下の識別子のいずれかになります。

• VERSION$<数値> - は、VERSION$<数値>``の形式でバージョン識別子を指定します。条件: ``<num> is a positive integer, for example, VERSION$1。

  dbtプロジェクトオブジェクトを作成し、dbtプロジェクトオブジェクトの新しいバージョンごとに1つずつインクリメントする場合、バージョン番号は 1 で始まります。

  Snowflakeは、次のタスクを実行するとバージョン識別子をインクリメントします。

  • ワークスペースから:ui:`Redeploy dbt project`（ALTER コマンドを実行）。

  • ALTER DBT PROJECT コマンドを使用してプロジェクトを更新します。

  • Snow の CLI snow dbt deploy コマンド を``--force`` オプションなしで実行します。

  Snowflakeはバージョン識別子を 1 にリセットし、以下のコマンドを実行するとすべてのバージョンエイリアスを削除します。

  • OR REPLACE オプションのある SQL のCREATEDBTPROJECT コマンド。

  • Snowflake CLIで --force オプションのある snow dbt deploy コマンド。

• LAST - dbtプロジェクトオブジェクトの最新バージョンを示します。

• FIRST - dbtプロジェクトオブジェクトの最も古いバージョンを示します。

• version_name_alias - ADDVERSION オプションのある ALTER DBT PROJECT コマンドを使用して、dbtプロジェクトオブジェクトの特定のバージョンに対して作成したカスタムバージョン名のエイリアスを示します。バージョン名のエイリアスは常に、VERSION$3 のように特定のバージョン識別子にマッピングされます。

dbtプロジェクトステージに格納されているプロジェクトファイルはバージョンごとに整理され、各バージョンには独自のサブディレクトリがあります。たとえば、VERSION$3 のバージョン識別子を持つ my_dbt_project_object という名前のdbtプロジェクトオブジェクトや dbt_project.yml という名前のdbtプロジェクトファイルは、次の例で示すように参照できます。

snow://dbt/my_db.my_schema/my_dbt_project_object/versions/VERSION$3/dbt_project.yml

dbtプロジェクト¶

次の要件、考慮事項、および制限は、dbt Projects on Snowflake でサポートされているdbtプロジェクト構成に適用されます。

• dbt Coreプロジェクトのみがサポートされています。dbt Cloudプロジェクトはサポートされていません。dbt Projects on Snowflake はdbt-coreバージョン1.9.4とdbt-snowflakeバージョン1.9.2を実行します。既存のdbtプロジェクトをSnowflakeに移行する場合は、dbtバージョンをSnowflakeバージョンと合わせる必要はありません。

• Snowflakeワークスペースの各dbtプロジェクトフォルダーには、Snowflakeの プロジェクトのためのターゲットとなる warehouse、database、schema および role を指定する profiles.yml ファイルが含まれている必要があります。その type は snowflake. に設定する必要があります。dbtには account および user が必要ですが、dbtプロジェクトは現在のアカウントとユーザーコンテキストをもとにSnowflakeで実行されるため、これらは空または任意の文字列のままにすることができます。

• ワークスペース内のdbtプロジェクトでは、フォルダー構造に20,000個を超えるファイルを含めることはできません。この制限には、target/dbt_packages/logs ディレクトリを含むdbtプロジェクトディレクトリとサブディレクトリ内のすべてのファイルが含まれます。ワークスペース内からdbtプロジェクトが実行されると、そこにログファイルが保存されます。

ストアドプロシージャ¶

ストアドプロシージャを使用して EXECUTEDBTPROJECT を呼び出す場合、呼び出し元権限ストアドプロシージャを使用します。詳細については、 CREATE PROCEDURE および ストアドプロシージャの作成 をご参照ください。

dbt Projects on Snowflake のワークスペース¶

dbt Projects on Snowflake のワークスペースには、次の要件、考慮事項、および制限が適用されます。

dbt依存関係¶

次の要件、考慮事項、および制限は、dbt Projects on Snowflake のdbtプロジェクトのdbt依存関係に適用されます。

• dbt Projects on Snowflake のワークスペース内から、またはSnowflake CLI からの snow dbt execute コマンドを使用して dbt:code:deps コマンドを実行し、dbt_packages プロジェクトフォルダーの構築および入力を行う必要があります。EXECUTEDBTPROJECTSQL コマンドを使用した deps コマンドは実行できません。または、dbtプロジェクトオブジェクトとしてSnowflakeにデプロイする前に、ローカルdbtプロジェクトで deps を実行することができます。

• packages.yml ファイル内での Gitパッケージ の指定はサポートされていません。

• Snowflakeが依存関係のリポジトリにアクセスできるようにするには、ネットワークルールと外部アクセス統合が必要です。詳細については、 dbt依存関係のためにSnowflakeで外部アクセス統合を作成する をご参照ください。外部ネットワークアクセスの制限の詳細については、外部ネットワークアクセスの制限 をご参照ください。

テレメトリー、ログ、トレース¶

次の要件、考慮事項、および制限は、Snowflake上のdbtのテレメトリ、ログ、およびトレースに適用されます。

• dbt Projects on Snowflake のワークスペースは標準出力（stdout）が動的にストリームされず、標準出力はコマンド完了時にのみ表示可能です。

• ログとトレースを表示するには、dbtプロジェクトオブジェクトの LOG_LEVEL および TRACE_LEVEL を設定する必要があります。詳細については、 Snowflakeでのdbtプロジェクトのアクセス制御 および Snowflakeでdbtプロジェクトを監視する をご参照ください。

• デフォルトでは、Snowflakeはデフォルトの SNOWFLAKE.TELEMETRY.EVENTS テーブルでテレメトリーを収集します。アカウントのイベントテーブルとしてカスタムイベントテーブルが設定されている場合、テレメトリーデータはそこに収集されます。Enterprise Editionアカウントを使用する場合、イベントテーブルを作成してテレメトリーデータを収集し、dbtプロジェクトオブジェクトがデプロイされたデータベースに関連付けることができます。詳細については、 イベントテーブルの概要 をご参照ください。