Snowflakeデータクリーンルーム: カスタム分析テンプレート¶

環境の設定¶

開発者APIsを使用してSnowflake Data Clean Roomで作業する前に、以下のコマンドを実行してSnowflake環境をセットアップします。SAMOOHA_APP_ROLEロールを持ってない場合は、アカウント管理者にお問い合わせください。

use role samooha_app_role;
use warehouse app_wh;

クリーンルームの作成¶

クリーンルームの名称を作成します。既存のクリーンルーム名との衝突を避けるため、新しいクリーンルーム名を入力してください。クリーンルームの名前に使用できるのは 英数字 のみです。クリーンルーム名には、スペースとアンダースコア以外の特殊文字は使用できません。

set cleanroom_name = 'Custom Template Demo Clean room';

上記で設定したクリーンルーム名で新しいクリーンルームを作成できます。上記で設定したクリーンルーム名が既にデフォルトのクリーンルームとして存在する場合、この処理は失敗します。

この手順の実行には約45秒かかります。

provider.cleanroom_init の2番目の引数は、クリーンルームのディストリビューションです。これはINTERNALまたはEXTERNALのいずれかです。テスト目的で、同じ組織内のアカウントにクリーンルームを共有する場合、INTERNALを使用して、アプリケーションパッケージがコラボレーターにリリースされる前に実施されなければならない自動セキュリティスキャンをバイパスすることができます。ただし、このクリーンルームを別の組織のアカウントと共有する場合は、EXTERNALクリーンルーム配布を使用する必要があります。

call samooha_by_snowflake_local_db.provider.cleanroom_init($cleanroom_name, 'INTERNAL');

セキュリティスキャンのステータスを表示するには、以下を使用します。

call samooha_by_snowflake_local_db.provider.view_cleanroom_scan_status($cleanroom_name);

クリーンルームを作成したら、コラボレーターと共有する前にリリースディレクティブを設定する必要があります。しかし、ディストリビューションがEXTERNALに設定されている場合は、リリースディレクティブを設定する前に、まずセキュリティスキャンが完了するのを待つ必要があります。スキャンの実行中に残りのステップを実行し続け、 provider.create_cleanroom_listing ステップの前にここに戻ることができます。

リリースディレクティブを設定するには、次のようにします。

call samooha_by_snowflake_local_db.provider.set_default_release_directive($cleanroom_name, 'V1_0', '0');

クロスリージョンの共有¶

顧客のアカウントと異なる地域にアカウントを持つSnowflakeの顧客とクリーンルームを共有するには、Cross-Cloud Auto-Fulfillmentを有効にする必要があります。他地域のコンシューマーとの協業に関連する追加コストについては、Cross-Cloud Auto-Fulfillment costsをご参照ください。

開発者APIsを使用する場合、クロスリージョン共有を有効にするには2つのステップがあります。

1. ACCOUNTADMINロールを持つSnowflake管理者は、Snowflake アカウントのクロスクラウド自動複製を有効にします。手順については、異なるリージョンのアカウントと連携するをご参照ください。

2. プロバイダーは、 provider.enable_laf_for_cleanroom コマンドを実行して、クリーンルームのクロスクラウド自動複製を有効にします。例:

   call samooha_by_snowflake_local_db.provider.enable_laf_for_cleanroom($cleanroom_name);
   

   Copy

クリーンルームのクロスクラウド自動複製を有効にした後、 provider.create_cleanroom_listing コマンドを使用して、通常通りリストにコンシューマーを追加できます。リストは、必要に応じて自動的にリモートクラウドやリージョンに複製されます。

データセットをリンクし、データセットの結合ポリシーを設定します。¶

Snowflakeテーブルをクリーンルームにリンクします。Snowflakeアカウントのテーブルリストを参照し、完全修飾テーブル名 (Database.Schema.Table) を配列として入力します。この手順では、クリーンルーム内からテーブルの安全な表示を作成することで、テーブルを自動的にクリーンルームにアクセスできるようにし、テーブルのコピーを作成する必要がなくなります。

call samooha_by_snowflake_local_db.provider.link_datasets($cleanroom_name, ['SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS']);

use role accountadmin;
call samooha_by_snowflake_local_db.provider.register_db('<DATABASE_NAME>');
use role samooha_app_role;

クリーンルームにリンクされたデータセットは、以下の手順で確認できます。

call samooha_by_snowflake_local_db.provider.view_provider_datasets($cleanroom_name);

どの列を結合ポリシーとして使用するかを決定するために、データセットを見てPII列を決定することができます。上位10行を表示するには、次のクエリを使用します。

select * from SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS limit 10;

クリーンルーム内でテンプレートを実行する際に、コンシューマーが参加できる列を指定します。このプロシージャはemailのようなID列に対して呼び出される必要があります。結合ポリシーは「置換のみ」であるため、この関数が再度呼び出されると、以前に設定された結合ポリシーは新しいものに完全に置き換えられます。

call samooha_by_snowflake_local_db.provider.set_join_policy($cleanroom_name, ['SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS:HEM']);

クリーンルームに追加された参加ポリシーを表示したい場合は、次の手順を呼び出します。

call samooha_by_snowflake_local_db.provider.view_join_policy($cleanroom_name);

クリーンルームにカスタム分析テンプレートを追加する¶

クリーンルームにカスタム分析テンプレートを追加するには、プロバイダー側とコンシューマー側の両方でテーブル名のプレースホルダーとプロバイダー側の結合列が必要です。SQL Jinjaテンプレートでは、これらのプレースホルダーは次のものである必要があります。

• source_table：プロバイダーのテーブル名の 配列。

• my_table：コンシューマーのテーブル名の 配列。

テーブル名は、これらの変数を使用して動的にすることができますが、クリーンルームにリンクされた表示名を使用して、必要に応じてテンプレートにハードコード化することもできます。列名はテンプレートにハードコード化することも、パラメーターで動的に設定することもできます。パラメーターを使用して設定する場合は、列ポリシーと照合するために、パラメーターの dimensions または measure_column を配列として呼び出す必要があることにご留意ください。これらを SQL Jinjaパラメーターとしてテンプレートに追加します。これらは後でクエリ時にコンシューマーから渡されます。結合ポリシーは、許可された列以外の列でコンシューマーにより結合できないようにします。

また、SQL Jinjaテンプレートのカスタム引数は、以下のフィルターを使用して、結合および列のポリシーに準拠しているかどうかを確認することができます。

• join_policy: 文字列値またはフィルター句が結合ポリシーに準拠しているかどうかを確認します。

• column_policy: 文字列値またはフィルター句が列ポリシーに準拠しているかどうかを確認します。

• join_and_column_policy: フィルター句で結合に使用される列が結合ポリシーに準拠しているか、また、フィルターとして使用される列が列ポリシーに準拠しているかを確認します。

たとえば、 {{provider_id | sqlsafe | join_policy }} 句では、 p.HEM の入力が解析され、 p.HEM が結合ポリシーにあるかどうかが確認されます。注意: sqlsafe フィルターでは、コラボレーターが純粋な SQL をテンプレートに入れることができるため、使用には注意してください。

この関数は、同じ名前の既存のテンプレートを上書きすることに注意してください。既存のテンプレートを更新したい場合は、更新されたテンプレートでこの関数を再度呼び出します。

call samooha_by_snowflake_local_db.provider.add_custom_sql_template(
    $cleanroom_name,
    'prod_custom_template',    // Name of the template
    $$
select
count(*) as total_count
from identifier({{ my_table[0] }}) c
inner join identifier({{ source_table[0] }}) p
on identifier({{ consumer_id | join_policy }}) = identifier({{ provider_id | join_policy }})
{% if where_clause %}
where {{ where_clause | sqlsafe | column_policy }}
{% endif %};
    $$                         // A string representing the SQL Jinja template
);

クリーンルームで現在有効なテンプレートを表示したい場合は、以下の手順を呼び出します。

call samooha_by_snowflake_local_db.provider.view_added_templates($cleanroom_name);

クリーンルームに追加されたテンプレートも、必要に応じて片付けることができます。詳細は、[プロバイダー API リファレンスガイド]（../provider）をご参照ください。

各テーブルに列ポリシーを設定する¶

テーブル内の列を確認するためにリンクされたデータを表示します。上位10行を表示するには、以下のプロシージャを呼び出します。

select * from SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS limit 10;

コンシューマーがグループ化、集計（例：SUM/AVG）、および一般的に分析で使用できる列を、テーブルとテンプレートの組み合わせごとに設定します。これにより、同じテーブルでも基本テンプレートによって異なる列選択ができる柔軟性が生まれます。これはテンプレートを追加した後にのみ呼び出されるべきです。

列ポリシーは 置換のみ であることに注意してください。したがって、この関数が再度呼び出された場合、以前に設定された列ポリシーは新しいものに完全に置き換えられます。

列ポリシーは、email、HEM、RampIDなどのID列では使用しないでください。コンシューマーがこれらの列でグループ化できないようにするためです。実稼働環境では、システムはインテリジェントにPII列を推測し、この操作をブロックしますが、この機能はサンドボックス環境では利用できません。Status、Age Band、Region Code、Days Activeなどのように、コンシューマーに集計やグループ化させる列にのみ使用してください。

「column_policy」と「join_policy」がコンシューマー分析リクエストのチェックを実行するために、SQL Jinjaテンプレートでは、すべての列名が dimensions または measure_columns として参照される必要があることに注意してください。SQL Jinjaのカスタムテンプレートで確認する列を参照するには、必ずこれらのタグを使用してください。

call samooha_by_snowflake_local_db.provider.set_column_policy($cleanroom_name, [
    'prod_custom_template:SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS:STATUS',
    'prod_custom_template:SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS:AGE_BAND',
    'prod_custom_template:SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS:DAYS_ACTIVE']);

クリーンルームに追加された列ポリシーを表示したい場合は、次の手順を呼び出します。

call samooha_by_snowflake_local_db.provider.view_column_policy($cleanroom_name);

コンシューマーと共有する¶

最後に、以下のようにSnowflakeアカウントロケータとアカウント名を追加して、データコンシューマーをクリーンルームに追加します。Snowflakeアカウント名は<ORGANIZATION>.<ACCOUNT_NAME>の形式である必要があります。

show versions in application package samooha_cleanroom_Custom_Template_Demo_clean_room;

call samooha_by_snowflake_local_db.provider.add_consumers($cleanroom_name, '<CONSUMER_ACCOUNT_LOCATOR>', '<CONSUMER_ACCOUNT_NAME>');
call samooha_By_snowflake_local_db.provider.create_cleanroom_listing($cleanroom_name, '<CONSUMER_ACCOUNT_NAME>');

複数のコンシューマーアカウントロケーターを、カンマ区切りの文字列として provider.add_consumers 関数に渡すことも、 provider.add_consumers を個別に呼び出すこともできます。

このクリーンルームに追加されたコンシューマーを表示したい場合は、次の手順を呼び出します。

call samooha_by_snowflake_local_db.provider.view_consumers($cleanroom_name);

以下の手順で最近作成されたクリーンルームを表示します。

call samooha_by_snowflake_local_db.provider.view_cleanrooms();

最近作られたクリーンルームの詳細を、以下の手順で表示します。

call samooha_by_snowflake_local_db.provider.describe_cleanroom($cleanroom_name);

作成されたクリーンルームは削除することもできます。次のコマンドはクリーンルームを完全に削除するので、以前クリーンルームにアクセスしていたコンシューマーはもうクリーンルームを使用することができません。将来、同じ名前のクリーンルームが必要な場合は、上記のフローを使用して再初期化する必要があります。

call samooha_by_snowflake_local_db.provider.drop_cleanroom($cleanroom_name);

環境の設定¶

開発者APIsを使用してSnowflake Data Clean Roomで作業する前に、以下のコマンドを実行してSnowflake環境をセットアップします。SAMOOHA_APP_ROLEロールを持ってない場合は、アカウント管理者にお問い合わせください。

use role samooha_app_role;
use warehouse app_wh;

クリーンルームをインストールする¶

クリーンルーム共有がインストールされると、利用可能なクリーンルームのリストは、以下のコマンドを使用して表示することができます。

call samooha_by_snowflake_local_db.consumer.view_cleanrooms();

プロバイダーが共有したクリーンルームの名前を割り当てます。

set cleanroom_name = 'Custom Template Demo Clean room';

以下のコマンドは、関連するプロバイダーと選択されたクリーンルームを持つコンシューマーアカウントにクリーンルームをインストールします。

この手順の実行には約45秒かかります。

call samooha_by_snowflake_local_db.consumer.install_cleanroom($cleanroom_name, '<PROVIDER_ACCOUNT_LOCATOR>');

クリーンルームが設置されると、プロバイダーはクリーンルームの使用を可能にする前に、プロバイダー側でクリーンルームの設定を完了しなければなりません。以下の関数でクリーンルームのステータスを確認できます。有効化されると、以下のRun Analysisコマンドを実行できるようになります。クリーンルームが有効になるまで、通常約1分かかります。

call samooha_by_snowflake_local_db.consumer.is_enabled($cleanroom_name);

データセットのリンク¶

データセットをクリーンルームにリンクし、プロバイダーのデータでセキュアな計算を実行します。

call samooha_by_snowflake_local_db.consumer.link_datasets($cleanroom_name, ['SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS']);

use role accountadmin;
call samooha_by_snowflake_local_db.consumer.register_db('<DATABASE_NAME>');
use role samooha_app_role;

分析を実行するには、コンシューマーテーブルを渡す必要があります。クリーンルームに追加したデータセットを表示したい場合は、以下のプロシージャを呼び出します。

call samooha_by_snowflake_local_db.consumer.view_consumer_datasets($cleanroom_name);

分析を実行する¶

クリーンルームがインストールされたので、プロバイダーからクリーンルームに与えられた分析テンプレートを"run_analysis"コマンドを使って実行することができます。各フィールドがどのように決定されるかについては、以下のセクションをご参照ください。

渡すことができるデータセットの数は、プロバイダーが実装したテンプレートによって制限されます。テンプレートによっては、特定のテーブル数を必要とする場合があります。テンプレート作成者は、サポートする要件を課すことができます。

call samooha_by_snowflake_local_db.consumer.run_analysis(
  $cleanroom_name,              -- cleanroom
  'prod_custom_template',       -- template name

  ['SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS'],    -- your tables
  ['SAMOOHA_SAMPLE_DATABASE.DEMO.CUSTOMERS'],       -- provider tables

  object_construct(                              -- The keyword arguments needed for the SQL Jinja template

    'consumer_id', 'c.hem',                    -- Consumer column to join on, needed by template

    'provider_id', 'p.hem',                    -- Provider column to join on, needed by template

    'where_clause', 'p.STATUS = $$MEMBER$$' -- Boolean filter for custom template
  )
);

データセットフィルタリングの"where_clause"またはディメンションもしくはmeasure_columns のいずれかで参照される各列について、プロバイダーテーブルのフィールドを参照するにはp.を、コンシューマーテーブルのフィールドを参照するにはc.を使用できます。複数のプロバイダーテーブルにはp2、p3などを、複数のコンシューマーテーブルにはc2、c3などを使用してください。

run_analysisの入力を決定する方法¶

分析を実行するには、run_analysis関数にいくつかのパラメータを渡す必要があります。このセクションでは、どのようなパラメータを渡すかを決定する方法を説明します。

テンプレート名

まず、以下のプロシージャを呼び出すことで、サポートされている分析テンプレートを確認できます。

call samooha_by_snowflake_local_db.consumer.view_added_templates($cleanroom_name);

テンプレートを使って分析を実行する前に、どのような引数を指定し、どのような型が期待されるかを知っておく必要があります。カスタムテンプレートについては、以下のように実行できます。

call samooha_by_snowflake_local_db.consumer.view_template_definition($cleanroom_name, 'prod_custom_template');

これには、異なるSQL Jinjaのパラメータが大量に含まれることもあります。以下の機能は、SQL Jinjaテンプレートを解析し、run_analysisで指定する必要がある引数をリストに抽出します。

call samooha_by_snowflake_local_db.consumer.get_arguments_from_template($cleanroom_name, 'prod_custom_template');

データセット名

プロバイダーによってクリーンルームに追加されたデータセット名を表示したい場合は、次の手順を呼び出します。クリーンルームのセキュリティ特性上、プロバイダーがクリーンルームに追加したデータセットは表示できません。

call samooha_by_snowflake_local_db.consumer.view_provider_datasets($cleanroom_name);

また、クリーンルームにリンクしたテーブルは、以下の呼び出しで確認することができます。

call samooha_by_snowflake_local_db.consumer.view_consumer_datasets($cleanroom_name);

列のディメンションと測定。

分析を実行する際、特定の列でフィルタリング、グループ化、集計を行いたい場合があります。プロバイダーによってクリーンルームに追加された列ポリシーを表示したい場合は、次の手順を呼び出します。

call samooha_by_snowflake_local_db.consumer.view_provider_column_policy($cleanroom_name);

よくあるエラー

実行分析の結果、 Not approved: unauthorized columns used というエラーが表示される場合は、プロバイダーが設定した結合ポリシーと列ポリシーを再度表示するとよいでしょう。

call samooha_by_snowflake_local_db.consumer.view_provider_join_policy($cleanroom_name);
call samooha_by_snowflake_local_db.consumer.view_provider_column_policy($cleanroom_name);

また、プライバシーの予算を使い果たしたため、これ以上クエリを実行できなくなる可能性もあります。残りのプライバシー予算は以下のコマンドで表示できます。毎日リセットされますが、クリーンルームのプロバイダーが希望すればリセットすることもできます。

call samooha_by_snowflake_local_db.consumer.view_remaining_privacy_budget($cleanroom_name);

差分プライバシーがクリーンルームで有効になっているかどうかは、次のAPIで確認できます。

call samooha_by_snowflake_local_db.consumer.is_dp_enabled($cleanroom_name);