Snowflakeでの合成データの使用¶

概要¶

Snowflakeは、ソーステーブルから 合成データ を生成し、人工データによりソーステーブルと同じ列数のテーブルを生成することができます。合成データを使用して、機密データ、極秘データ、その他の制限により他者と共有できないデータを共有したり、テストしたりすることができます。合成データセットは、列の名前、数、データ型など、ソースデータセットと同じ特性を持ちますが、行数は同じか少なくなっています。合成データを使用して、Snowflakeのワークロードをテストおよび検証することができます。特に、元のデータが機密データであり、権限のないユーザーがアクセスできないようにする必要がある場合に有効です。

合成データの作成¶

SNOWFLAKE.DATA_PRIVACY.GENERATE_SYNTHETIC_DATA ストアドプロシージャを呼び出して、1つ以上のテーブルから合成データを生成します。Snowflakeは、ストアドプロシージャを呼び出すロールに所有権が付与されたテーブルを自動的に作成します。出力テーブルの列数は入力テーブルと同じで、列名とデータ型も同じです。プライバシーフィルターが有効になっている、または入力テーブルにNULL値があると、出力テーブルの行数が少なくなりますが、それらの場合を除き出力は通常同じ行数になります。

要件¶

推奨事項¶

• Mサイズの Snowparkに最適化されたウェアハウス を使用します。

• GENERATE_SYNTHETIC_DATA の実行中は、そのウェアハウスで他のクエリを実行しないでください。

例: 複数のテーブルからの合成データ¶

この例では、 Snowflakeサンプルデータベース SNOWFLAKE_SAMPLE_DATA を使用します。アカウントに表示されていない場合は、以下のコマンドでコピーできます。

USE ROLE ACCOUNTADMIN;
CREATE or REPLACE DATABASE SNOWFLAKE_SAMPLE_DATA from share SFC_SAMPLES.SAMPLE_DATA;

複数の入力テーブルから合成データを生成する場合は、以下の手順に従います。

1. data_engineer ロールのアクセス制御を作成して構成し、必要なオブジェクトをすべて作成できるようにします。

   USE ROLE ACCOUNTADMIN;
   CREATE OR REPLACE ROLE data_engineer;
   CREATE OR REPLACE DATABASE syndata_db;
   CREATE OR REPLACE WAREHOUSE syndata_wh;
   
   GRANT OWNERSHIP ON DATABASE syndata_db TO ROLE data_engineer;
   GRANT USAGE ON WAREHOUSE syndata_wh TO ROLE data_engineer;
   GRANT ROLE data_engineer TO USER jsmith; -- Or whoever you want to run this example. Or skip this line to run it yourself.
   

   Copy

2. Snowflakeサンプルデータデータベースから2つのビューを作成します。

   - Sign in as user with data_engineer role. Then...
   CREATE SCHEMA syndata_db.sch;
   CREATE OR REPLACE VIEW syndata_db.sch.TPC_ORDERS_5K as (
       SELECT * from SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.ORDERS
       LIMIT 5000
   );
   CREATE OR REPLACE VIEW syndata_db.sch.TPC_CUSTOMERS_5K as (
       SELECT * from SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.CUSTOMER
       LIMIT 5000
   );
   

   Copy

3. 入力テーブルをクエリしてデータを表示し、各テーブルに5,000行あることを確認します。

   USE WAREHOUSE syndata_wh;
   SELECT TOP 20 * FROM syndata_db.sch.TPC_ORDERS_5K;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_ORDERS_5K;
   select count(distinct o_clerk), count(*) from syndata_db.sch.TPC_ORDERS_5K;
   
   SELECT TOP 20 * FROM syndata_db.sch.TPC_CUSTOMERS_5K;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_CUSTOMERS_5K;
   

   Copy

4. GENERATE_SYNTHETIC_DATA ストアドプロシージャを呼び出して、合成データを2つの出力テーブルに生成します。結合キーを指定します。後でこれらのキーで結合を行います。

   CALL SNOWFLAKE.DATA_PRIVACY.GENERATE_SYNTHETIC_DATA({
       'datasets':[
           {
             'input_table': 'syndata_db.sch.TPC_ORDERS_5K',
             'output_table': 'syndata_db.sch.TPC_ORDERS_5K_SYNTHETIC',
             'columns': {'O_CUSTKEY': {'join_key': True}}
           },
           {
             'input_table': 'syndata_db.sch.TPC_CUSTOMERS_5K',
             'output_table': 'syndata_db.sch.TPC_CUSTOMERS_5K_SYNTHETIC',
             'columns' : {'C_CUSTKEY': {'join_key': True}}
   
           }
         ],
         'replace_output_tables':True
     });
   

   Copy

5. 出力テーブルをクエリして合成データを表示します。

   SELECT TOP 20 * FROM syndata_db.sch.TPC_ORDERS_5K_SYNTHETIC;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_ORDERS_5K_SYNTHETIC;
   
   SELECT TOP 20 * FROM syndata_db.sch.TPC_CUSTOMERS_5K_SYNTHETIC;
   SELECT COUNT(*) FROM syndata_db.sch.TPC_CUSTOMERS_5K_SYNTHETIC;
   

   Copy

6. すべてのオブジェクトのクリーンアップ

   USE ROLE ACCOUNTADMIN;
   DROP DATABASE syndata_db;
   DROP ROLE data_engineer;
   DROP WAREHOUSE syndata_wh;
   

   Copy