Snowflake Datasets¶

インストール¶

Dataset Python SDK はバージョン1.7.5からSnowpark ML （Pythonパッケージ snowflake-ml-python）に含まれています。インストール手順については、 Snowflake ML をローカルで使用する をご参照ください。

必要な権限¶

データセットの作成には、 CREATE DATASET スキーマレベルの権限が必要です。Datasetsのバージョンの追加や削除など、データセットを変更するには、Datasetに OWNERSHIP が必要です。データセットからの読み込みに必要なのは、そのデータセット（または OWNERSHIP）の USAGE 権限のみです。Snowflakeでの権限付与の詳細については、 GRANT <権限> ... TO ROLE をご参照ください。

Datasetsの作成および使用¶

データセットの作成と管理は、 SQL またはPythonのどちらでも可能です。SQL コマンドの使用情報については、 SQL コマンド を参照してください。Python API の使用情報については、 snowflake.ml.dataset を参照してください。

snowflake.ml.dataset.create_from_dataframe 関数にSnowpark DataFrame を渡してデータセットを作成します。

from snowflake import snowpark
from snowflake.ml import dataset

# Create Snowpark Session
# See https://docs.snowflake.com/en/developer-guide/snowpark/python/creating-session
session = snowpark.Session.builder.configs(connection_parameters).create()

# Create a Snowpark DataFrame to serve as a data source
# In this example, we generate a random table with 100 rows and 1 column
df = session.sql(
  "select uniform(0, 10, random(1)) as x, uniform(0, 10, random(2)) as y from table(generator(rowcount => 100))"
)

# Materialize DataFrame contents into a Dataset
ds1 = dataset.create_from_dataframe(
    session,
    "my_dataset",
    "version1",
    input_dataframe=df)

Datasetsはバージョン管理されています。各バージョンは、データセットが管理するデータの、不変の、ポイントインタイムのスナップショットです。Python APIには、与えられたデータセットが使用するために選択されているかどうかを示す Dataset.selected_version プロパティが含まれています。このプロパティは、 dataset.create_from_dataframe および dataset.load_dataset ファクトリーメソッドによって自動的に設定されます。したがって、データセットを作成すると、作成されたバージョンが自動的に選択されます。Dataset.select_version および Dataset.create_version メソッドを使用して、明示的にバージョンを切り替えることもできます。データセットからの読み込みは、アクティブな選択バージョンから読み込みます。

# Inspect currently selected version
print(ds1.selected_version) # DatasetVersion(dataset='my_dataset', version='version1')
print(ds1.selected_version.created_on) # Prints creation timestamp

# List all versions in the Dataset
print(ds1.list_versions()) # ["version1"]

# Create a new version
ds2 = ds1.create_version("version2", df)
print(ds1.selected_version.name)  # "version1"
print(ds2.selected_version.name)  # "version2"
print(ds1.list_versions())        # ["version1", "version2"]

# selected_version is immutable, meaning switching versions with
# ds1.select_version() returns a new Dataset object without
# affecting ds1.selected_version
ds3 = ds1.select_version("version2")
print(ds1.selected_version.name)  # "version1"
print(ds3.selected_version.name)  # "version2"

Datasetsからのデータの読み込み¶

データセットのバージョンデータは、Apache Parquetフォーマットの均等サイズのファイルとして保存されます。APIは、カスタムフレームワークコネクタをサポートするために拡張可能です。

Datesetからの読み込みには、アクティブな選択バージョンが必要です。

import tensorflow as tf

# Convert Snowflake Dataset to TensorFlow Dataset
tf_dataset = ds1.read.to_tf_dataset(batch_size=32)

# Train a TensorFlow model
for batch in tf_dataset:
    # Extract and build tensors as needed
    input_tensor = tf.stack(list(batch.values()), axis=-1)

    # Forward pass (details not included for brevity)
    outputs = model(input_tensor)

import torch

# Convert Snowflake Dataset to PyTorch DataPipe
pt_datapipe = ds1.read.to_torch_datapipe(batch_size=32)

# Train a PyTorch model
for batch in pt_datapipe:
    # Extract and build tensors as needed
    input_tensor = torch.stack([torch.from_numpy(v) for v in batch.values()], dim=-1)

    # Forward pass (details not included for brevity)
    outputs = model(input_tensor)

from snowflake.ml.modeling.ensemble import random_forest_regressor

# Get a Snowpark DataFrame
ds_df = ds1.read.to_snowpark_dataframe()

# Note ds_df != df
ds_df.explain()
df.explain()

# Train a model in Snowpark ML
xgboost_model = random_forest_regressor.RandomForestRegressor(
    n_estimators=100,
    random_state=42,
    input_cols=["X"],
    label_cols=["Y"],
)
xgboost_model.fit(ds_df)

print(ds1.read.files()) # ['snow://dataset/my_dataset/versions/version1/data_0_0_0.snappy.parquet']

import pyarrow.parquet as pq
pd_ds = pq.ParquetDataset(ds1.read.files(), filesystem=ds1.read.filesystem())

import dask.dataframe as dd
dd_df = dd.read_parquet(ds1.read.files(), filesystem=ds1.read.filesystem())

データセット、Feature Store、モデルレジストリ、 ML リネージ¶

データセットは、Snowflake ML のエコシステムに深く統合されており、Snowflake内でシームレスなエンドツーエンドのモデル開発と MLOps エクスペリエンスを提供します。FeatureStore.generate_dataset API を使用して、Snowflake Feature Storeの機能からデータセットを作成できます。データセットはSnowpark DataFrames に変換され、モデルトレーニングのためにSnowpark ML Modelingに渡されます。学習されたモデルはSnowflakeモデルレジストリに記録され、ソースデータ、機能ビュー、データセット、モデルをリンクする ML リネージグラフを自動的に完成させ、完全なエンドツーエンドのガバナンスを実現することができます。

LIST 'snow://dataset/<dataset_name>/versions/<dataset_version>'

INFER_SCHEMA(
  LOCATION => 'snow://dataset/<dataset_name>/versions/<dataset_version>',
  FILE_FORMAT => '<file_format_name>'
)

CREATE FILE FORMAT my_parquet_format TYPE = PARQUET;

SELECT *
FROM TABLE(
    INFER_SCHEMA(
        FILE_FORMAT => 'snow://dataset/MYDS/versions/v1,
        FILE_FORMAT => 'my_parquet_format'
    )
);

SELECT $1
FROM 'snow://dataset/foo/versions/V1'
( FILE_FORMAT => 'my_parquet_format',
PATTERN => '.*data.*' ) t;

SQL コマンド¶

データセットの作成と管理には、 SQL コマンドを使用できます。詳細については、次をご参照ください。

• CREATE DATASET

• ALTER DATASET

• SHOW DATASETS

• SHOW VERSIONS IN DATASET

現在の制限事項と既知の問題¶

• データセット名は SQL の識別子であり、 Snowflakeの識別子要件 に従います。

• データセットバージョンは文字列で、最大長は128文字です。一部の文字は許可されていないため、エラーメッセージが表示されます。

• 広いスキーマ（約4,000列以上）を持つデータセットに対する一部のクエリ操作は、完全に最適化されません。今後のリリースでは改善される予定です。