Snowflake 데이터 세트¶

설치¶

Dataset Python SDK 는 버전 1.7.5부터 Snowpark ML (Python 패키지 snowflake-ml-python)에 포함되어 있습니다. 설치 지침은 로컬에서 Snowflake ML 사용하기 섹션을 참조하십시오.

필수 권한¶

데이터 세트를 생성하려면 CREATE DATASET 스키마 수준 권한이 필요합니다. 데이터 세트 버전을 추가하거나 삭제하는 등 데이터 세트를 수정하려면 데이터 세트에 대한 OWNERSHIP이 필요합니다. 데이터 세트에서 읽으려면 데이터 세트에 대한 USAGE 권한(또는 OWNERSHIP)만 있으면 됩니다. Snowflake에서 권한을 부여하는 방법에 대한 자세한 내용은 GRANT <privileges> … TO ROLE 섹션을 참조하십시오.

데이터 세트 만들기 및 사용하기¶

SQL 또는 Python으로 데이터 세트를 만들고 관리할 수 있습니다. SQL 명령 사용에 대한 자세한 내용은 SQL 명령 섹션을 참조하십시오. Python API 사용에 대한 자세한 내용은 snowflake.ml.dataset 섹션을 참조하십시오.

snowflake.ml.dataset.create_from_dataframe 함수에 Snowpark DataFrame 을 전달하여 데이터 세트를 생성합니다.

from snowflake import snowpark
from snowflake.ml import dataset

# Create Snowpark Session
# See https://docs.snowflake.com/en/developer-guide/snowpark/python/creating-session
session = snowpark.Session.builder.configs(connection_parameters).create()

# Create a Snowpark DataFrame to serve as a data source
# In this example, we generate a random table with 100 rows and 1 column
df = session.sql(
  "select uniform(0, 10, random(1)) as x, uniform(0, 10, random(2)) as y from table(generator(rowcount => 100))"
)

# Materialize DataFrame contents into a Dataset
ds1 = dataset.create_from_dataframe(
    session,
    "my_dataset",
    "version1",
    input_dataframe=df)

데이터 세트에는 버전이 지정됩니다. 각 버전은 데이터 세트에서 관리하는 데이터의 변경 불가능한 특정 시점 스냅샷입니다. Python API에는 주어진 데이터 세트가 사용하도록 선택되었는지 여부를 나타내는 Dataset.selected_version 속성이 포함되어 있습니다. 이 속성은 dataset.create_from_dataframe 및 dataset.load_dataset 팩토리 메서드에 의해 자동으로 설정되므로 데이터 세트를 생성하면 생성된 버전이 자동으로 선택됩니다. Dataset.select_version 및 Dataset.create_version 메서드를 사용하여 버전 간에 명시적으로 전환할 수도 있습니다. Dataset에서 읽기는 활성화된 선택 버전에서 읽기를 실행합니다.

# Inspect currently selected version
print(ds1.selected_version) # DatasetVersion(dataset='my_dataset', version='version1')
print(ds1.selected_version.created_on) # Prints creation timestamp

# List all versions in the Dataset
print(ds1.list_versions()) # ["version1"]

# Create a new version
ds2 = ds1.create_version("version2", df)
print(ds1.selected_version.name)  # "version1"
print(ds2.selected_version.name)  # "version2"
print(ds1.list_versions())        # ["version1", "version2"]

# selected_version is immutable, meaning switching versions with
# ds1.select_version() returns a new Dataset object without
# affecting ds1.selected_version
ds3 = ds1.select_version("version2")
print(ds1.selected_version.name)  # "version1"
print(ds3.selected_version.name)  # "version2"

Dataset에서 데이터 읽기¶

Dataset 버전 데이터는 Apache Parquet 형식의 균일한 크기의 파일로 저장됩니다. API는 사용자 지정 프레임워크 커넥터를 지원하도록 확장할 수 있습니다.

Dataset에서 읽으려면 선택한 버전이 활성화되어 있어야 합니다.

import tensorflow as tf

# Convert Snowflake Dataset to TensorFlow Dataset
tf_dataset = ds1.read.to_tf_dataset(batch_size=32)

# Train a TensorFlow model
for batch in tf_dataset:
    # Extract and build tensors as needed
    input_tensor = tf.stack(list(batch.values()), axis=-1)

    # Forward pass (details not included for brevity)
    outputs = model(input_tensor)

import torch

# Convert Snowflake Dataset to PyTorch DataPipe
pt_datapipe = ds1.read.to_torch_datapipe(batch_size=32)

# Train a PyTorch model
for batch in pt_datapipe:
    # Extract and build tensors as needed
    input_tensor = torch.stack([torch.from_numpy(v) for v in batch.values()], dim=-1)

    # Forward pass (details not included for brevity)
    outputs = model(input_tensor)

from snowflake.ml.modeling.ensemble import random_forest_regressor

# Get a Snowpark DataFrame
ds_df = ds1.read.to_snowpark_dataframe()

# Note ds_df != df
ds_df.explain()
df.explain()

# Train a model in Snowpark ML
xgboost_model = random_forest_regressor.RandomForestRegressor(
    n_estimators=100,
    random_state=42,
    input_cols=["X"],
    label_cols=["Y"],
)
xgboost_model.fit(ds_df)

print(ds1.read.files()) # ['snow://dataset/my_dataset/versions/version1/data_0_0_0.snappy.parquet']

import pyarrow.parquet as pq
pd_ds = pq.ParquetDataset(ds1.read.files(), filesystem=ds1.read.filesystem())

import dask.dataframe as dd
dd_df = dd.read_parquet(ds1.read.files(), filesystem=ds1.read.filesystem())

데이터 세트, 기능 스토어, 모델 레지스트리, ML 계보¶

데이터 세트는 Snowflake ML 생태계에 긴밀히 통합되어 Snowflake 내부에서 원활한 엔드투엔드 모델 개발 및 MLOps 환경을 제공합니다. FeatureStore.generate_dataset API를 사용하여 Snowflake Feature Store 기능에서 데이터 세트를 생성할 수 있습니다. 그런 다음, 데이터 세트를 Snowpark DataFrames로 변환하고 모델 학습을 위해 Snowpark ML Modeling으로 전달할 수 있습니다. 그러면 학습된 모델을 Snowflake Model Registry에 로깅하여 전체 엔드투엔드 거버넌스를 위해 소스 데이터, 기능 뷰, 데이터 세트, 모델을 연결하는 ML 계보 그래프를 자동으로 완성할 수 있습니다.

LIST 'snow://dataset/<dataset_name>/versions/<dataset_version>'

INFER_SCHEMA(
  LOCATION => 'snow://dataset/<dataset_name>/versions/<dataset_version>',
  FILE_FORMAT => '<file_format_name>'
)

CREATE FILE FORMAT my_parquet_format TYPE = PARQUET;

SELECT *
FROM TABLE(
    INFER_SCHEMA(
        FILE_FORMAT => 'snow://dataset/MYDS/versions/v1,
        FILE_FORMAT => 'my_parquet_format'
    )
);

SELECT $1
FROM 'snow://dataset/foo/versions/V1'
( FILE_FORMAT => 'my_parquet_format',
PATTERN => '.*data.*' ) t;

SQL 명령¶

SQL 명령을 사용하여 데이터 세트를 만들고 관리할 수 있습니다. 자세한 내용은 다음을 참조하십시오.

• CREATE DATASET

• ALTER DATASET

• SHOW DATASETS

• SHOW VERSIONS IN DATASET

현재 제한 사항 및 알려진 문제¶

• 데이터 세트 이름은 SQL 식별자이며 Snowflake 식별자 요구 사항 을 따릅니다.

• 데이터 세트 버전은 문자열이며 최대 128자까지 가능합니다. 일부 문자는 허용되지 않으며 오류 메시지가 표시됩니다.

• 스키마가 광범위한 데이터 세트(약 4,000개 이상의 열)에 대한 특정 쿼리 작업은 완전히 최적화되지 않았습니다. 이 문제는 향후 릴리스에서 개선될 예정입니다.