노트북으로 Snowflake 체험하기¶

사용 예¶

Snowflake Notebooks 환경에서 Snowpark Python이 사전 설치되어 제공됩니다. 다음 예제는 노트북의 Snowpark 라이브러리를 사용하여 CSV 파일과 Snowflake 테이블을 읽고 그 내용을 출력으로 표시하는 예제입니다.

1. 노트북에서 키보드 단축키 를 사용하거나 + Python 를 선택해 Python 셀을 추가합니다. Snowflake Notebooks 및 Snowpark는 모두 Python 3.9를 지원합니다.

2. Snowpark 세션을 설정합니다. 노트북에서는 세션 컨텍스트 변수가 미리 구성되어 있습니다. get_active_session 메서드를 사용하여 세션 컨텍스트 변수를 가져올 수 있습니다.

   from snowflake.snowpark.context import get_active_session
   session = get_active_session()
   

   Copy

3. 스테이지 위치에서 CSV 파일을 Snowpark DataFrame에 로드하려면 Snowpark를 사용합니다. 이 예제에서는 이름이 tastybyte_stage 인 스테이지를 사용합니다.

   df = session.read.options({"infer_schema":True}).csv('@TASTYBYTE_STAGE/app_order.csv')
   

   Copy

4. 기존 Snowflake 테이블 app_order 를 Snowpark DataFrame에 로드합니다.

   df = session.table("APP_ORDER")
   

   Copy

5. Snowpark DataFrame을 표시합니다.

   df
   

   Copy

Snowpark 제한 사항¶

• Snowflake Notebook은 Snowpark 세션을 생성하므로 Snowpark 세션 클래스에서 사용 가능한 대부분의 메서드를 사용할 수 있습니다. 하지만 노트북은 로컬 개발 환경이 아닌 Snowflake 내부에서 실행되므로 다음 메서드를 사용할 수 없습니다.

  • session.add_import

  • session.add_packages

  • session.add_requirements

• 일부 Snowpark Python 연산자는 SPROCs에서 작동하지 않습니다. 전체 작업 목록은 Python 저장 프로시저 제한 사항 섹션을 참조하십시오.

사용 예¶

Streamlit은 Snowflake Notebooks 환경과 함께 사전 설치되어 제공됩니다. 이 섹션의 예제에서는 Streamlit을 사용하여 대화형 데이터 앱을 만듭니다.

1. 필요한 라이브러리 가져오기

   import streamlit as st
   import pandas as pd
   

   Copy

2. 먼저 앱에 대한 샘플 데이터를 만듭니다.

   species = ["setosa"] * 3 + ["versicolor"] * 3 + ["virginica"] * 3
   measurements = ["sepal_length", "sepal_width", "petal_length"] * 3
   values = [5.1, 3.5, 1.4, 6.2, 2.9, 4.3, 7.3, 3.0, 6.3]
   df = pd.DataFrame({"species": species,"measurement": measurements,"value": values})
   df
   

   Copy

3. Streamlit 라이브러리에서 대화형 슬라이더를 설정합니다.

   st.markdown("""# Interactive Filtering with Streamlit! :balloon:
               Values will automatically cascade down the notebook cells""")
   value = st.slider("Move the slider to change the filter value 👇", df.value.min(), df.value.max(), df.value.mean(), step = 0.3 )
   

   Copy

4. 마지막으로 슬라이더 값을 기준으로 필터링된 테이블을 표시합니다.

   df[df["value"]>value].sort_values("value")
   

   Copy

노트북에서 앱과 실시간으로 상호 작용할 수 있습니다. 슬라이더에서 설정한 값에 따라 필터링된 표가 변경되는 것을 확인합니다.

Notebooks의 Streamlit 지원¶

st.map 또는 st.pydeck_chart Streamlit 명령을 사용하는 경우 Mapbox는 지도 콘텐츠 렌더링 시 지도 타일을 제공합니다. Mapbox는 서드 파티 애플리케이션으로, Snowflake의 외부 제공 서비스 약관 이 적용됩니다.

Notebooks에서 지원되지 않는 Streamlit 요소는 다음과 같습니다.

• st.bokeh_chart

• st.camera_input

• st.feedback

• st.file_uploader

• st.set_page_config

  st.set_page_config 명령의 page_title, page_icon, menu_items 속성은 지원되지 않습니다.

• st.experimental_audio_input

• st.experimental_get_query_params

• st.experimental_set_query_params

• st.components.v1.iframe

• st.components.v1.declare_component

• 앵커 링크

• Markdown 의 Material 아이콘

사용 예¶

Snowpark ML을 사용하려면 노트북에 snowflake-ml-python 라이브러리를 설치합니다.

1. 노트북에서 Packages 를 선택합니다.

2. snowflake-ml-python 라이브러리를 찾아서 설치할 라이브러리를 선택합니다.

데이터 전처리를 위해 Snowpark ML 라이브러리를 사용하는 방법의 예는 다음과 같습니다.

import snowflake.ml.modeling.preprocessing as pp

# Initialize a StandardScaler object with input and output column names
scaler = pp.StandardScaler(
    input_cols=feature_names_input,
    output_cols=feature_names_input
)

# Fit the scaler to the dataset
scaler.fit(upsampled_data)

# Transform the dataset using the fitted scaler
scaled_features = scaler.transform(upsampled_data)
scaled_features

모델 훈련 및 추론에 Snowpark ML 라이브러리를 사용하는 방법의 예는 다음과 같습니다.

from snowflake.ml.modeling.ensemble import RandomForestClassifier

# Initialize a RandomForestClassifier object with input, label, and output column names
model = RandomForestClassifier(
    input_cols=feature_names_input,
    label_cols=label,
    output_cols=output_label,
)

# Train the RandomForestClassifier model using the training set
model.fit(training)

# Predict the target variable for the testing set using the trained model
results = model.predict(testing)

사용 예¶

Snowflake ML 레지스트리를 사용하려면 노트북에 snowflake-ml-python 라이브러리를 설치합니다.

1. 노트북에서 상단의 Packages 를 선택합니다.

2. snowflake-ml-python 패키지를 검색하고 라이브러리를 선택하여 설치합니다.

다음은 Snowflake ML 레지스트리를 사용하여 모델을 기록하는 방법의 예제입니다.

from snowflake.ml.registry import Registry
# Create a registry and log the model
native_registry = Registry(session=session, database_name=db, schema_name=schema)

# Let's first log the very first model we trained
model_ver = native_registry.log_model(
    model_name=model_name,
    version_name='V0',
    model=regressor,
    sample_input_data=X, # to provide the feature schema
)

# Add evaluation metric
model_ver.set_metric(metric_name="mean_abs_pct_err", value=mape)

# Add a description
model_ver.comment = "This is the first iteration of our Diamonds Price Prediction model. It is used for demo purposes."

# Show Models
native_registry.get_model(model_name).show_versions()

사용 예¶

Snowpark pandas는 Snowpark Python 버전 1.17 이상에서 사용 가능합니다. Snowpark Python은 Snowflake Notebooks 환경이 사전 설치되어 제공됩니다.

1. Modin을 설치하려면 Packages 에서 modin 을 선택하고 버전이 0.28.1 이상인지 확인합니다.

2. pandas 버전을 설정하려면 Packages 에서 pandas 를 선택하고 버전이 2.2.1인지 확인합니다.

Python 셀에서 Snowpark Python 및 Modin을 가져옵니다.

import modin.pandas as pd
import snowflake.snowpark.modin.plugin

Copy

1. Snowpark 세션을 만듭니다.

   from snowflake.snowpark.context import get_active_session
   session = get_active_session()
   

   Copy

2. Snowpark Python API를 사용하여 시작합니다.

   # Create a Snowpark Pandas DataFrame with sample data.
   df = pd.DataFrame([[1, 'Big Bear', 8],[2, 'Big Bear', 10],[3, 'Big Bear', None],
                       [1, 'Tahoe', 3],[2, 'Tahoe', None],[3, 'Tahoe', 13],
                       [1, 'Whistler', None],['Friday', 'Whistler', 40],[3, 'Whistler', 25]],
                       columns=["DAY", "LOCATION", "SNOWFALL"])
   # Drop rows with null values.
   df.dropna()
   # Compute the average daily snowfall across locations.
   df.groupby("LOCATION").mean()["SNOWFALL"]
   

   Copy