Experimente o Snowflake com notebooks¶

Exemplo de uso¶

O Snowpark Python vem pré-instalado no ambiente Snowflake Notebooks. O exemplo a seguir usa a biblioteca Snowpark em um notebook para ler em um arquivo CSV e uma tabela Snowflake e exibir seu conteúdo como saída.

1. No notebook, adicione uma célula Python, usando o atalho de teclado ou selecionando + Python. Snowflake Notebooks e Snowpark oferecem suporte a Python 3.9.

2. Configure uma sessão de Snowpark. Em notebooks, a variável do contexto de sessão é pré-configurada. Você pode usar o método get_active_session para obter a variável do contexto de sessão:

   from snowflake.snowpark.context import get_active_session
   session = get_active_session()
   

   Copy

3. Use o Snowpark para carregar um arquivo CSV em um Snowpark DataFrame de um local de estágio. Este exemplo usa um estágio chamado tastybyte_stage.

   df = session.read.options({"infer_schema":True}).csv('@TASTYBYTE_STAGE/app_order.csv')
   

   Copy

4. Carregue uma tabela Snowflake existente, app_order, ao Snowpark DataFrame.

   df = session.table("APP_ORDER")
   

   Copy

5. Mostre o Snowpark DataFrame.

   df
   

   Copy

Limitações do Snowpark¶

• Um notebook Snowflake cria uma sessão Snowpark, para que você possa usar a maioria dos métodos disponíveis em uma classe de sessão Snowpark. Entretanto, como um notebook é executado dentro do Snowflake e não em seu ambiente de desenvolvimento local, você não pode usar os seguintes métodos:

  • session.add_import

  • session.add_packages

  • session.add_requirements

• Algumas operações do Snowpark Python não funcionam com SPROCs. Para uma lista completa de operações, consulte Limitações do procedimento armazenado do Python.

Exemplo de uso¶

O Streamlit vem pré-instalado com o ambiente dos Snowflake Notebooks. O exemplo nesta seção cria um aplicativo de dados interativo usando o Streamlit.

1. Importação das bibliotecas necessárias

   import streamlit as st
   import pandas as pd
   

   Copy

2. Primeiro, crie alguns dados de exemplo para o aplicativo.

   species = ["setosa"] * 3 + ["versicolor"] * 3 + ["virginica"] * 3
   measurements = ["sepal_length", "sepal_width", "petal_length"] * 3
   values = [5.1, 3.5, 1.4, 6.2, 2.9, 4.3, 7.3, 3.0, 6.3]
   df = pd.DataFrame({"species": species,"measurement": measurements,"value": values})
   df
   

   Copy

3. Configure seu controle deslizante interativo na biblioteca Streamlit.

   st.markdown("""# Interactive Filtering with Streamlit! :balloon:
               Values will automatically cascade down the notebook cells""")
   value = st.slider("Move the slider to change the filter value 👇", df.value.min(), df.value.max(), df.value.mean(), step = 0.3 )
   

   Copy

4. Por fim, mostre uma tabela filtrada com base no valor do controle deslizante.

   df[df["value"]>value].sort_values("value")
   

   Copy

Você pode interagir com o aplicativo em tempo real a partir do notebook. Veja a tabela filtrada mudar com base no valor definido no controle deslizante.

Suporte Streamlit no Notebooks¶

Quando você usa os comandos Streamlit st.map ou st.pydeck_chart, o Mapbox fornece os blocos do mapa ao renderizar o conteúdo do mapa. Mapbox é um aplicativo de terceiros e está sujeito aos Termos das ofertas externas da Snowflake.

Os seguintes elementos do Streamlit não são compatíveis no Notebooks:

• st.bokeh_chart

• st.camera_input

• st.feedback

• st.file_uploader

• st.set_page_config

  Não há suporte para as propriedades page_title, page_icon e menu_items do comando st.set_page_config.

• st.experimental_audio_input

• st.experimental_get_query_params

• st.experimental_set_query_params

• st.components.v1.iframe

• st.components.v1.declare_component

• Links de âncora

• Ícones de materiais em Markdown

Exemplo de uso¶

Para usar o ML do Snowpark, instale a biblioteca snowflake-ml-python em seu notebook:

1. No notebook, selecione Packages.

2. Localize a biblioteca snowflake-ml-python e selecione-a para realizar a instalação.

Aqui está um exemplo de como você pode usar a biblioteca de ML do Snowpark para pré-processamento de seus dados:

import snowflake.ml.modeling.preprocessing as pp

# Initialize a StandardScaler object with input and output column names
scaler = pp.StandardScaler(
    input_cols=feature_names_input,
    output_cols=feature_names_input
)

# Fit the scaler to the dataset
scaler.fit(upsampled_data)

# Transform the dataset using the fitted scaler
scaled_features = scaler.transform(upsampled_data)
scaled_features

Aqui está um exemplo de como você pode usar a biblioteca de ML do Snowpark para treinamento e inferência de modelos:

from snowflake.ml.modeling.ensemble import RandomForestClassifier

# Initialize a RandomForestClassifier object with input, label, and output column names
model = RandomForestClassifier(
    input_cols=feature_names_input,
    label_cols=label,
    output_cols=output_label,
)

# Train the RandomForestClassifier model using the training set
model.fit(training)

# Predict the target variable for the testing set using the trained model
results = model.predict(testing)

Exemplo de uso¶

Para usar o registro de ML do Snowflake, instale a biblioteca snowflake-ml-python em seu notebook:

1. Em seu notebook, selecione Packages na parte superior.

2. Procure pelo pacote snowflake-ml-python e selecione a biblioteca a ser instalada.

Aqui está um exemplo de como você pode usar o registro de ML do Snowflake para registrar um modelo em log:

from snowflake.ml.registry import Registry
# Create a registry and log the model
native_registry = Registry(session=session, database_name=db, schema_name=schema)

# Let's first log the very first model we trained
model_ver = native_registry.log_model(
    model_name=model_name,
    version_name='V0',
    model=regressor,
    sample_input_data=X, # to provide the feature schema
)

# Add evaluation metric
model_ver.set_metric(metric_name="mean_abs_pct_err", value=mape)

# Add a description
model_ver.comment = "This is the first iteration of our Diamonds Price Prediction model. It is used for demo purposes."

# Show Models
native_registry.get_model(model_name).show_versions()

Exemplo de uso¶

O Snowpark pandas está disponível no Snowpark Python versão 1.17 e posteriores. O Snowpark Python vem pré-instalado com o ambiente de Snowflake Notebooks.

1. Para instalar o Modin, selecione modin em Packages e certifique-se de que a versão seja 0.28.1 ou posterior.

2. Para definir a versão do pandas, selecione pandas em Packages e certifique-se de que a versão seja 2.2.1.

Em uma célula Python, importe Snowpark Python e Modin:

import modin.pandas as pd
import snowflake.snowpark.modin.plugin

Copy

1. Crie uma sessão Snowpark:

   from snowflake.snowpark.context import get_active_session
   session = get_active_session()
   

   Copy

2. Comece a usar a Snowpark Python API:

   # Create a Snowpark Pandas DataFrame with sample data.
   df = pd.DataFrame([[1, 'Big Bear', 8],[2, 'Big Bear', 10],[3, 'Big Bear', None],
                       [1, 'Tahoe', 3],[2, 'Tahoe', None],[3, 'Tahoe', 13],
                       [1, 'Whistler', None],['Friday', 'Whistler', 40],[3, 'Whistler', 25]],
                       columns=["DAY", "LOCATION", "SNOWFALL"])
   # Drop rows with null values.
   df.dropna()
   # Compute the average daily snowfall across locations.
   df.groupby("LOCATION").mean()["SNOWFALL"]
   

   Copy