Snowpark ML: Snowflake의 엔드 투 엔드 머신 러닝¶

Snowpark ML Modeling¶

Snowpark ML Modelig 은 scikit-learn, xgboost, lightgbm 등 널리 사용되는 머신 러닝 프레임워크를 사용하여 Snowflake에서 데이터 전처리, 특징 공학, 모델 학습을 지원합니다. 이 API에는 Snowpark에 최적화된 웨어하우스에서 제공하는 컴퓨팅 리소스를 사용하여 확장 가능한 데이터 변환을 제공할 수 있는 전처리 모듈도 포함되어 있습니다.

Snowpark ML Operations¶

Snowpark ML 모델 레지스트리 를 갖춘 Snowpark ML Operations(MLOps)는 Snowpark ML Development API를 보완합니다. 모델 레지스트리는 Snowflake에서 모델을 안전하게 배포하고 관리할 수 있게 해주며 Snowflake 내부와 외부 모두에서 학습된 모델을 지원합니다.

Snowpark ML Data Access¶

Snowpark ML Data Access는 머신 러닝 모델에 데이터를 공급하는 간단하고 효율적인 방법을 제공합니다.

• FileSet API 는 쿼리 또는 Snowpark DataFrame에서 Snowflake 내부 스테이지로 해당 데이터를 구체화하기 위한 Python fsspec 준수 API를 제공합니다. 또한 데이터로 작업하고 데이터를 PyTorch 또는 TensorFlow로 공급하는 편리한 방법을 제공합니다.

• 프레임워크 커넥터 세트는 네이티브 데이터 로더 형식으로 Pytorch 및 Tensorflow 프레임워크에 최적화되고 안전하며 성능이 우수한 데이터 프로비저닝을 제공합니다.

Snowflake conda 채널에서 Snowpark ML 설치하기¶

1. Snowpark ML을 설치할 conda 환경을 만듭니다. 기존 환경을 사용하려면 이 단계를 건너뛰십시오.

   conda create --name snowpark-ml
   

   Copy

2. Conda 환경을 활성화합니다.

   conda activate snowpark-ml
   

   Copy

3. Snowflake conda 채널에서 Snowpark ML을 설치합니다.

   conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ snowflake-ml-python
   

   Copy

PyPI에서 Snowpark ML 설치하기¶

표준 Python 패키지 관리자 pip 를 사용하여 PyPI(Python Package Index)의 Snowpark ML 패키지를 설치할 수도 있습니다.

1. 프로젝트 디렉터리로 변경하고 Python 가상 환경을 활성화합니다.

   cd ~/projects/ml
   source .venv/bin/activate
   

   Copy

2. Snowpark ML 패키지를 설치합니다.

   python -m pip install snowflake-ml-python
   

   Copy

선택적 모델링 종속성 설치하기¶

일부 Snowpark ML Modeling API에는 Snowpark ML의 종속성으로 설치되지 않은 종속성이 필요합니다. Snowpark ML Modeling을 설치할 때 scikit-learn 및 xgboost 패키지가 기본적으로 설치되지만, lightgbm은 선택적 종속성입니다. snowflake.ml.modeling.lightgbm 네임스페이스의 클래스를 사용하려면 lightgbm을 직접 설치하십시오.

다음 명령을 사용하여 conda 환경을 활성화하고 Snowflake conda 채널에서 lightgbm을 설치하십시오.

conda activate snowpark-ml
conda install --override-channels --channel https://repo.anaconda.com/pkgs/snowflake/ lightgbm

다음 명령을 사용하여 가상 환경을 활성화하고 pip를 사용하여 lightgbm을 설치하십시오.

.venv/bin/activate
python -m pip install 'snowflake-ml-python[lightgbm]'

Snowflake는 때때로 Snowpark ML에 선택적 종속성을 더 추가할 수 있습니다. pip를 사용하여 모든 선택적 종속성을 설치하려면 다음을 수행하십시오.

.venv/bin/activate
python -m pip install 'snowflake-ml-python[all]'

Snowpark Python 설정하기¶

Snowpark Python은 Snowpark ML의 종속 항목이며 Snowpark ML과 함께 자동으로 설치됩니다. Snowpark Python이 시스템에 설정되지 않은 경우 추가 구성 단계를 수행해야 할 수도 있습니다. Snowpark Python 설정 지침은 Snowpark Python을 위한 개발 환경 설정하기 섹션을 참조하십시오.

웨어하우스 지정하기¶

모델 교육이나 추론 실행 등 Snowpark ML의 많은 부분은 Snowflake Warehouse에서 코드를 실행합니다. 이러한 작업은 연결하는 데 사용하는 세션에서 지정한 웨어하우스에서 실행됩니다. 예를 들어, SnowSQL 구성 파일 의 명명된 연결에서 세션을 생성하는 경우 명명된 구성에서 warehousename 매개 변수를 사용하여 웨어하우스를 지정할 수 있습니다.

구성에 아직 존재하지 않는 경우 여기에 표시된 대로 Session 오브젝트를 생성할 때 웨어하우스 설정을 추가할 수 있습니다.

from snowflake.snowpark import Session
from snowflake.ml.utils import connection_params
# Get named connection from SnowQSL configuration file
params = connection_params.SnowflakeLoginOptions("myaccount")
# Add warehouse name for model method calls if it's not already present
if "warehouse" not in params:
    params["warehouse"] = "mlwarehouse"
sp_session = Session.builder.configs(params).create()

세션에 지정된 웨어하우스가 없거나 다른 웨어하우스를 사용하려는 경우 세션의 use_warehouse 메서드를 호출하십시오.

sp_session.use_warehouse("mlwarehouse")