SnowparkML: Snowflake용 머신 러닝 툴킷¶

Snowpark ML Development¶

Snowpark ML은 Snowflake 내부에서 모델을 효율적으로 개발할 수 있게 해주는 Python API 모음을 포함합니다.

• 데이터 전처리, 특징 공학, 모델 학습을 위한 API를 제공하는 모델링 패키지 (snowflake.ml.modeling). 패키지에는 확장 가능한 데이터 변환을 제공하는 Snowpark에 최적화된 웨어하우스 에서 제공하는 컴퓨팅 리소스를 활용하는 API가 있는 전처리 모듈도 포함됩니다. 이러한 API는 scikit-learn, xgboost, lightgbm을 포함하여 익숙한 ML 라이브러리를 기반으로 합니다.

• 네이티브 데이터 로더 형식으로 Pytorch 및 Tensorflow 프레임워크에 최적화되고 안전하며 성능이 우수한 데이터 프로비저닝을 제공하는 프레임워크 커넥터 세트(곧 출시 예정). 설명서를 먼저 살펴보고 싶으신 분은 Snowflake 담당자에게 문의하십시오.

Snowpark ML Ops¶

곧 출시될 특징 모음인 Snowpark ML Ops는 Snowflake에 모델 관리 기능과 통합 배포를 제공하여 Snowpark ML Development API를 보완합니다. 이러한 특징에 대한 설명서를 일찍 살펴보고 싶으신 분은 Snowflake 담당자에게 문의하십시오.

• FileSet API는 데이터로 작업하기 위한 여러 가지 편리한 방법과 함께 쿼리 또는 Snowpark DataFrame에서 Snowflake 내부 스테이지로 해당 데이터를 구체화하기 위한 Python fsspec 준수 API를 제공합니다.

• 모델 레지스트리는 Snowflake 내에서 모델을 관리하고 Snowflake 웨어하우스에 벡터화된 UDF(사용자 정의 함수)로 배포하기 위한 Python API입니다.

Snowpark Python 설정하기¶

Snowpark ML은 Snowpark Python과 함께 작동합니다. Snowpark Python 설치 및 설정 지침은 Snowpark Python을 위한 개발 환경 설정하기 섹션을 참조하십시오.

로컬 conda 채널에서 Snowpark ML 설치하기¶

먼저, 로컬 conda 채널을 만듭니다. 그러면 conda가 이 채널에서 파일을 받아 conda 환경에 설치합니다. 이러한 단계는 한 번만 수행하면 됩니다.

1. conda-build를 설치합니다.

   conda install conda-build
   

   Copy

2. 컴퓨터에 채널의 파일을 저장할 디렉터리를 만듭니다. 아무 이름이나 사용할 수 있습니다.

   mkdir -p ~/conda-snowpark-ml
   

   Copy

3. 당사 Google 드라이브 에서 최신 Snowpark ML 릴리스를 다운로드합니다. 각 릴리스는 자체 폴더에 있습니다. 원하는 릴리스가 포함된 폴더를 연 다음, 해당 폴더에 .tar.bz2 파일을 다운로드합니다. 이전 단계에서 만든 채널 폴더에 저장합니다(예: ~/conda-snowpark-ml).

4. conda index 를 사용하여 채널을 만듭니다.

   conda index ~/conda-snowpark-ml
   

   Copy

   새로운 버전의 Snowpark ML이 출시되면 동일한 폴더에 다운로드한 다음, 동일한 conda index 명령을 실행하여 채널에서 사용할 수 있도록 하십시오.

로컬 conda 채널을 만든 후 프로젝트에 Snowpark ML을 설치할 수 있습니다. 다음 단계를 따르십시오.

1. 사용하려는 conda 환경을 활성화합니다(예에서는 ml-env).

   conda activate ml-env
   

   Copy

2. 로컬 채널에서 패키지를 설치합니다. Snowflake ML 패키지는 Snowflake의 다른 패키지에 종속되므로 Snowflake conda 채널도 지정합니다.

   conda install -c file://path/to/conda-snowpark-ml -c https://repo.anaconda.com/pkgs/snowflake/ \
   https://repo.anaconda.com/pkgs/snowflake/ snowflake-ml-python
   

   Copy

   이 명령은 한 줄에 입력해야 합니다.

   이전에 만든 채널 폴더의 실제 경로를 지정해야 합니다. 이는 이전 단계에서 사용한 경로와 다를 수 있는데, ~ 를 홈 디렉터리의 바로 가기로 사용할 수 있습니다.

PyPI에서 Snowpark ML 설치하기¶

또한 표준 Python 패키지 관리자 pip 를 사용하여 PyPI(Python Package Index)의 Snowpark ML 패키지를 설치할 수도 있습니다.

1. Python 가상 환경을 사용 중인 경우 이를 활성화하십시오.

   source .venv/bin/activate
   

   Copy

2. Snowpark ML 패키지를 설치합니다.

   python -m pip install snowflake-ml-python
   

   Copy