Snowpark ML Modeling: ML 모델 개발¶

Snowpark ML Modeling 클래스¶

모든 Snowpark ML Modeling 및 전처리 클래스는 snowflake.ml.modeling 네임스페이스에 있습니다. Snowpark ML 모듈은 sklearn 네임스페이스의 해당 모듈과 이름이 같습니다. 예를 들어 sklearn.calibration 에 해당하는 Snowpark ML 모듈은 snowflake.ml.modeling.calibration 입니다.

xgboost 및 lightgbm 모듈은 각각 snowflake.ml.modeling.xgboost 및 snowflake.ml.modeling.lightgbm 에 해당합니다.

scikit-learn의 모든 클래스가 Snowpark ML에서 지원되는 것은 아닙니다. 아래 표는 지원되는 클래스를 나타냅니다. 별표(^*)가 표시된 클래스는 분산 실행을 지원합니다.

일반적인 API 차이점¶

Snowpark ML Modeling에는 scikit-learn, xgboost, lightgbm을 기반으로 하는 데이터 전처리, 변환 및 예측 알고리즘이 포함됩니다. Snowpark Python 클래스는 서명이 유사한 원래 패키지의 해당 클래스를 대체합니다. 하지만 이러한 API는 NumPy 배열 대신 Snowpark DataFrames와 함께 작동하도록 설계되었습니다.

Snowpark ML Modeling API는 scikit-learn과 유사하지만 몇 가지 주요 차이점이 있습니다. 이 섹션에서는 Snowpark ML에서 제공하는 추정기 및 변환기 클래스에 대한 __init__ (생성자), fit 및 predict 메서드를 호출하는 방법을 설명합니다.

• 모든 Snowpark ML Python 클래스의 생성자 는 scikit-learn, xgboost 또는 lightgbm의 동등한 클래스에서 허용되는 매개 변수 외에 input_cols, output_cols, sample_weight_col, label_cols, drop_input_cols 의 5개 추가 매개 변수를 허용합니다. 이들은 Snowpark 또는 Pandas DataFrame에서 입력 열, 출력 열, 샘플 가중치 열, 레이블 열의 이름을 지정하는 문자열 또는 문자열 시퀀스입니다.

• Snowpark ML의 fit 및 predict 메서드는 입력 데이터, 레이블, 가중치를 나타내는 별도의 배열 대신 단일 DataFrame을 허용합니다. Snowpark ML 사용 시, 클래스를 인스턴스화할 때 이러한 목적으로 사용할 열의 이름을 지정하며, 이러한 이름은 DataFrame에서 fit 또는 predict 로 전달하는 필수적인 열을 찾는 데 사용됩니다. fit 및 predict 섹션을 참조하십시오.

• Snowpark ML의 transform 및 predict 메서드는 추가 열에 저장된 예측의 출력과 함께 메서드에 전달된 DataFrame의 모든 열을 포함하는 DataFrame을 반환합니다. (동일한 입력 및 출력 열 이름을 지정하여 제자리에서 변환하거나 drop_input_cols = True 를 전달하여 입력 열을 삭제할 수 있습니다.) scikit-learn, xgboost 및 lightgbm와 동등한 라이브러리는 결과만 포함하는 배열을 반환합니다.

• Snowpark Python 변환기에는 fit_transform 메서드가 없습니다. 하지만 scikit-learn과 마찬가지로, 매개 변수 유효성 검사는 fit 메서드에서만 수행되므로, 변환기가 피팅을 수행하지 않을 때도 transform 전의 어느 시점에서 fit 을 호출해야 합니다. fit 은 변환기를 반환하므로 메서드 호출이 연결될 수 있습니다(예: Binarizer(threshold=0.5).fit(df).transform(df)).

• Snowpark ML 변환기에는 inverse_transform 메서드가 없습니다. 입력 및 출력 열에 대해 모두 같은 이름을 지정하여 원래 위치에서의 변환을 명시적으로 수행하지 않는 한 유지되는 입력 DataFrame의 입력 열에서 원래 표현을 계속 사용할 수 있으므로 Snowpark ML에서는 이 메서드가 필요하지 않습니다.

from sklearn.tree import DecisionTreeClassifier

model = DecisionTreeClassifier()

model.fit(
    X=df[feature_column_names], y=df[label_column_names], sample_weight=df[weight_column_name]
)

model.fit(df)

prediction_results = model.predict(X=df[feature_column_names])

prediction_results = model.predict(df)[output_column_names]

모델 배포 및 실행하기¶

모델 학습 결과는 Python Snowpark ML 모델 오브젝트입니다. 학습된 모델을 사용하여 모델의 predict 메서드를 호출함으로써 예측을 수행할 수 있습니다. 이렇게 하면 Snowflake 가상 웨어하우스에서 모델을 실행하기 위한 임시 사용자 정의 함수가 생성됩니다. 이 함수는 Snowpark ML 세션 종료 시(예: 스크립트가 종료되거나 Jupyter 노트북을 닫을 때) 자동으로 삭제됩니다.

세션이 종료된 후에도 사용자 정의 함수를 유지하려면 함수를 수동으로 생성할 수 있습니다. 자세한 내용은 이 항목의 빠른 시작 을 참조하십시오.

곧 출시될 기능인 Snowpark ML 모델 레지스트리도 영구 모델을 지원하고 모델을 더 쉽게 찾고 배포할 수 있게 해줍니다. 이 기능에 대한 설명서를 먼저 살펴보고 싶으신 분은 Snowflake 담당자에게 문의하십시오.

다중 변환을 위한 파이프라인¶

scikit-learn에서는 파이프라인을 사용하여 일련의 변환을 실행하는 것이 일반적입니다. scikit-learn 파이프라인은 Snowpark ML 클래스와 작동하지 않으므로 Snowpark ML은 일련의 변환을 실행하기 위해 sklearn.pipeline.Pipeline 의 Snowpark Python 버전을 제공합니다. 이 클래스는 snowflake.ml.modeling.pipeline 패키지에 있으며 scikit-learn 버전과 동일하게 작동합니다.

알려진 제한 사항¶

• Snowpark ML 추정기와 변환기는 현재 희소 입력값이나 희소 응답을 지원하지 않습니다. 희소 데이터가 있는 경우 Snowpark ML의 추정기 또는 변환기에 전달하기 전에 조밀한 형식으로 변환하십시오.

• Snowpark ML 패키지는 현재 행렬 데이터 타입을 지원하지 않습니다. 결과적으로 행렬을 생성하는 추정기 및 변환기에 대한 모든 작업은 실패합니다.

• 결과 데이터의 행 순서가 입력 데이터의 행 순서와 일치하리라는 보장은 없습니다.

문제 해결¶

import logging, sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)

추가 자료¶

해당 기능에 대한 전체 정보는 원본 라이브러리의 설명서를 참조하십시오.

• Scikit-Learn

• XGBoost

• LightGBM

감사의 말씀¶

이 문서의 일부는 BSD-3 《신규》 또는 《개정》 라이선스 및 Copyright © 2007-2023 The scikit-learn developers에 따라 라이선스가 부여된 Scikit-learn 설명서에서 파생되었습니다. All rights reserved.

이 문서의 일부는 Apache License 2.0(2004년 1월) 및 Copyright © 2019로 보호되는 XGboost 설명서에서 파생되었습니다. All rights reserved.

이 문서의 일부는 MIT 라이선스가 있고 Copyright © Microsoft Corp.로 보호되는 LightGBM 설명서에서 파생되었습니다. All rights reserved.