서드 파티 패키지 사용하기¶

시작하기¶

Snowflake 내부에서 Anaconda가 제공하는 패키지를 처음 사용하기 전에 Snowflake 서드 파티 약관 에 동의해야 합니다.

1. Snowsight 에 로그인합니다.

2. Admin » Billing & Terms 를 선택합니다.

3. Anaconda 섹션에서 Enable 을 선택합니다.

4. Anaconda Packages 대화 상자에서 링크를 클릭하여 Snowflake 서드 파티 약관 페이지 를 검토하십시오.

5. 약관에 동의하면 Acknowledge & Continue 를 선택합니다.

서비스 약관을 수락하려고 할 때 오류가 나타날 경우 사용자 프로필에 이름, 성 또는 이메일 주소가 누락되었기 때문일 수 있습니다. 관리자 역할이 있는 경우 사용자 프로필에 사용자 세부 정보 추가하기 섹션을 참조하여 Snowsight 를 사용해 프로필을 업데이트하십시오. 그렇지 않으면 관리자에게 문의하여 계정을 업데이트하십시오.

패키지 표시 및 사용하기¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

콜드 웨어하우스에서의 성능¶

더욱 효율적인 리소스 관리를 위해 새로 프로비저닝된 가상 웨어하우스는 Anaconda 패키지를 사전 설치하지 않습니다. 그 대신, Anaconda 패키지는 UDF를 처음 사용할 때 온디맨드 방식으로 설치됩니다. 향후 UDF 실행을 위해 패키지는 같은 웨어하우스에 캐시됩니다. 웨어하우스가 일시 중단되면 캐시가 삭제됩니다. 이로 인해 UDF를 처음 사용할 때나 웨어하우스가 재개된 후에 성능이 저하될 수 있습니다. 약 30초 정도의 대기 시간이 추가로 발생할 수 있습니다.

단일 행 예측 사용 시의 성능¶

Scikit-learn 및 TensorFlow와 같은 어떤 데이터 과학 프레임워크는 단일 행 ML 예측을 수행할 때 느릴 수 있습니다.

성능을 향상하려면 단일 행 예측 대신 일괄 예측을 수행하십시오. 이렇게 하려면 입력 데이터 세트를 Snowflake 배열로 변환하고 배열을 예측 코드에 입력하십시오. 테이블 형식 Python UDTF, ARRAY_AGG 함수, 테이블 형식 Java UDF(UDTF) 또는 테이블 형식 JavaScript UDF(UDTF) 를 사용하여 일괄 처리를 수행할 수 있습니다.

또한 벡터화된 Python UDF를 사용해 머신 러닝 또는 데이터 과학 라이브러리가 작동하도록 최적화된 배치로 입력 행을 수신하는 Python 함수를 정의할 수도 있습니다. 자세한 내용은 벡터화된 Python UDF 섹션을 참조하십시오.

데이터 과학 라이브러리에서 온디맨드 방식으로 데이터 다운로드하기¶

NLTK, Keras, spaCy 와 같은 데이터 과학 라이브러리에서는 온디맨드 방식으로 말뭉치, 데이터 또는 모델을 추가로 다운로드하는 기능을 제공합니다.

하지만 네트워크 액세스 및 파일에 쓰기와 같은 일부 기능을 사용하지 못하게 되는 Snowflake 보안 제약 조건으로 인해 Python UDF에서는 온디맨드 방식으로 다운로드할 수 없습니다.

이 문제를 해결하려면 데이터를 로컬 환경으로 다운로드한 다음, Snowflake 스테이지를 통해 데이터를 UDF에 제공하십시오.

XGBoost¶

병렬 예측 또는 훈련을 위해 UDF 또는 UDTF에 XGBoost를 사용할 때 각 XGBoost 인스턴스의 동시성은 1로 설정해야 합니다. 이를 통해 Snowflake 환경에서 실행 시 XGBoost가 최적의 성능을 고려해 구성됩니다.

예:

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

예측에 Tensorflow/Keras를 사용할 때는 Model.predict가 아니라 Model.predict_on_batch를 사용하십시오.

예:

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))