서드 파티 패키지 사용하기¶

시작하기¶

Snowflake의 기본 아티팩트 리포지토리(snowflake.snowpark.pypi_shared_repository)를 사용하여 Snowpark UDFs 및 프로시저 내에서 PyPI 패키지를 연결하고 설치합니다.

이 리포지토리를 사용하기 전에 계정 관리자(ACCOUNTADMIN 역할이 부여된 사용자)는 역할에 SNOWFLAKE.PYPI_REPOSITORY_USER 데이터베이스 역할을 부여해야 합니다.

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE some_user_role;

계정 관리자는 계정의 모든 사용자에게 이 데이터베이스 역할을 부여할 수도 있습니다.

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE PUBLIC;

이 역할을 사용하면 리포지토리에서 패키지를 설치할 수 있습니다. UDF를 만들 때 ARTIFACT_REPOSITORY 매개 변수를 아티팩트 리포지토리 이름으로 설정합니다. 또한 PACKAGES 매개 변수를 아티팩트 리포지토리에서 가져올 패키지의 이름 목록으로 설정합니다. 다음 예제의 아티팩트 리포지토리는 PyPI로 구성되었으므로, scikit-learn 패키지는 PyPI에서 가져옵니다.

CREATE OR REPLACE FUNCTION sklearn_udf()
  RETURNS FLOAT
  LANGUAGE PYTHON
  RUNTIME_VERSION = 3.12
  ARTIFACT_REPOSITORY = snowflake.snowpark.pypi_shared_repository
  PACKAGES = ('scikit-learn')
  HANDLER = 'udf'
  AS
$$
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

def udf():
  X, y = load_iris(return_X_y=True)
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

  model = RandomForestClassifier()
  model.fit(X_train, y_train)
  return model.score(X_test, y_test)
$$;

SELECT sklearn_udf();

PACKAGES = ('scikit-learn==1.5')

x86 전용으로 빌드된 패키지¶

패키지가 x86용으로만 빌드된 경우 x86 CPU 아키텍처(MEMORY_1X_x86 또는 MEMORY_16X_x86)를 사용하는 웨어하우스 중 하나를 선택한 후 다음 예제와 같이 :code:`RESOURCE_CONSTRAINT=(architecture=’x86’)`을 지정합니다.

CREATE OR REPLACE FUNCTION pymeos_example()
RETURNS STRING
LANGUAGE PYTHON
HANDLER='main'
RUNTIME_VERSION='3.11'
ARTIFACT_REPOSITORY=snowflake.snowpark.pypi_shared_repository
PACKAGES=('pymeos') -- dependency pymeos-cffi is x86 only
RESOURCE_CONSTRAINT=(architecture='x86')
AS $$
def main() -> str:
   from pymeos import pymeos_initialize, pymeos_finalize, TGeogPointInst, TGeogPointSeq

   # Always initialize MEOS library
   pymeos_initialize()

   sequence_from_string = TGeogPointSeq(
      string='[Point(10.0 10.0)@2019-09-01 00:00:00+01, Point(20.0 20.0)@2019-09-02 00:00:00+01, Point(10.0 10.0)@2019-09-03 00:00:00+01]')

   sequence_from_points = TGeogPointSeq(instant_list=[TGeogPointInst(string='Point(10.0 10.0)@2019-09-01 00:00:00+01'),
        TGeogPointInst(string='Point(20.0 20.0)@2019-09-02 00:00:00+01'),
        TGeogPointInst(string='Point(10.0 10.0)@2019-09-03 00:00:00+01')],
          lower_inc=True, upper_inc=True)
   speed = sequence_from_points.speed()

   # Call finish at the end of your code
   pymeos_finalize()

   return speed
$$;

SELECT pymeos_example();

자세한 내용은 Snowpark에 최적화된 웨어하우스 섹션을 참조하십시오.

아티팩트 리포지토리는 UDF 및 저장 프로시저 클라이언트 API와 함께 다음과 같이 사용할 수 있습니다.

• snowflake.snowpark.udf.UDFRegistration

• snowflake.snowpark.functions.sproc

사용할 때는 다음 매개 변수를 지정하고

• ARTIFACT_REPOSITORY

• PACKAGES

PACKAGES 필드에 패키지 이름을 제공합니다.

다음 예제를 참조하세요.

...
ARTIFACT_REPOSITORY="snowflake.snowpark.pypi_shared_repository",
PACKAGES=["urllib3", "requests"],
...

Copy

문제 해결하기¶

함수 또는 프로시저 생성 부분에서 패키지 설치에 실패하면, 다음 pip 명령을 로컬에서 실행하여 패키지 사양이 유효한지 확인합니다.

pip install <package name> --only-binary=:all: --python-version 3.12 –platform <platform_tag>

제한 사항¶

• 비공개 리포지토리에 대한 액세스는 지원되지 않습니다.

• Notebooks에서 이 기능을 직접 사용할 수는 없습니다. 그러나 노트북 내에서 PyPI 패키지를 사용하는 UDF 또는 저장 프로시저를 사용할 수 있습니다.

• 익명 저장 프로시저 내에서는 아티팩트 리포지토리를 사용할 수는 없습니다.

라이선스 조건¶

• Snowflake에서: 이 설명서에 설명된 Anaconda 사용 제한을 포함하여 기존 Snowflake 고객 계약이 적용됩니다. Snowflake 내 사용에는 별도의 Anaconda 약관이 적용되지 않습니다.

• 로컬 개발: Snowflake의 `전용 Anaconda 리포지토리<https://repo.anaconda.com/pkgs/snowflake/>`_: 리포지토리에 게시된 Anaconda의 임베디드 최종 고객 약관 및 Anaconda의 서비스 약관이 적용됩니다. 로컬 사용은 Snowflake에 배포하기 위한 워크로드를 개발 및 테스트하는 것으로 제한됩니다.

사용자 지침¶

패키지 찾기 및 관리¶

필요한 패키지를 찾을 수 없습니까?

• `Snowflake Ideas 포럼<https://community.snowflake.com/s/ideas>`_을 통해 요청을 제출하세요.

• (컴파일된 확장이 없는) 순수 Python 패키지는 :doc:`Snowflake 스테이지에 직접 업로드</developer-guide/snowflake-cli/snowpark/upload>`될 수 있습니다.

지원 및 보안¶

패키지 표시 및 사용하기¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

콜드 웨어하우스에서의 성능¶

더욱 효율적인 리소스 관리를 위해 새로 프로비저닝된 가상 웨어하우스는 Anaconda 패키지를 사전 설치하지 않습니다. 그 대신, Anaconda 패키지는 UDF를 처음 사용할 때 온디맨드 방식으로 설치됩니다. 향후 UDF 실행을 위해 패키지는 같은 웨어하우스에 캐시됩니다. 웨어하우스가 일시 중단되면 캐시가 삭제됩니다. 이로 인해 UDF를 처음 사용할 때나 웨어하우스가 재개된 후에 성능이 저하될 수 있습니다. 약 30초 정도의 대기 시간이 추가로 발생할 수 있습니다.

단일 행 예측 사용 시의 성능¶

Scikit-learn 및 TensorFlow와 같은 어떤 데이터 과학 프레임워크는 단일 행 ML 예측을 수행할 때 느릴 수 있습니다. 성능을 향상하려면 단일 행 예측 대신 일괄 예측을 수행하십시오. 이를 위해 입력 행을 일괄적으로 받아 머신 러닝 또는 데이터 과학 라이브러리가 작업하도록 최적화된 Python 함수를 정의할 수 있는 벡터화된 Python UDFs를 사용할 수 있습니다. 자세한 내용은 벡터화된 Python UDF 섹션을 참조하십시오.

데이터 과학 라이브러리에서 온디맨드 방식으로 데이터 다운로드하기¶

NLTK, Keras, spaCy 와 같은 데이터 과학 라이브러리에서는 온디맨드 방식으로 말뭉치, 데이터 또는 모델을 추가로 다운로드하는 기능을 제공합니다.

하지만 네트워크 액세스 및 파일에 쓰기와 같은 일부 기능을 사용하지 못하게 되는 Snowflake 보안 제약 조건으로 인해 Python UDF에서는 온디맨드 방식으로 다운로드할 수 없습니다.

이 문제를 해결하려면 데이터를 로컬 환경으로 다운로드한 다음, Snowflake 스테이지를 통해 데이터를 UDF에 제공하십시오.

XGBoost¶

병렬 예측 또는 훈련을 위해 UDF 또는 UDTF에 XGBoost를 사용할 때 각 XGBoost 인스턴스의 동시성은 1로 설정해야 합니다. 이를 통해 Snowflake 환경에서 실행 시 XGBoost가 최적의 성능을 고려해 구성됩니다.

예제:

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

예측에 Tensorflow/Keras를 사용할 때는 Model.predict가 아니라 Model.predict_on_batch를 사용하십시오.

예:

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))