サードパーティパッケージの使用¶

始めましょう¶

Snowflakeには snowflake.snowpark.pypi_shared_repository というデフォルトのアーティファクトリポジトリがあり、Snowpark UDFs およびプロシージャ内の PyPI パッケージの接続とインストールに使用します。ユーザーがこのリポジトリを使用するためには、アカウント管理者（ACCOUNTADMIN ロールを付与されたユーザー）が SNOWFLAKE.PYPI_REPOSITORY_USER データベースロールをユーザーのロールに付与する必要があります。

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE some_user_role;

このロールをアカウント内の全ユーザーに付与するために、アカウント管理者は SNOWFLAKE.PYPI_REPOSITORY_USER データベースロールを PUBLIC ロールに付与することができます。

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE PUBLIC;

その後、リポジトリからパッケージをインストールします。UDF を作成するときは、 ARTIFACT_REPOSITORY パラメーターにアーティファクトリポジトリ名をセットします。また、 ARTIFACT_REPOSITORY_PACKAGES パラメーターに、アーティファクトリポジトリから取得するパッケージ名のリストをセットします。以下の例では、アーティファクトリポジトリが PyPI で構成されているため、パッケージ scikit-learn は PyPI からソースされています。

ARTIFACT_REPOSITORY_PACKAGES = ('scikit-learn==1.5')

CREATE OR REPLACE FUNCTION sklearn_udf()
  RETURNS FLOAT
  LANGUAGE PYTHON
  RUNTIME_VERSION = 3.9
  ARTIFACT_REPOSITORY = snowflake.snowpark.pypi_shared_repository
  ARTIFACT_REPOSITORY_PACKAGES = ('scikit-learn')
  HANDLER = 'udf'
  AS
$$
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

def udf():
  X, y = load_iris(return_X_y=True)
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

  model = RandomForestClassifier()
  model.fit(X_train, y_train)
  return model.score(X_test, y_test)
$$;

SELECT sklearn_udf();

x86用にのみビルドされたパッケージ¶

パッケージがx86用にのみビルドされている場合は、x86 CPU アーキテクチャを使用するウェアハウスの一つを選択してください: MEMORY_1X_x86、 MEMORY_16X_x86。詳細については、 Snowpark用に最適化されたウェアハウス をご参照ください。

そして、次を指定します: RESOURCE_CONSTRAINT=(architecture='x86')。下の例をご覧ください。

CREATE OR REPLACE FUNCTION pymeos_example()
RETURNS STRING
LANGUAGE PYTHON
HANDLER='main'
RUNTIME_VERSION='3.11'
ARTIFACT_REPOSITORY=snowflake.snowpark.pypi_shared_repository
ARTIFACT_REPOSITORY_PACKAGES=('pymeos') -- dependency pymeos-cffi is x86 only
RESOURCE_CONSTRAINT=(architecture='x86')
AS $$
def main() -> str:
   from pymeos import pymeos_initialize, pymeos_finalize, TGeogPointInst, TGeogPointSeq

   # Always initialize MEOS library
   pymeos_initialize()

   sequence_from_string = TGeogPointSeq(
      string='[Point(10.0 10.0)@2019-09-01 00:00:00+01, Point(20.0 20.0)@2019-09-02 00:00:00+01, Point(10.0 10.0)@2019-09-03 00:00:00+01]')

   sequence_from_points = TGeogPointSeq(instant_list=[TGeogPointInst(string='Point(10.0 10.0)@2019-09-01 00:00:00+01'),
        TGeogPointInst(string='Point(20.0 20.0)@2019-09-02 00:00:00+01'),
        TGeogPointInst(string='Point(10.0 10.0)@2019-09-03 00:00:00+01')],
          lower_inc=True, upper_inc=True)
   speed = sequence_from_points.speed()

   # Call finish at the end of your code
   pymeos_finalize()

   return speed
$$;

SELECT pymeos_example();

アーティファクトリポジトリは、以下のような UDF およびストアドプロシージャクライアント APIs で使用できます。

• snowflake.snowpark.udf.UDFRegistration

• snowflake.snowpark.functions.sproc

使用する場合は、以下のパラメーターを指定してください。

• ARTIFACT_REPOSITORY

• ARTIFACT_REPOSITORY_PACKAGES

そして、 ARTIFACT_REPOSITORY_PACKAGES フィールドにパッケージ名を入力してください。

以下の例をご参照ください。

...
ARTIFACT_REPOSITORY="snowflake.snowpark.pypi_shared_repository",
ARTIFACT_REPOSITORY_PACKAGES=["urllib3", "requests"],
...

Copy

トラブルシューティング¶

関数またはプロシージャの作成部分でパッケージのインストールに失敗しました。以下のpipコマンドをローカルで実行して、パッケージの指定が有効かどうかを確認できます。

pip install <package name> --only-binary=:all: --python-version 3.9 –platform <platform_tag>

制限事項¶

• 現在、Snowflakeはバイナリ配布（ホイールファイル）のみを許可しています。

• プライベートリポジトリへのアクセスはサポートされていません。

• この機能はNotebooksでは直接使用できません。しかし、ノートブック内で PyPI パッケージを使用する UDF やストアドプロシージャを使用することはできます。

• 匿名ストアドプロシージャ内でアーティファクトレポを使用することはできません。

はじめるにあたり¶

Snowflake内でAnacondaが提供するパッケージの使用を開始する前に、 外部製品規約 に同意する必要があります。

1. Snowsight にサインインします。

2. Admin » Terms を選択します。

3. Anaconda セクションで、 Enable を選択します。

4. Anaconda Packages ダイアログで、リンクをクリックして 外部製品規約ページ を確認します。

5. 規約に同意する場合は、 Acknowledge & Continue を選択します。

外部提供条件 に同意しようとした際にエラーが発生した場合、ユーザープロファイルの姓、名、電子メールアドレスなどの情報が不足していることが原因である可能性があります。管理者権限がある場合は、 Snowsight を使用してプロファイルを更新する ユーザープロファイルにユーザー詳細を追加する を参照してください。または、アカウント管理者に連絡して アカウントを更新してください。

パッケージの表示と使用¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

コールドウェアハウスでのパフォーマンス¶

より効率的なリソース管理のために、新しくプロビジョニングされた仮想ウェアハウスにはAnacondaパッケージがプレインストールされていません。代わりに、Anacondaパッケージは、UDFが初めて使用されるときにオンデマンドでインストールされます。パッケージは、同じウェアハウスでの将来のUDF実行のためにキャッシュされます。ウェアハウスが一時停止されると、キャッシュは削除されます。これにより、最初にUDFを使用したとき、またはウェアハウスを再開した後に、パフォーマンスが低下する可能性があります。追加の遅延は約30秒になる可能性があります。

単一行予測によるパフォーマンス¶

Scikit-learnやTensorFlowなどの一部のデータサイエンスフレームワークは、単一行のML予測を行うときに遅くなる可能性があります。パフォーマンスを向上させるには、単一行の予測ではなくバッチ予測を実行します。これを行うためには、ベクトル化されたPython UDFs を使用することもできます。これを使用して、入力行をバッチで受け取るPython関数を定義できます。この関数では、機械学習またはデータサイエンスライブラリの動作が最適化されています。詳細については、 ベクトル化されたPython UDFs をご参照ください。

データサイエンスライブラリからのオンデマンドでのデータのダウンロード¶

NLTK、 Keras、 spaCy などの一部のデータサイエンスライブラリは、追加のコーパス、データ、またはモデルをオンデマンドでダウンロードする機能を提供します。

ただし、Snowflakeのセキュリティ上の制約により、オンデマンドダウンロードはPython UDFsでは機能しません。これにより、ネットワークアクセスやファイルへの書き込みなどの一部の機能が無効になります。

この問題を回避するには、データをローカル環境にダウンロードしてから、Snowflakeステージを介してUDFに提供します。

XGBoost¶

並列予測またはトレーニングのために UDF または UDTF で XGBoost を使用する場合は、各 XGBoost インスタンスの並行性数を1に設定する必要があります。これにより、Snowflake環境で実行するときにXGBoostが最適なパフォーマンスになるように構成されます。

例:

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

予測にTensorflow/Kerasを使用する場合は、Model.predictではなくModel.predict_on_batchを使用してください。

例:

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))