サードパーティパッケージの使用¶

始めましょう¶

Snowflakeのデフォルトのアーティファクトリポジトリ（snowflake.snowpark.pypi_shared_repository）を使用して、PyPI パッケージに接続し、Snowpark UDFs とプロシージャ内にインストールします。

このリポジトリを使用する前に、アカウント管理者（ACCOUNTADMIN ロールが付与されているユーザー）から SNOWFLAKE.PYPI_REPOSITORY_USER データベースロールを自分のロールに付与してもらう必要があります。

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE some_user_role;

アカウント管理者は、アカウント内のすべてのユーザーにこのデータベースロールを付与することもできます。

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE PUBLIC;

このロールがあれば、リポジトリからパッケージをインストールできます。UDF を作成するときは、ARTIFACT_REPOSITORY パラメーターをアーティファクトリポジトリ名に設定します。また、PACKAGES パラメーターはアーティファクトリポジトリから派生するパッケージの名前のリストに設定します。次の例では、アーティファクトリポジトリが PyPI で構成されているため、パッケージ scikit-learn は PyPI をソースとしています。

CREATE OR REPLACE FUNCTION sklearn_udf()
  RETURNS FLOAT
  LANGUAGE PYTHON
  RUNTIME_VERSION = 3.12
  ARTIFACT_REPOSITORY = snowflake.snowpark.pypi_shared_repository
  PACKAGES = ('scikit-learn')
  HANDLER = 'udf'
  AS
$$
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

def udf():
  X, y = load_iris(return_X_y=True)
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

  model = RandomForestClassifier()
  model.fit(X_train, y_train)
  return model.score(X_test, y_test)
$$;

SELECT sklearn_udf();

PACKAGES = ('scikit-learn==1.5')

x86用にのみビルドされたパッケージ¶

パッケージがx86専用に構築されている場合は、次の例のように、x86 CPU アーキテクチャを使用するウェアハウス（MEMORY_1X_x86 または MEMORY_16X_x86）のいずれかを選択してから RESOURCE_CONSTRAINT=(architecture='x86') を指定します。

CREATE OR REPLACE FUNCTION pymeos_example()
RETURNS STRING
LANGUAGE PYTHON
HANDLER='main'
RUNTIME_VERSION='3.11'
ARTIFACT_REPOSITORY=snowflake.snowpark.pypi_shared_repository
PACKAGES=('pymeos') -- dependency pymeos-cffi is x86 only
RESOURCE_CONSTRAINT=(architecture='x86')
AS $$
def main() -> str:
   from pymeos import pymeos_initialize, pymeos_finalize, TGeogPointInst, TGeogPointSeq

   # Always initialize MEOS library
   pymeos_initialize()

   sequence_from_string = TGeogPointSeq(
      string='[Point(10.0 10.0)@2019-09-01 00:00:00+01, Point(20.0 20.0)@2019-09-02 00:00:00+01, Point(10.0 10.0)@2019-09-03 00:00:00+01]')

   sequence_from_points = TGeogPointSeq(instant_list=[TGeogPointInst(string='Point(10.0 10.0)@2019-09-01 00:00:00+01'),
        TGeogPointInst(string='Point(20.0 20.0)@2019-09-02 00:00:00+01'),
        TGeogPointInst(string='Point(10.0 10.0)@2019-09-03 00:00:00+01')],
          lower_inc=True, upper_inc=True)
   speed = sequence_from_points.speed()

   # Call finish at the end of your code
   pymeos_finalize()

   return speed
$$;

SELECT pymeos_example();

詳細については、 Snowpark用に最適化されたウェアハウス をご参照ください。

アーティファクトリポジトリは、以下のような UDF およびストアドプロシージャクライアント APIs で使用できます。

• snowflake.snowpark.udf.UDFRegistration

• snowflake.snowpark.functions.sproc

使用する場合は、以下のパラメーターを指定してください。

• ARTIFACT_REPOSITORY

• PACKAGES

そして、PACKAGES フィールドにパッケージ名を入力します。

次の例をご参照ください。

...
ARTIFACT_REPOSITORY="snowflake.snowpark.pypi_shared_repository",
PACKAGES=["urllib3", "requests"],
...

Copy

トラブルシューティング¶

関数またはプロシージャ作成部分のパッケージインストールが失敗した場合は、ローカルで次のpipコマンドを実行して、パッケージ仕様が有効かどうかを確認します。

pip install <package name> --only-binary=:all: --python-version 3.12 –platform <platform_tag>

制限事項¶

• プライベートリポジトリへのアクセスはサポートされていません。

• ノートブックではこの機能を直接使用することはできません。ただし、ノートブック内で PyPI を使用する UDF またはストアドプロシージャは使用できます。

• 匿名ストアドプロシージャ内でアーティファクトリポジトリを使用することはできません。

ライセンス規約¶

• Snowflake： 本ドキュメントに記載されているAnacondaの使用制限を含む、既存のSnowflakeカスタマー契約に準拠します。Snowflake内での使用については、Anacondaの個別の規約は適用されません。

• ローカル開発： Snowflakeの `Anaconda専用リポジトリから<https://repo.anaconda.com/pkgs/snowflake/>`_ ：Anacondaの組み込みエンドカスタマー規約およびリポジトリに掲載されたAnacondaの利用規約に準拠します。ローカルでの使用は、Snowflakeでのデプロイを想定したワークロードの開発／テストに限定されます。

ユーザーガイドライン¶

パッケージの検索と管理¶

必要なパッケージが見つかりませんか？

• Snowflakeアイデアフォーラム からリクエストを送信してください。

• 純粋なPythonパッケージ（コンパイルされた拡張機能なし）は、 Snowflakeステージに直接アップロード できます。

サポートとセキュリティ¶

パッケージの表示と使用¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

コールドウェアハウスでのパフォーマンス¶

より効率的なリソース管理のために、新しくプロビジョニングされた仮想ウェアハウスにはAnacondaパッケージがプレインストールされていません。代わりに、Anacondaパッケージは、UDFが初めて使用されるときにオンデマンドでインストールされます。パッケージは、同じウェアハウスでの将来のUDF実行のためにキャッシュされます。ウェアハウスが一時停止されると、キャッシュは削除されます。これにより、最初にUDFを使用したとき、またはウェアハウスを再開した後に、パフォーマンスが低下する可能性があります。追加の遅延は約30秒になる可能性があります。

単一行予測によるパフォーマンス¶

Scikit-learnやTensorFlowなどの一部のデータサイエンスフレームワークは、単一行のML予測を行うときに遅くなる可能性があります。パフォーマンスを向上させるには、単一行の予測ではなくバッチ予測を実行します。これを行うためには、ベクトル化されたPython UDFs を使用することもできます。これを使用して、入力行をバッチで受け取るPython関数を定義できます。この関数では、機械学習またはデータサイエンスライブラリの動作が最適化されています。詳細については、 ベクトル化されたPython UDFs をご参照ください。

データサイエンスライブラリからのオンデマンドでのデータのダウンロード¶

NLTK、 Keras、 spaCy などの一部のデータサイエンスライブラリは、追加のコーパス、データ、またはモデルをオンデマンドでダウンロードする機能を提供します。

ただし、Snowflakeのセキュリティ上の制約により、オンデマンドダウンロードはPython UDFsでは機能しません。これにより、ネットワークアクセスやファイルへの書き込みなどの一部の機能が無効になります。

この問題を回避するには、データをローカル環境にダウンロードしてから、Snowflakeステージを介してUDFに提供します。

XGBoost¶

並列予測またはトレーニングのために UDF または UDTF で XGBoost を使用する場合は、各 XGBoost インスタンスの並行性数を1に設定する必要があります。これにより、Snowflake環境で実行するときにXGBoostが最適なパフォーマンスになるように構成されます。

例:

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

予測にTensorflow/Kerasを使用する場合は、Model.predictではなくModel.predict_on_batchを使用してください。

例:

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))