Verwenden von Drittanbieter-Paketen¶

Erste Schritte¶

Verwenden Sie die Artifact Repository-Standardoption von Snowflake (snowflake.snowpark.pypi_shared_repository) zum Verbinden und Installieren von PyPI-Paketen innerhalb von Snowpark-UDFs und -Prozeduren.

Bevor Sie dieses Repository verwenden, muss der Kontoadministrator (ein Benutzer, dem die ACCOUNTADMIN-Rolle erteilt wurde) die Datenbankrolle SNOWFLAKE PYPI_REPOSITORY_USER für Ihre Rolle zuweisen:

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE some_user_role;

Der Kontoadministrator kann diese Datenbankrolle auch allen Benutzern des Kontos zuweisen:

GRANT DATABASE ROLE SNOWFLAKE.PYPI_REPOSITORY_USER TO ROLE PUBLIC;

Mit dieser Rolle können Sie das Paket aus dem Repository installieren. Wenn Sie die UDF erstellen, legen Sie den ARTIFACT_REPOSITORY-Parameter für den Namen des Artifact Repository fest. Sie legen auch den PACKAGES-Parameter für die Liste der Namen der Pakete fest, die aus dem Artifact Repository stammen werden. Im folgenden Beispiel ist das Artifact Repository mit PyPI konfiguriert. Daher stammt das Paket scikit-learn von PyPI:

CREATE OR REPLACE FUNCTION sklearn_udf()
  RETURNS FLOAT
  LANGUAGE PYTHON
  RUNTIME_VERSION = 3.12
  ARTIFACT_REPOSITORY = snowflake.snowpark.pypi_shared_repository
  PACKAGES = ('scikit-learn')
  HANDLER = 'udf'
  AS
$$
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

def udf():
  X, y = load_iris(return_X_y=True)
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

  model = RandomForestClassifier()
  model.fit(X_train, y_train)
  return model.score(X_test, y_test)
$$;

SELECT sklearn_udf();

PACKAGES = ('scikit-learn==1.5')

Pakete, die nur für x86 erstellt wurden¶

Wenn ein Paket nur für x86 erstellt wurde, wählen Sie eines der Warehouses aus, das x86 verwendet CPU -Architektur — MEMORY_1X_x86 oder MEMORY_16X_x86 und dann geben Sie RESOURCE_CONSTRAINT=(architecture='x86') an, wie im folgenden Beispiel:

CREATE OR REPLACE FUNCTION pymeos_example()
RETURNS STRING
LANGUAGE PYTHON
HANDLER='main'
RUNTIME_VERSION='3.11'
ARTIFACT_REPOSITORY=snowflake.snowpark.pypi_shared_repository
PACKAGES=('pymeos') -- dependency pymeos-cffi is x86 only
RESOURCE_CONSTRAINT=(architecture='x86')
AS $$
def main() -> str:
   from pymeos import pymeos_initialize, pymeos_finalize, TGeogPointInst, TGeogPointSeq

   # Always initialize MEOS library
   pymeos_initialize()

   sequence_from_string = TGeogPointSeq(
      string='[Point(10.0 10.0)@2019-09-01 00:00:00+01, Point(20.0 20.0)@2019-09-02 00:00:00+01, Point(10.0 10.0)@2019-09-03 00:00:00+01]')

   sequence_from_points = TGeogPointSeq(instant_list=[TGeogPointInst(string='Point(10.0 10.0)@2019-09-01 00:00:00+01'),
        TGeogPointInst(string='Point(20.0 20.0)@2019-09-02 00:00:00+01'),
        TGeogPointInst(string='Point(10.0 10.0)@2019-09-03 00:00:00+01')],
          lower_inc=True, upper_inc=True)
   speed = sequence_from_points.speed()

   # Call finish at the end of your code
   pymeos_finalize()

   return speed
$$;

SELECT pymeos_example();

Weitere Informationen dazu finden Sie unter Snowpark-optimierte Warehouses.

Sie können Artifact Repository mit UDF und den Stored Procedure Client-APIs verwenden:

• snowflake.snowpark.udf.UDFRegistration

• snowflake.snowpark.functions.sproc

Wenn Sie sie verwenden, geben Sie die folgenden Parameter an:

• ARTIFACT_REPOSITORY

• PACKAGES

und geben den Paketnamen im Feld PACKAGES an.

Siehe folgendes Beispiel:

...
ARTIFACT_REPOSITORY="snowflake.snowpark.pypi_shared_repository",
PACKAGES=["urllib3", "requests"],
...

Copy

Problembehandlung¶

Wenn die Paketinstallation für den Teil mit der Erstellung der Funktion oder Prozedur fehlschlägt, führen Sie den folgenden pip-Befehl lokal aus, um zu sehen, ob die Paketspezifikation gültig ist:

pip install <package name> --only-binary=:all: --python-version 3.12 –platform <platform_tag>

Einschränkungen¶

• Der Zugriff auf private Repositorys wird nicht unterstützt.

• Sie können dieses Feature nicht direkt in Notebooks verwenden. Sie können jedoch eine UDF oder eine gespeicherte Prozedur verwenden, die PyPI-Pakete innerhalb eines Notizbuchs nutzt.

• Sie können Artifact Repository nicht innerhalb von anonymen gespeicherten Prozeduren verwenden.

Lizenzbedingungen¶

• In Snowflake: Geregelt durch Ihre bestehende Snowflake-Kundenvereinbarung, einschließlich der in dieser Dokumentation beschriebenen Anaconda-Nutzungsbeschränkungen. Für die Verwendung in Snowflake gelten keine separaten Anaconda-Bedingungen.

• Lokale Entwicklung: Über das dedizierte Anaconda-Repository von Snowflake: Vorbehaltlich der Bedingungen für eingebettete Endkunden von Anaconda und der Nutzungsbedingungen von Anaconda, die im Repository veröffentlicht wurden. Die lokale Verwendung ist auf das Entwickeln/Testen von Workloads beschränkt, die für die Bereitstellung in Snowflake vorgesehen sind.

Benutzerrichtlinien¶

Suchen und Verwalten von Paketen¶

Sie können das Paket, das Sie benötigen, nicht finden?

• Übermitteln Sie Anfragen über das Snowflake-Ideen-Forum.

• Reine Python-Pakete (ohne kompilierte Erweiterungen) können direkt in einen Snowflake-Stagingbereich hochgeladen werden.

Support und Sicherheit¶

Anzeigen und Verwenden von Paketen¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

Performance von Warehouses im kalten Zustand¶

Für eine effizientere Ressourcenverwaltung werden neu eingerichtete virtuelle Warehouses nicht mit Anaconda-Paketen vorinstalliert. Stattdessen werden die Anaconda-Pakete bei Bedarf installiert, wenn eine UDF erstmals verwendet wird. Die Pakete werden für eine spätere UDF-Ausführung im selben Warehouse im Cache zwischengespeichert. Der Cache wird gelöscht, wenn das Warehouse angehalten wird. Dies kann bei der erstmaligen Verwendung einer UDF oder nach dem Fortsetzen des Warehouses zu einer langsameren Performance führen. Die zusätzliche Latenz könnte etwa 30 Sekunden betragen.

Performance bei einzeiligen Vorhersagen¶

Einige Data Science-Frameworks wie Scikit-learn und TensorFlow können bei einzeiligen ML-Vorhersagen langsam sein. Um die Leistung zu verbessern, führen Sie anstelle einer einzeiligen Vorhersage eine Batchvorhersage aus. Dazu können Sie vektorisiertes Python-UDFs verwenden, um Python-Funktionen zu definieren, die Eingabezeilen in Batches empfangen, die für maschinelles Lernen und Data Science optimiert sind. Weitere Informationen dazu finden Sie unter Vektorisierte Python-UDFs.

Herunterladen von Daten auf Abruf aus Data Science-Bibliotheken¶

Einige Data Science-Bibliotheken wie NLTK, Keras und spaCy bieten Funktionen, mit denen bei Bedarf zusätzlicher Korpora, Daten und Modelle heruntergeladen werden können.

Das Herunterladen auf Abruf funktioniert jedoch bei Python-UDFs nicht, da einige Funktionen wie der Netzwerkzugang und das Schreiben in Dateien aufgrund von Snowflake-Sicherheitseinschränkungen deaktiviert sind.

Um dieses Problem zu umgehen, laden Sie die Daten in Ihre lokale Umgebung herunter, und stellen Sie diese dann der UDF über einen Snowflake-Stagingbereich bereit.

XGBoost¶

Bei Verwendung von XGBoost in einer UDF oder UDTF für parallele Vorhersagen oder Training muss die Parallelität für jede XGBoost-Instanz auf 1 gesetzt werden. Dadurch wird sichergestellt, dass XGBoost bei der Ausführung in der Snowflake-Umgebung für eine optimale Performance konfiguriert ist.

Beispiele:

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

Wenn Sie Tensorflow/Keras für die Vorhersage verwenden, benutzen Sie Model.predict_on_batch und nicht Model.predict.

Beispiel:

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))