Verwenden von Drittanbieter-Paketen¶

Erste Schritte¶

Bevor Sie die von Anaconda in Snowflake bereitgestellten Pakete verwenden können, müssen Sie die Snowflake-Bedingungen für Drittanbieter anerkennen, indem Sie die folgenden Schritte ausführen.

1. Melden Sie sich bei Snowsight, der Snowflake-Weboberfläche, an.

2. Klicken Sie auf das Dropdown-Menü neben Ihrem Anmeldenamen, und klicken Sie dann auf Switch Role » ORGADMIN, um zur Rolle des Organisationsadministrators zu wechseln.

3. Klicken Sie auf Admin » Billing » Terms & Billing.

4. Scrollen Sie zum Abschnitt Anaconda, und klicken Sie auf die Schaltfläche Enable. Das Dialogfenster Anaconda Packages (Preview Feature) wird geöffnet.

5. Klicken Sie auf den Link, um die Snowflake-Bedingungen für Drittanbieter zu prüfen.

6. Wenn Sie mit den Bedingungen einverstanden sind, klicken Sie auf die Schaltfläche Acknowledge & Continue.

Anzeigen und Verwenden von Paketen¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

Performance von Warehouses im kalten Zustand¶

Für eine effizientere Ressourcenverwaltung werden neu eingerichtete virtuelle Warehouses nicht mit Anaconda-Paketen vorinstalliert. Stattdessen werden die Anaconda-Pakete bei Bedarf installiert, wenn eine UDF erstmals verwendet wird. Die Pakete werden für eine spätere UDF-Ausführung im selben Warehouse im Cache zwischengespeichert. Der Cache wird gelöscht, wenn das Warehouse angehalten wird. Dies kann bei der erstmaligen Verwendung einer UDF oder nach dem Fortsetzen des Warehouses zu einer langsameren Performance führen. Die zusätzliche Latenz könnte etwa 30 Sekunden betragen.

Performance bei einzeiligen Vorhersagen¶

Einige Data Science-Frameworks wie Scikit-learn und TensorFlow können bei einzeiligen ML-Vorhersagen langsam sein.

Um die Leistung zu verbessern, führen Sie anstelle einer einzeiligen Vorhersage eine Batchvorhersage aus. Konvertieren Sie dazu das Eingabe-Dataset in Snowflake-Arrays, und stellen Sie die Arrays im Vorhersagecode bereit. Die Batchverarbeitung kann mit tabellarischen Python-UDTFs, mit der ARRAY_AGG-Funktion Tabellarische Java-UDFs (UDTFs) oder mit Tabellarische JavaScript-UDFs (UDTFs) erfolgen.

Sie können auch die Python-UDF-Batch-API verwenden, um Python-Funktionen zu definieren, die Eingabezeilen in Batches empfangen, die für maschinelles Lernen und Data Science optimiert sind. Weitere Informationen dazu finden Sie unter Python-UDF-Batch-API.

Herunterladen von Daten auf Abruf aus Data Science-Bibliotheken¶

Einige Data Science-Bibliotheken wie NLTK, Keras und spaCy bieten Funktionen, mit denen bei Bedarf zusätzlicher Korpora, Daten und Modelle heruntergeladen werden können.

Das Herunterladen auf Abruf funktioniert jedoch bei Python-UDFs nicht, da einige Funktionen wie der Netzwerkzugang und das Schreiben in Dateien aufgrund von Snowflake-Sicherheitseinschränkungen deaktiviert sind.

Um dieses Problem zu umgehen, laden Sie die Daten in Ihre lokale Umgebung herunter, und stellen Sie diese dann der UDF über einen Snowflake-Stagingbereich bereit.

XGBoost¶

Bei Verwendung von XGBoost in einer UDF oder UDTF für parallele Vorhersagen oder Training muss die Parallelität für jede XGBoost-Instanz auf 1 gesetzt werden. Dadurch wird sichergestellt, dass XGBoost bei der Ausführung in der Snowflake-Umgebung für eine optimale Performance konfiguriert ist.

Beispiele:

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

Wenn Sie Tensorflow/Keras für die Vorhersage verwenden, benutzen Sie Model.predict_on_batch und nicht Model.predict.

Beispiel:

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))