Utilisation de paquets tiers¶

Prise en main¶

Avant de commencer à utiliser les paquets fournis par Anaconda dans Snowflake, vous devez accepter les conditions des offres externes.

1. Connectez-vous à Snowsight.

2. Sélectionnez Admin » Billing & Terms.

3. Dans la section Anaconda, sélectionnez Enable.

4. Dans la boîte de dialogue Anaconda Packages , cliquez sur le lien pour consulter la page des conditions des offres externes.

5. Si vous acceptez les conditions, sélectionnez Acknowledge & Continue.

Si une erreur apparaît lorsque vous essayez d’accepter les conditions d’utilisation, il se peut qu’il manque un prénom, un nom ou une adresse e-mail dans votre profil d’utilisateur. Si vous avez un rôle d’administrateur, reportez-vous aux Ajouter des détails sur l’utilisateur à votre profil d’utilisateur pour mettre à jour votre profil à l’aide de Snowsight. Sinon, contactez un administrateur pour mettre à jour votre compte.

Affichage et utilisation des paquets¶

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

Performance des entrepôts froids¶

Pour une gestion plus efficace des ressources, les entrepôts virtuels nouvellement provisionnés ne préinstallent pas les paquets Anaconda. Au lieu de cela, les paquets Anaconda sont installés à la demande la première fois qu’une UDF est utilisée. Les paquets sont mis en cache pour une exécution UDF future sur le même entrepôt. Le cache est détruit lorsque l’entrepôt est suspendu. Cela peut entraîner un ralentissement des performances la première fois qu’une UDF est utilisée ou après la reprise de l’entrepôt. La latence supplémentaire pourrait être d’environ 30 secondes.

Performance avec la prédiction sur une seule ligne¶

Certains frameworks de data science, tels que Scikit-learn et TensorFlow, peuvent être lents lors de la prédiction ML sur une seule ligne.

Pour améliorer les performances, effectuez une prédiction par lot plutôt qu’une prédiction sur une seule ligne. Pour ce faire, convertissez l’ensemble de données d’entrée en tableaux Snowflake et introduisez ces tableaux dans le code de prédiction. La mise en lots peut être effectuée avec des UDTFs tabulaires Python, la fonction ARRAY_AGG, UDFs Java tabulaires (UDTFs) ou UDFs JavaScript tabulaires (UDTFs).

Vous pouvez également utiliser les UDFs vectorisées Python, avec lesquelles vous pouvez définir des fonctions Python qui reçoivent des lignes d’entrée par lots, sur lesquelles les bibliothèques de machine learning ou de science des données sont optimisées pour fonctionner. Pour plus d’informations, voir UDFs Python vectorisées.

Téléchargement de données à la demande depuis les bibliothèques de Data Science¶

Certaines bibliothèques de Data Science, telles que NLTK, Keras et spaCy offrent une fonctionnalité permettant de télécharger des corpus, des données ou des modèles supplémentaires à la demande.

Cependant, le téléchargement à la demande ne fonctionne pas avec les UDFs Python en raison des contraintes de sécurité de Snowflake, qui désactivent certaines capacités, comme l’accès au réseau et l’écriture dans les fichiers.

Pour contourner ce problème, téléchargez les données dans votre environnement local, puis fournissez-les à l’UDF via une zone de préparation Snowflake.

XGBoost¶

Lors de l’utilisation de XGBoost dans une UDF ou une UDTF pour la prédiction ou l’apprentissage en parallèle, la concurrence pour chaque instance XGBoost doit être définie sur 1. Cela garantit que XGBoost est configuré pour une performance optimale lors de l’exécution dans l’environnement Snowflake.

Exemples :

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

TensorFlow/Keras¶

Lorsque vous utilisez Tensorflow/Keras pour la prédiction, utilisez Model.predict_on_batch et non Model.predict.

Exemple :

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))