Entrepôts optimisés pour Snowpark

Cette rubrique explique comment créer et utiliser des entrepôts optimisés pour Snowpark qui offrent 16x de mémoire par nœud par rapport à un entrepôt virtuel Snowflake standard.

Dans ce chapitre :

Introduction

Quand utiliser un entrepôt optimisé pour Snowpark ?

Les charges de travail Snowpark peuvent être exécutées sur les entrepôts standard et optimisés pour Snowpark. Les entrepôts optimisés pour Snowpark sont recommandés pour les charges de travail qui ont de gros besoins en mémoire, comme les cas d’utilisation de formation ML utilisant une procédure stockée sur un seul nœud d’entrepôt virtuel. En outre, les charges de travail Snowpark, qui utilisent des UDF ou des UDTF, peuvent également bénéficier d’entrepôts optimisés pour Snowpark.

Création d’un entrepôt optimisé pour Snowpark

Cet aperçu introduit une nouvelle propriété warehouse_type à la commande CREATE WAREHOUSE.

Créer un nouvel entrepôt optimisé pour Snowpark snowpark_opt_wh :

CREATE OR REPLACE WAREHOUSE snowpark_opt_wh WITH
  WAREHOUSE_SIZE = 'MEDIUM'
  WAREHOUSE_TYPE = 'SNOWPARK-OPTIMIZED';

Astuce

Pour maximiser les ressources du CPU et de la mémoire lors de l’exécution d’UDFs Snowpark ou de procédures stockées, définissez le paramètre MAX_CONCURRENCY_LEVEL pour votre entrepôt lorsque vous utilisez la commande CREATE WAREHOUSE ou ALTER WAREHOUSE. Par exemple :

alter warehouse snowpark_opt_wh set max_concurrency_level = 1;

Pour vérifier que les ressources de calcul de votre entrepôt ont été entièrement provisionnées, utilisez SHOW WAREHOUSES pour vérifier state.

Modification des propriétés de l’entrepôt optimisé pour Snowpark

La commande ALTER WAREHOUSE peut être utilisée pour modifier les propriétés de l’entrepôt, y compris le type d’entrepôt.

Note

La modification du type d’entrepôt à l’aide de la commande ALTER WAREHOUSE n’est prise en charge que pour un entrepôt à l’état SUSPENDED. Pour suspendre un entrepôt avant de modifier la propriété warehouse_type, exécutez l’instruction suivante :

ALTER WAREHOUSE snowpark_opt_wh SUSPEND;

Utiliser les procédures stockées de Snowpark Python pour exécuter des charges de travail de formation ML

Pour des informations sur les modèles de machine learning et sur Snowpark Python, voir Formation de modèles de machine learning avec Snowpark Python.

Facturation des entrepôts optimisés pour Snowpark

Le tableau suivant indique les crédits Snowflake facturés à l’heure pour un entrepôt virtuel optimisé pour Snowpark, en fonction de la taille de l’entrepôt. Pour plus de détails sur l’utilisation du crédit de l’entrepôt virtuel, voir Utilisation du crédit d’entrepôt virtuel.

X-Small

Small

Medium

Large

X-Large

2X-Large

3X-Large

4X-Large

5X-Large

6X-Large

Crédits/heure

s/o

s/o

6

12

24

48

96

192

384

768

Disponibilité de la région

Des entrepôts optimisés pour Snowpark sont disponibles dans les régions suivantes :

AWS

  • us-east-1

  • us-west-2

  • eu-west-1

  • eu-central-1

  • ap-south-1

  • ap-northeast-1

  • ap-southeast-1

  • ap-southeast-2

  • us-east-2

Azure

  • eastus2

  • westus

  • westeurope

  • australiaeast

  • japaneast

Google Cloud :

  • us-central-1

Limites connues

  • La création initiale et la reprise d’un entrepôt virtuel optimisé pour Snowpark peuvent prendre plus de temps que les entrepôts standard.

  • Certains algorithmes Scikit-learn peuvent ne pas utiliser toutes les ressources disponibles dans un entrepôt optimisé pour Snowpark.

  • Les entrepôts optimisés pour Snowpark ne prennent pas en charge l’accélération des requêtes.

  • Les entrepôts optimisés pour Snowpark ne sont pas pris en charge pour les tailles d’entrepôts XSMall ou SMALL.

Revenir au début