Entrepôts multi-clusters¶

Qu’est-ce qu’un entrepôt multi-clusters ?¶

Par défaut, un entrepôt virtuel se compose d’un seul cluster de ressources de calcul dont dispose l’entrepôt pour exécuter les requêtes. Au fur et à mesure que les requêtes sont soumises à un entrepôt, l’entrepôt alloue des ressources à chaque requête et commence à exécuter les requêtes. Si les ressources disponibles ne sont pas suffisantes pour exécuter toutes les requêtes soumises à l’entrepôt, Snowflake met les requêtes supplémentaires en file d’attente jusqu’à ce que les ressources nécessaires soient disponibles.

Avec les entrepôts multi-clusters, Snowflake prend en charge l’allocation, statique ou dynamique, de clusters supplémentaires afin de mettre à disposition un plus grand pool de ressources de calcul. Un entrepôt multi-clusters se définit en spécifiant les propriétés suivantes :

• Nombre maximal de clusters : supérieur à 1. La valeur la plus élevée que vous pouvez spécifier dépend de la taille de l’entrepôt. Pour connaître la limite supérieure du nombre de clusters pour chaque taille d’entrepôt, voir Limite supérieure du nombre de clusters pour un entrepôt multicluster (dans cette rubrique).

• Nombre minimal de clusters : égal ou inférieur au maximum.

De plus, les entrepôts multi-clusters prennent tous en charge les mêmes propriétés et actions que les entrepôts mono-clusters, y compris :

• La spécification d’une taille d’entrepôt.

• Le redimensionnement d’un entrepôt à tout moment.

• La suspension automatique d’un entrepôt en cours d’exécution pour cause d’inactivité ; notez que cela ne s’applique pas aux clusters individuels, mais à l’entrepôt multi-clusters entier.

• La reprise automatique d’un entrepôt virtuel mis en suspens lorsque de nouvelles requêtes sont soumises.

Exemples d’utilisation de crédit multi-clusters¶

Les quatre exemples suivants illustrent l’utilisation du crédit pour un entrepôt multi-clusters. Voir Utilisation du crédit d’entrepôt virtuel pour le nombre de crédits facturés par heure complète selon la taille de l’entrepôt.

Création d’un entrepôt multi-clusters¶

Vous pouvez créer un entrepôt multicluster dans Snowsight ou en utilisant SQL :

Snowsight:

Cliquez sur Admin » Warehouses » + Warehouse

1. Développez Advanced Options.

2. Cochez la case Multi-cluster Warehouse.

3. Dans le champ Max Clusters, sélectionnez une valeur supérieure à 1.

   Note

   Actuellement, la valeur la plus élevée que vous pouvez choisir dans Snowsight est 10. Les tailles maximales indiquées dans Limite supérieure du nombre de clusters pour un entrepôt multicluster s’appliquent uniquement aux commandes CREATE WAREHOUSE et ALTER WAREHOUSE dans SQL.

4. Dans le champ Min Clusters, sélectionnez éventuellement une valeur supérieure à 1.

5. Saisissez d’autres informations pour l’entrepôt, si nécessaire, et cliquez sur Create Warehouse.

SQL:

Exécutez une commande CREATE WAREHOUSE avec :

• MAX_CLUSTER_COUNT défini sur une valeur supérieure à 1. Pour connaître la valeur la plus élevée que vous pouvez spécifier en fonction de la taille de l’entrepôt, voir Limite supérieure du nombre de clusters pour un entrepôt multicluster (dans cette rubrique).

• MIN_CLUSTER_COUNT (facultatif) défini sur une valeur supérieure à 1.

Pour voir les informations sur les entrepôts multi-clusters que vous créez :

Snowsight:

Cliquez sur Admin » Warehouses.

La colonne Clusters affiche les clusters minimum et maximum pour chaque entrepôt, ainsi que le nombre de clusters en cours d’exécution si l’entrepôt est démarré. Vous pouvez trier la colonne Clusters par ordre décroissant pour faire apparaître les entrepôts multicluster en tête de liste.

Classic Console:

Cliquez sur Warehouses

SQL:

Exécutez une commande SHOW WAREHOUSES.

La sortie comprend trois colonnes (min_cluster_count, max_cluster_count, started_clusters) qui affichent les mêmes informations que celles fournies dans la colonne Clusters de l’interface Web.

Astuce

Si la sortie de SHOW WAREHOUSES est difficile à lire en raison du grand nombre de colonnes qu’elle contient, vous pouvez la faire suivre d’une autre requête qui n’inclura que les colonnes souhaitées, ainsi que d’autres clauses de filtrage et de tri. Utilisez une requête comme celle qui suit en l’adaptant à vos besoins. Les noms des colonnes sont mis entre guillemets car ils sont sensibles à la casse dans la sortie de SHOW WAREHOUSES.

-- Must do the SHOW first to produce the full result set.
SHOW WAREHOUSES;
-- result_scan() helps to customize a report using the result set from the previous query.
SELECT "name", "state", "size", "max_cluster_count", "started_clusters", "type"
  FROM TABLE(result_scan(-1))
  WHERE "state" IN ('STARTED','SUSPENDED')
  ORDER BY "type" DESC, "name";

Copy

Toutes les autres tâches pour les entrepôts multi-clusters (à l’exception des autres tâches décrites dans ce chapitre) sont identiques aux entrepôts mono-cluster

Définition de la politique de mise à l’échelle d’un entrepôt multi-clusters¶

Afin de faciliter le contrôle des crédits consommés par un entrepôt multicluster fonctionnant en mode Mise à l’échelle automatique, Snowflake propose des politiques de mise à l’échelle. Snowflake utilise les politiques de mise à l’échelle pour déterminer comment ajuster la capacité de votre entrepôt multicluster en démarrant ou en arrêtant des clusters de manière individuelle pendant que l’entrepôt est en cours d’exécution. Vous pouvez spécifier une politique de mise à l’échelle pour que Snowflake donne la priorité à la réponse et au débit pour les requêtes dans cet entrepôt, ou pour minimiser les coûts pour cet entrepôt.

La politique de mise à l’échelle d’un entrepôt multi-clusters ne s’applique que s’il fonctionne en mode Mise à l’échelle automatique. En mode Maximisé, tous les clusters fonctionnent simultanément, il n’est donc pas nécessaire de démarrer ou d’arrêter des clusters individuels.

Snowflake prend en charge les politiques de mise à l’échelle suivantes :

Vous pouvez paramétrer la politique de mise à l’échelle d’un entrepôt multicluster lors de sa création ou à tout moment par la suite, soit dans Snowsight, soit à l’aide de SQL :

Snowsight:

Lorsque vous sélectionnez Multi-cluster Warehouse sous Advanced Options dans la boîte de dialogue New Warehouse, vous pouvez sélectionner la politique de mise à l’échelle dans la liste déroulante Scaling Policy.

Pour un entrepôt multicluster existant, cliquez sur Admin » Warehouses. Sélectionnez ensuite Edit dans le menu More (…).

Dans le champ Scaling Policy, sélectionnez la valeur souhaitée dans la liste déroulante.

Astuce

La liste déroulante Scaling Policy ne s’affiche que lorsque l’entrepôt sélectionné est multicluster et que le nombre maximal de clusters est supérieur au nombre minimal de clusters.

Classic Console:

Cliquez sur :

• Warehouses » Create ou

• Warehouses » <warehouse_name> » Configure

Dans le champ Scaling Policy, sélectionnez la valeur souhaitée dans la liste déroulante.

SQL:

Exécutez une commande CREATE WAREHOUSE ou ALTER WAREHOUSE avec SCALING_POLICY définie sur la valeur désirée.

Par exemple, dans SQL :

CREATE WAREHOUSE mywh WITH MAX_CLUSTER_COUNT = 2, SCALING_POLICY = 'STANDARD';
ALTER WAREHOUSE mywh SET SCALING_POLICY = 'ECONOMY';

Copy

Augmentation ou diminution du nombre de clusters d’un entrepôt multi-clusters¶

Vous pouvez augmenter ou réduire les nombres maximal et minimal de clusters spécifiés pour un entrepôt à tout moment, même lorsque cet entrepôt est en cours d’exécution et qu’il exécute des instructions. Vous pouvez ajuster les nombres maximal et minimal de clusters d’un entrepôt dans Snowsight ou en utilisant SQL :

Snowsight:

Cliquez sur Admin » Warehouses.

Cliquez sur le nom de l’entrepôt pour voir ses propriétés et l’historique de ses activités. Sélectionnez Edit dans le menu More (…). Vous pouvez également désélectionner la case à cocher Multi-cluster Warehouse pour réinitialiser les nombres maximal et minimal de clusters à 1, transformant ainsi l’entrepôt en un entrepôt monocluster.

Classic Console:

Cliquez sur Warehouses » <warehouse_name> » Configure

SQL:

Exécutez une commande ALTER WAREHOUSE.

L’effet de la modification des clusters maximum et minimum pour un entrepôt en cours d’exécution dépend du mode d’exécution (Maximisé ou Mise à l’échelle automatique) :

• Maximisé :

  ↑ maximum et minimum:

  Le nombre de clusters indiqué démarre immédiatement.

  ↓ maximum et minimum:

  Le nombre de clusters indiqué qui s’arrête après avoir fini d’exécuter les instructions et que la période de suspension automatique est écoulée.

• Mise à l’échelle automatique :

  ↑ max:

  Si new_max_clusters > running_clusters, aucun changement jusqu’à ce que des clusters supplémentaires soient nécessaires.

  ↓ max:

  Si new_max_clusters < running_clusters, les clusters en excès s’arrêtent lorsqu’ils ont fini d’exécuter les instructions et que les conditions de la politique de mise à l’échelle sont remplies.

  ↑ min:

  Si new_min_clusters > running_clusters, les clusters supplémentaires sont démarrés automatiquement pour atteindre le minimum.

  ↓ min:

  Si new_min_clusters < running_clusters, les clusters en excès s’arrêtent lorsqu’ils ont fini d’exécuter les instructions et que les conditions de la politique de mise à l’échelle sont remplies.

Surveillance des entrepôts multi-clusters¶

Vous pouvez surveiller l’utilisation des entrepôts multi-clusters via l’interface Web :

Snowsight:

Cliquez sur Admin » Warehouses et sélectionnez un nom d’entrepôt.

Vous pouvez ainsi surveiller un entrepôt de manière précise, par exemple en visualisant les requêtes en cours d’exécution ou en file d’attente.

Vous pouvez également cliquer sur Monitoring » Query History. Cette page vous permet de voir l’activité des différents entrepôts de votre compte. Pour afficher l’activité d’un seul entrepôt, sélectionnez Warehouse dans le menu déroulant Filters. Choisissez ensuite un nom d’entrepôt dans la liste.

Classic Console:

Cliquez sur History

Lorsque vous surveillez un entrepôt multicluster, vous pouvez voir toutes les requêtes que cet entrepôt a traitées. Pour chaque requête, vous pouvez voir des détails tels que la durée de la requête, le nombre d’octets analysés et le nombre de lignes renvoyées. Vous pouvez également voir le cluster utilisé pour l’exécution de chaque instruction traitée par l’entrepôt. Pour choisir les détails à afficher, sélectionnez les éléments Cluster Number, Duration, Rows, et ainsi de suite dans le menu déroulant Columns.