Compréhension de l’utilisation de l’entrepôt virtuel, du stockage et des services Cloud

.

Rubriques connexes

Snowflake apporte une flexibilité et une évolutivité sans précédent à l’entreposage de données. Le but de la tarification de Snowflake est d’offrir ces capacités à un faible coût et de la façon la plus simple possible.

L’architecture Cloud de Snowflake sépare l’entreposage de données en trois fonctions distinctes : ressources de calcul (implémentées comme entrepôts virtuels), stockage de données et services Cloud. Les coûts associés à l’utilisation de Snowflake sont basés sur votre utilisation de chacune de ces fonctions.

Dans ce chapitre :

Utilisation du crédit d’entrepôt virtuel

Un entrepôt virtuel est un ensemble de ressources qui permet d’exécuter des requêtes, de charger des données et d’effectuer d’autres opérations DML. Les crédits Snowflake sont utilisés pour payer le temps de traitement utilisé par chaque entrepôt virtuel.

Les crédits Snowflake sont facturés en fonction du nombre d’entrepôts virtuels que vous utilisez, de leur durée de fonctionnement et de leur taille.

Les entrepôts existent en dix tailles. La taille spécifie les ressources de calcul disponibles pour l’entrepôt. Chaque fois que l’on passe à l’entrepôt immédiatement supérieur, la puissance de calcul et le nombre de crédits facturés à l’heure sont approximativement doublés pour l’entrepôt :

X-Small

Small

Medium

Large

X-Large

2X-Large

3X-Large

4X-Large

5X-Large 1

6X-Large 1

Crédits/heure

1

2

4

8

16

32

64

128

256

512
1(1,2)

Les entrepôts de plus grande taille (5X-Large et 6X-Large) sont actuellement en avant-première et uniquement disponibles sur Amazon Web Services (AWS). Pendant la phase de prévisualisation, le provisionnement de ces grands entrepôts peut prendre un peu plus de temps.

Important

Les entrepôts ne sont facturés que pour l’utilisation du crédit pendant leur fonctionnement. Lorsqu’un entrepôt est suspendu, il n’utilise aucun crédit.

Les nombres de crédits indiqués ci-dessus correspondent à une heure complète d’utilisation ; cependant, les crédits sont facturés à la seconde, avec un minimum de 60 secondes (c.-à-d. 1 minute) :

  • Chaque fois qu’un entrepôt est démarré ou repris, l’entrepôt est facturé pour 1 minute d’utilisation sur la base du taux horaire indiqué ci-dessus.

  • Chaque fois qu’un entrepôt est redimensionné à une taille supérieure, l’entrepôt est facturé pour 1 minute d’utilisation ; toutefois, le nombre de crédits facturés ne concerne que les ressources de calcul supplémentaires qui sont fournies. Par exemple, le redimensionnement de Small (2 crédits/heure) à Medium (4 crédits/heure) entraîne la facturation de 1 minute de 2 crédits supplémentaires.

  • Après 1 minute, toute facturation ultérieure se fait à la seconde tant que l’entrepôt fonctionne en continu.

  • Suspendre puis reprendre un entrepôt dans la première minute entraîne des frais multiples car le minimum de 1 minute recommence à chaque fois qu’un entrepôt est repris.

  • Le redimensionnement d’un entrepôt de 5X-Large ou 6X-Large à 4X-Large (ou plus petit) entraîne une brève période pendant laquelle l’entrepôt est facturé à la fois pour les nouvelles ressources de calcul et les anciennes ressources pendant que les anciennes ressources sont mises au repos.

Pour plus de détails, voir Aperçu des entrepôts et Remarques sur les entrepôts virtuels.

Visualiser l’utilisation du crédit d’entrepôt pour votre compte

Les utilisateurs ayant le rôle ACCOUNTADMIN peuvent utiliser Snowsight, l”classic web interface, ou SQL pour voir l’utilisation mensuelle et quotidienne du crédit relatif à tous les entrepôts de votre compte.

Pour visualiser l’utilisation du crédit d’entrepôt pour votre compte :

Snowsight

Select Admin » Usage.

Note

La page Usage interroge les vues Account Usage (dans la base de données partagée SNOWFLAKE) pour récupérer vos données d’utilisation actuelles. Sélectionnez un entrepôt afin de fournir des ressources de calcul pour les requêtes. Nous vous recommandons de choisir un entrepôt XS (très petit) à cette fin.

Classic Web Interface

Cliquez sur Account Account tab » Billing & Usage.

SQL

Interrogez l’un des éléments suivants :

Utilisation du crédit des services Cloud

La couche de services Cloud constitue un ensemble de services qui coordonnent les activités dans Snowflake. Ces services relient tous les différents composants de Snowflake afin de traiter les demandes des utilisateurs, de la connexion à l’envoi des requêtes. La couche de services Cloud s’exécute également sur des instances de calcul fournies par Snowflake à partir du fournisseur Cloud.

Services compris dans cette couche :

  • Authentification

  • Gestion de l’infrastructure

  • Gestion des métadonnées

  • Analyse syntaxique et optimisation des requêtes

  • Contrôle d’accès

  • SQL API

Comme pour l’utilisation de l’entrepôt virtuel, les crédits Snowflake sont utilisés pour payer l’utilisation des services Cloud qui dépasse 10 % de l’utilisation quotidienne des ressources de calcul.

L’utilisation des services Cloud n’est facturée que si la consommation quotidienne de services Cloud dépasse 10 % de l’utilisation quotidienne des ressources de calcul. La redevance est calculée quotidiennement (dans le fuseau horaire UTC). Cela garantit que l’ajustement de 10 % est appliqué avec précision chaque jour, au prix du crédit pour cette journée.

Comprendre la facturation pour l’utilisation des services Cloud

  • L’ajustement de 10 % pour les services Cloud est calculé quotidiennement (dans le fuseau horaire UTC) en multipliant le calcul quotidien par 10 %.

  • L’ajustement sur l’instruction d’utilisation mensuelle est égal à la somme de ces calculs quotidiens.

  • Si la consommation de services Cloud est inférieure à 10 % des crédits de calcul un jour donné, l’ajustement pour ce jour est égal aux services Cloud utilisés par votre compte. L’ajustement quotidien ne dépassera jamais l’utilisation réelle des services Cloud pour cette journée. Ainsi, l’ajustement mensuel total peut être nettement inférieur à 10 %.

Par exemple :

Date

Crédits de calcul utilisés

Crédit des services Cloud utilisés

Ajustement du crédit pour les services Cloud (moins de 10 % des services de calcul ou Cloud)

Crédits facturés (somme du calcul, des services Cloud et de l’ajustement)

Nov 1

100

20

-10

110

Nov 2

120

10

-10

120

Nov 3

80

5

-5

80

Nov 4

100

13

-10

103

Total

400

48

-35

413

Affichage de l’utilisation des crédits des services Cloud

Les utilisateurs ayant un rôle ACCOUNTADMIN peuvent utiliser Snowsight, l”classic web interface, ou SQL pour voir l’utilisation du crédit des services Cloud quotidiennement et mensuellement par entrepôt et par tâche.

Pour afficher l’utilisation du crédit des services Cloud pour votre compte :

Snowsight

Select Admin » Usage.

Note

La page Usage interroge les vues Account Usage (dans la base de données partagée SNOWFLAKE) pour récupérer vos données d’utilisation actuelles. Sélectionnez un entrepôt afin de fournir des ressources de calcul pour les requêtes. Nous vous recommandons de choisir un entrepôt XS (très petit) à cette fin.

Classic Web Interface

Cliquez sur Account Account tab » Billing & Usage

SQL

ACCOUNT_USAGE:

INFORMATION_SCHEMA:

Note

L’ajustement pour les services Cloud inclus (jusqu’à 10 % du calcul) est affiché uniquement sur l’instruction d’utilisation mensuelle et dans la vue METERING_DAILY_HISTORY. Les informations visualisables dans l’UI et dans la vue WAREHOUSE_METERING_HISTORY ne prendront pas en compte cet ajustement et peuvent donc être supérieures à votre consommation de crédit réelle.

Les crédits de services Cloud au niveau du compte n’apparaissent que dans la vue METERING_HISTORY et dans la vue WAREHOUSE_METERING_HISTORY.

Comment savoir d’où vient votre utilisation des services Cloud

Utilisez les requêtes suivantes pour examiner votre utilisation des services Cloud.

Historique des requêtes

Exemple : trouver des requêtes par type qui consomment le plus de crédits de services Cloud

-- The current role must have access to the account usage share
use schema snowflake.account_usage;

select query_type, sum(credits_used_cloud_services) cs_credits, count(1) num_queries
from query_history
where true
and start_time >= timestampadd(day, -1, current_timestamp)
group by 1
order by 2 desc
limit 10;

Exemple : trouver des requêtes d’un type donné qui consomment le plus de crédits de services Cloud

-- The current role must have access to the account usage share
use schema snowflake.account_usage;

select *
from query_history
where true
  and start_time >= timestampadd(day, -1, current_timestamp)
  and query_type = 'COPY'
order by credits_used_cloud_services desc
limit 10;

Example : trier par différents composants d’utilisation des services Cloud

-- The current role must have access to the account usage share
use schema snowflake.account_usage;

select *
from query_history
where true
  and start_time >= timestampadd(minute, -60, current_timestamp)
  and query_type = 'COPY'   --- optional
order by compilation_time desc,
               execution_time desc,
               list_external_files_time desc,
               queued_overload_time desc,
               credits_used_cloud_services desc
limit 10;

Historique de l’entrepôt

Exemple : trouver des entrepôts qui consomment le plus de crédits de services Cloud

-- The current role must have access to the account usage share
use schema snowflake.account_usage;

select warehouse_name,
       sum(credits_used_cloud_services) credits_used_cloud_services,
       sum(credits_used_compute) credits_used_compute,
       sum(credits_used) credits_used
from warehouse_metering_history
where true
  and start_time >= timestampadd(day, -1, current_timestamp)
group by 1
order by 2 desc
limit 10;

Utilisation du stockage des données

Le stockage des données est calculé mensuellement en fonction du nombre moyen d’octets sur disque pour toutes les données stockées chaque jour dans votre compte Snowflake, y compris :

  • Les fichiers stockés dans des emplacements Snowflake (c.-à-d. zones de préparation utilisateur et table ou zones de préparation internes nommées) pour le chargement/déchargement de données en lot. L’utilisateur qui prépare un fichier peut choisir ou non de le compresser afin de réduire le stockage.

  • Les données stockées dans des tables de la base de données, y compris les données historiques gérées pour Time Travel. Snowflake compresse automatiquement toutes les données stockées dans les tables et utilise la taille du fichier compressé pour calculer le stockage total utilisé pour un compte.

  • Les données historiques sont conservées pour Fail-safe.

Les coûts mensuels de stockage des données dans Snowflake sont basés sur un taux forfaitaire par téraoctet (TB). Le montant facturé par TB dépend de votre type de compte (Capacité ou Sur demande) et de votre région (US ou EU). Pour connaître les tarifs du stockage de données, voir la page Tarifs (sur le site Web de Snowflake).

Affichage de l’utilisation des données de votre compte

Les utilisateurs ayant le rôle ACCOUNTADMIN peuvent utiliser Snowsight, l”classic web interface, ou SQL pour voir la moyenne mensuelle et quotidienne du stockage de données (en octets) de votre compte.

Pour voir le stockage des données (pour les tables, les zones de préparation et Fail-safe) de votre compte :

Snowsight

Select Admin » Usage.

Note

La page Usage interroge les vues Account Usage (dans la base de données partagée SNOWFLAKE) pour récupérer vos données d’utilisation actuelles. Sélectionnez un entrepôt afin de fournir des ressources de calcul pour les requêtes. Nous vous recommandons de choisir un entrepôt XS (très petit) à cette fin.

Classic Web Interface

Cliquez sur Account Account tab » Billing & Usage.

SQL

Interrogez les éléments suivants (au choix) :

Affichage de l’utilisation des données d’une table

Les utilisateurs disposant des privilèges d’accès appropriés peuvent utiliser l’interface Web ou SQL pour afficher la taille (en octets) de tables individuelles dans un schéma/une base de données :

Snowsight

Select Data » Databases.

Sur le côté gauche de la page Databases, vous pouvez accéder au navigateur d’objets de la base de données. Développez une base de données, puis n’importe quel schéma de la base de données. Cliquez sur n’importe quelle table pour afficher les statistiques de la table, y compris sa taille.

Classic Web Interface

Cliquez sur Databases Databases tab » <nom_bdd> » Tables

SQL

Exécutez une commande SHOW TABLES .

De plus, les utilisateurs ayant le rôle ACCOUNTADMIN peuvent utiliser SQL pour afficher les informations sur la taille de la table :

SQL

Interrogez l’un des éléments suivants :

Important

La taille affichée pour une table représente le nombre d’octets qui seront analysés si la table entière est analysée dans une requête ; cependant, ce nombre peut être différent du nombre d’octets physiques (c’est-à-dire d’octets stockés sur disque) pour la table, en particulier pour les tables clonées et les tables contenant des données supprimées :

  • Une table clonée n’utilise pas de stockage supplémentaire (jusqu’à ce que des lignes soient ajoutées à la table ou que des lignes existantes dans la table soient modifiées ou supprimées). En conséquence, la taille de la table affichée peut être plus grande que les octets physiques réels stockés pour la table. Autrement dit, la table contribue moins au stockage global des données pour le compte que la taille indiquée.

  • Les données supprimées d’une table ne sont pas incluses dans la taille de la table affichée ; toutefois, les données sont conservées dans Snowflake jusqu’à ce que la période de conservation Time Travel (par défaut, 1 jour) et la période Fail-safe (7 jours) des données soient passées. Pendant ces deux périodes, la taille de la table affichée est plus petite que les octets physiques réels stockés pour la table, c’est-à-dire que la table contribue plus au stockage global des données du compte que la taille indiquée.

Pour plus d’informations sur le stockage des tables clonées et des données supprimées, voir Remarques relatives au stockage de données.