Coûts Snowpipe

Avec le modèle de calcul sans serveur de Snowpipe, les utilisateurs peuvent lancer une charge de n’importe quelle taille sans avoir à gérer d’entrepôt virtuel. Au lieu de cela, Snowflake fournit et gère les ressources de calcul, augmentant ou diminuant automatiquement la capacité en fonction de la charge actuelle de Snowpipe.

Important

Auparavant, les coûts Snowpipe incluaient deux éléments, à savoir les ressources de calcul réelles utilisées pour charger vos données, qui étaient mesurées par seconde ou par noyau, et des frais par 1 000 fichiers.

À l’avenir, l’ingestion Snowpipe sera facturée selon un nouveau modèle simplifié, à savoir un montant de crédits fixe par GB. Ce changement important vise à vous fournir une meilleure prévisibilité de vos dépenses liées au chargement des données, en simplifiant l’estimation des coûts par rapport au modèle tarifaire précédent.

Pour les fichiers texte, comme CSV, JSON ou XML, vous êtes facturé en fonction de leur taille non compressée. Pour les fichiers binaires, comme Parquet, Avro ou ORC, vous êtes facturé en fonction de leur taille observée, indépendamment de leur compression.

Le nouveau modèle tarifaire s’appliquera automatiquement à l’ensemble des comptes des versions Business Critical et VPS à partir du 1er août 2025. Il sera également prochainement appliqué à toutes les versions Enterprise et Standard. D’ici là, les versions Enterprise et Standard continueront d’être facturées selon le modèle tarifaire existant.

Pour plus d’informations, consultez le tableau de consommation des services de Snowflake.

Consommation de ressources et frais généraux de gestion

Avec le modèle tarifaire précédent, Snowflake assure le suivi de la consommation des ressources des chargements pour tous les canaux d’un compte, avec une précision par seconde et par noyau. En effet, Snowpipe met activement en file d’attente et traite les fichiers de données. Par noyau fait référence aux noyaux physiques de CPU dans un serveur de calcul. L’utilisation enregistrée est ensuite traduite en crédits Snowflake familiers, qui sont indiqués sur la facture de votre compte.

Note

L’utilisation d’une application cliente multithread permet de soumettre des fichiers de données en parallèle, ce qui déclenche des serveurs supplémentaires et charge les données en moins de temps. Cependant, le temps de calcul global réel requis serait identique à celui d’une application cliente à thread unique, simplement répartie sur plus de serveurs Snowpipe internes.

Les décisions relatives à la taille des fichiers de données et à la fréquence de la mise en zone de préparation ont une incidence sur le coût et les performances de Snowpipe. Pour connaître les bonnes pratiques recommandées, voir Chargements de données en continu — c.-à-d., Snowpipe — et dimensionnement de fichiers.

En plus de consommer des ressources, les frais généraux sont inclus dans les coûts d’utilisation facturés pour Snowpipe. Cette surcharge est facturée, que les notifications d’événements ou les appels API REST entraînent le chargement ou non de données. Ces frais généraux apparaissent comme des frais de Snowpipe sur votre relevé de facturation.

Estimation des frais Snowpipe

Avec le nouveau montant de crédits fixe par GB pour Snowpipe, l’estimation des frais Snowpipe est simplifiée. Vous pouvez simplement calculer vos coûts attendus à l’aide de votre volume de données prévisionnel. Étant donné que les fichiers texte comme CSV, JSON ou XML sont facturés en fonction de leur taille non compressée, vous devez connaître le taux de compression de vos fichiers texte. Vous pouvez ensuite vérifier ces calculs par rapport à l’utilisation réelle en examinant les colonnes BILLED_BYTES dans les vues Utilisation du compte correspondantes. La colonne BILLED_BYTES sera introduite dans le bundle à venir 2025_05 BCR.

Pour comprendre la consommation de crédits réelle selon le nouveau modèle pour vos charges de travail en particulier, nous vous recommandons de faire des tests en exécutant un ensemble type de charges.

Affichage de l’historique et du coût de chargement des données

Les administrateurs de compte (ou les utilisateurs ayant le rôle ACCOUNTADMIN) ou ceux ayant un rôle qui leur donne le privilège global MONITOR USAGE peuvent utiliser Snowsight, l”Classic Console, ou SQL pour voir la quantité de crédits facturés sur votre compte Snowflake sur une période donnée.

Occasionnellement, le processus de compactage et de maintenance des données peut consommer des crédits Snowflake. Par exemple, les résultats renvoyés peuvent montrer que vous avez consommé des crédits avec 0 BYTES_INSERTED et 0 FILES_INSERTED. Cela signifie que vos données ne sont pas chargées, mais que le processus de compactage et de maintenance des données a consommé des crédits.

Pour voir les crédits facturés pour le chargement de données Snowpipe pour votre compte :

Snowsight:

Sélectionnez Admin » Cost Management.

Classic Console:

Sélectionnez Account Onglet Compte » Billing & Usage.

L’utilisation de Snowpipe est illustrée sous forme d’un entrepôt spécial fourni par Snowflake nommé Logo Snowflake en bleu (sans texte) SNOWPIPE.

SQL:

Interrogez l’un des éléments suivants :

  • la fonction de table PIPE_USAGE_HISTORY (dans Schéma d’information de Snowflake).

  • Vue PIPE_USAGE_HISTORY (dans Account Usage).

    Vous pouvez exécuter les requêtes suivantes sur la vue PIPE_USAGE_HISTORY. Vous pouvez désormais également utiliser les requêtes pour vérifier les coûts en fonction du volume à l’aide de la colonne BYTES_BILLED.

    Note

    Vous devez activer le bundle à venir 2025_05 BCR pour accéder à la colonne BYTES_BILLED.

    Requête : historique des coûts de Snowpipe (par jour, par objet)

    La requête suivante fournit une liste complète des canaux et le volume de crédits consommés par le biais du service au cours des 30 derniers jours, ventilés par jour. Toute irrégularité dans la consommation de crédits ou la présence d’une consommation constamment élevée sont des indicateurs de problèmes potentiels sur lesquels vous devriez enquêter.

    SELECT TO_DATE(start_time) AS date,
      pipe_name,
      SUM(credits_used) AS credits_used,
      SUM(bytes_billed) AS bytes_billed_total -- Added for new pricing verification
    FROM snowflake.account_usage.pipe_usage_history
    WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
    GROUP BY 1,2
    ORDER BY 3 DESC;
    
    Copy

    Requête : historique Snowpipe et moyenne sur plusieurs jours

    La requête suivante montre les crédits quotidiens moyens consommés par Snowpipe, groupés par semaine, au cours de la dernière année. Cette requête peut vous aider à identifier les anomalies dans les moyennes de consommation quotidiennes sur l’année, ce qui vous permet d’enquêter sur les augmentations soudaines ou les changements inattendus dans la consommation.

    WITH credits_by_day AS (
      SELECT TO_DATE(start_time) AS date,
        SUM(credits_used) AS credits_used,
        SUM(bytes_billed) AS bytes_billed_total -- Added for new pricing verification
      FROM snowflake.account_usage.pipe_usage_history
      WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
      GROUP BY 1
      ORDER BY 2 DESC)
    SELECT DATE_TRUNC('week',date),
      AVG(credits_used) AS avg_daily_credits,
      AVG(bytes_billed_total) AS avg_daily_bytes_billed -- Added for new pricing verification
    FROM credits_by_day
    GROUP BY 1
    ORDER BY 1;
    
    Copy

Note

Les moniteurs de ressources permettent de contrôler l’utilisation du crédit d’entrepôt virtuel. Cependant, vous ne pouvez pas les utiliser pour contrôler l’utilisation du crédit pour les entrepôts fournis par Snowflake, y compris l’entrepôt Logo Snowflake en bleu (sans texte) SNOWPIPE .