Untersuchen der Computekosten¶

Compute-Kosten für Warehouses¶

Abfrage: Durchschnittliche Snowflake-Ausgaben pro Stunde (für alle Warehouse) in den letzten m Tagen

Diese Abfrage gibt den gesamten Credit-Verbrauch auf stündlicher Basis zurück, um einen Eindruck der Verbrauchstrends (Spitzen, Täler) der letzten m Tage zu erhalten. Auf diese Weise lassen sich Tageszeiten ermitteln, in denen der Verbrauch besonders hoch ist.

SELECT start_time,
  warehouse_name,
  credits_used_compute
FROM snowflake.account_usage.warehouse_metering_history
WHERE start_time >= DATEADD(day, -m, CURRENT_TIMESTAMP())
  AND warehouse_id > 0  -- Skip pseudo-VWs such as "CLOUD_SERVICES_ONLY"
ORDER BY 1 DESC, 2;

-- by hour
SELECT DATE_PART('HOUR', start_time) AS start_hour,
  warehouse_name,
  AVG(credits_used_compute) AS credits_used_compute_avg
FROM snowflake.account_usage.warehouse_metering_history
WHERE start_time >= DATEADD(day, -m, CURRENT_TIMESTAMP())
  AND warehouse_id > 0  -- Skip pseudo-VWs such as "CLOUD_SERVICES_ONLY"
GROUP BY 1, 2
ORDER BY 1, 2;

Copy

Abfrage: Credit-Verbrauch nach Warehouse über einen bestimmten Zeitraum

Diese Abfrage gibt den gesamten Credit-Verbrauch für jedes Warehouse in einem bestimmten Zeitraum zurück. Auf diese Weise können Warehouses ermittelt werden, die mehr Credits als andere verbrauchen, und Warehouses, die mehr Credits als erwartet verbrauchen.

-- Credits used (all time = past year)
SELECT warehouse_name,
  SUM(credits_used_compute) AS credits_used_compute_sum
FROM snowflake.account_usage.warehouse_metering_history
GROUP BY 1
ORDER BY 2 DESC;

-- Credits used (past N days/weeks/months)
SELECT warehouse_name,
  SUM(credits_used_compute) AS credits_used_compute_sum
FROM snowflake.account_usage.warehouse_metering_history
WHERE start_time >= DATEADD(day, -m, CURRENT_TIMESTAMP())
GROUP BY 1
ORDER BY 2 DESC;

Copy

Abfrage: Tagesdurchschnitt der Warehouse-Nutzung über m Tage

Diese Abfrage gibt den durchschnittlichen täglichen Credit-Verbrauch gruppiert nach Woche und Warehouse zurück. Sie kann dazu verwendet werden, Anomalien im Credit-Verbrauch von Warehouses in den Wochen des letzten Jahres zu erkennen.

WITH cte_date_wh AS (
  SELECT TO_DATE(start_time) AS start_date,
    warehouse_name,
    SUM(credits_used) AS credits_used_date_wh
  FROM snowflake.account_usage.warehouse_metering_history
  GROUP BY start_date, warehouse_name
)

SELECT start_date,
  warehouse_name,
  credits_used_date_wh,
  AVG(credits_used_date_wh) OVER (PARTITION BY warehouse_name ORDER BY start_date ROWS m PRECEDING) AS credits_used_m_day_avg,
  100.0*((credits_used_date_wh / credits_used_m_day_avg) - 1) AS pct_over_to_m_day_average
FROM cte_date_wh
  QUALIFY credits_used_date_wh > 100  -- Minimum N=100 credits
    AND pct_over_to_m_day_average >= 0.5  -- Minimum 50% increase over past m day average
ORDER BY pct_over_to_m_day_average DESC;

Copy

Compute-Kosten für Clouddienste¶

Abfrage: Abgerechnete Clouddienste

Die Nutzung von Clouddiensten wird nur abgerechnet, wenn der tägliche Verbrauch der Clouddienste 10 % des täglichen Verbrauchs der virtuellen Warehouses überschreitet. Diese Abfrage gibt zurück, wie viel der Nutzung von Clouddiensten für einen bestimmten Tag tatsächlich abgerechnet wurde, sortiert nach dem höchsten abgerechneten Betrag.

SELECT
    usage_date,
    credits_used_cloud_services,
    credits_adjustment_cloud_services,
    credits_used_cloud_services + credits_adjustment_cloud_services AS billed_cloud_services
FROM snowflake.account_usage.metering_daily_history
WHERE usage_date >= DATEADD(month,-1,CURRENT_TIMESTAMP())
    AND credits_used_cloud_services > 0
ORDER BY 4 DESC;

Copy

Abfrage: Gesamtkosten der Clouddienste nach Abfragetyp

Diese Abfrage gibt die Gesamtzahl der Credits zurück, die von einem bestimmten Abfragetyp für Clouddienste verbraucht wurden.

SELECT query_type,
  SUM(credits_used_cloud_services) AS cs_credits,
  COUNT(1) num_queries
FROM snowflake.account_usage.query_history
WHERE true
  AND start_time >= TIMESTAMPADD(day, -1, CURRENT_TIMESTAMP)
GROUP BY 1
ORDER BY 2 DESC
LIMIT 10;

Copy

Abfrage: Kosten für Clouddienste für Abfragen eines bestimmten Typs

Diese Abfrage gibt die Gesamtzahl der Credits zurück, die von allen Abfragen eines bestimmten Typs für Clouddienste verbraucht wurden. Ersetzen Sie 'COPY', wenn Sie sich auf einen anderen Typ von Abfrage konzentrieren möchten, und day, wenn Sie einen längeren oder kürzeren Zeitraum untersuchen möchten.

SELECT *
FROM snowflake.account_usage.query_history
WHERE true
  AND start_time >= TIMESTAMPADD(day, -1, CURRENT_TIMESTAMP)
  AND query_type = 'COPY'
ORDER BY credits_used_cloud_services DESC
LIMIT 10;

Copy

Abfrage: Warehouses mit hohem Verbrauch von Clouddiensten

Diese Abfrage gibt die Warehouses zurück, die nicht genug Warehouse-Zeit verbrauchen, um den Anteil der Clouddienste am Computing zu decken. Dies bietet einen Ausgangspunkt für weitere Untersuchungen, indem Warehouses mit einem hohen Anteil an Clouddienst-Nutzung (>10 % der Gesamt-Credits) isoliert werden. Mögliche Untersuchungskandidaten sind Probleme rund um das Klonen, mit Freigabeangebotsdateien in S3, Partnertools, Einstellungen der Sitzungsparameter usw.

SELECT
  warehouse_name,
  SUM(credits_used) AS credits_used,
  SUM(credits_used_cloud_services) AS credits_used_cloud_services,
  SUM(credits_used_cloud_services)/SUM(credits_used) AS percent_cloud_services
FROM snowflake.account_usage.warehouse_metering_history
WHERE TO_DATE(start_time) >= DATEADD(month,-1,CURRENT_TIMESTAMP())
    AND credits_used_cloud_services > 0
GROUP BY 1
ORDER BY 4 DESC;

Copy

Abfrage: Verbrauch der Clouddienste, sortiert nach Anteil der Abfragezeit

Diese Abfrage gibt alle Abfragen zurück, die innerhalb der letzten Minute ausgeführt wurden, und sortiert sie nach Teilen der gesamten Abfrageausführungszeit (z. B. Kompilierungszeit vs. Warteschlangenzeit).

SELECT *
FROM snowflake.account_usage.query_history
WHERE true
  AND start_time >= TIMESTAMPADD(minute, -60, CURRENT_TIMESTAMP)
ORDER BY compilation_time DESC,
  execution_time DESC,
  list_external_files_time DESC,
  queued_overload_time DESC,
  credits_used_cloud_services DESC
LIMIT 10;

Copy

Compute-Kosten für Automatic Clustering¶

Abfrage: Kostenverlauf von Automatic Clustering (nach Tag, nach Objekt)

Diese Abfrage liefert eine Liste von Tabellen mit Automatic Clustering und das Volumen der über den Dienst in den letzten 30 Tagen verbrauchten Credits, aufgeschlüsselt nach Tagen. Unregelmäßigkeiten beim Credit-Verbrauch oder ein gleichbleibend hoher Verbrauch sind Anzeichen, dass weitere Untersuchungen erforderlich sind.

SELECT TO_DATE(start_time) AS date,
  database_name,
  schema_name,
  table_name,
  SUM(credits_used) AS credits_used
FROM snowflake.account_usage.automatic_clustering_history
WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
GROUP BY 1,2,3,4
ORDER BY 5 DESC;

Copy

Abfrage: Automatic Clustering-Historie und Tagesdurchschnitt über m Tage

Diese Abfrage gibt den durchschnittlichen täglichen Credit-Verbrauch durch Automatic Clustering für das letzte Jahr, gruppiert nach Woche zurück. Sie kann dazu beitragen, Anomalien in den Tagesdurchschnittswerten über das Jahr hinweg zu erkennen, sodass Sie Verbrauchsspitzen oder unerwarteten Nutzungsänderungen untersuchen können.

WITH credits_by_day AS (
  SELECT TO_DATE(start_time) AS date,
    SUM(credits_used) AS credits_used
  FROM snowflake.account_usage.automatic_clustering_history
  WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
  GROUP BY 1
  ORDER BY 2 DESC
)

SELECT DATE_TRUNC('week',date),
      AVG(credits_used) AS avg_daily_credits
FROM credits_by_day
GROUP BY 1
ORDER BY 1;

Copy

Compute-Kosten für Suchoptimierung¶

Abfrage: Kostenverlauf von Suchoptimierung (nach Tag, nach Objekt)

Diese Abfrage liefert eine umfassende Liste von Tabellen mit Suchoptimierung und das Volumen der über den Dienst in den letzten 30 Tagen verbrauchten Credits, aufgeschlüsselt nach Tagen. Unregelmäßigkeiten beim Credit-Verbrauch oder ein gleichbleibend hoher Verbrauch sind Anzeichen, dass weitere Untersuchungen erforderlich sind.

SELECT TO_DATE(start_time) AS date,
  database_name,
  schema_name,
  table_name,
  SUM(credits_used) AS credits_used
FROM snowflake.account_usage.search_optimization_history
WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
GROUP BY 1,2,3,4
ORDER BY 5 DESC;

Copy

Abfrage: Suchoptimierungshistorie und Tagesdurchschnitt über m Tage

Diese Abfrage gibt den durchschnittlichen täglichen Credit-Verbrauch durch die Suchoptimierung für das letzte Jahr, gruppiert nach Woche zurück. Sie kann dazu beitragen, Anomalien in den Tagesdurchschnittswerten über das Jahr hinweg zu erkennen, sodass Sie Verbrauchsspitzen oder unerwarteten Nutzungsänderungen untersuchen können.

WITH credits_by_day AS (
  SELECT TO_DATE(start_time) AS date,
    SUM(credits_used) AS credits_used
  FROM snowflake.account_usage.search_optimization_history
  WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
  GROUP BY 1
  ORDER BY 2 DESC
)

SELECT DATE_TRUNC('week', date),
  AVG(credits_used) as avg_daily_credits
FROM credits_by_day
GROUP BY 1
ORDER BY 1;

Copy

Compute-Kosten für materialisierte Ansichten¶

Abfrage: Kostenverlauf für materialisierte Ansichten (nach Tag, nach Objekt)

Diese Abfrage liefert eine umfassende Liste der materialisierten Ansichten und das Volumen der über den Dienst in den letzten 30 Tagen verbrauchten Credits, aufgeschlüsselt nach Tagen. Unregelmäßigkeiten beim Credit-Verbrauch oder ein gleichbleibend hoher Verbrauch sind Anzeichen, dass weitere Untersuchungen erforderlich sind.

SELECT TO_DATE(start_time) AS date,
  database_name,
  schema_name,
  table_name,
  SUM(credits_used) AS credits_used
FROM snowflake.account_usage.materialized_view_refresh_history
WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
GROUP BY 1,2,3,4
ORDER BY 5 DESC;

Copy

Abfrage: Historie von materialisierten Ansichten und Tagesdurchschnitt über m Tage

Diese Abfrage gibt den durchschnittlichen täglichen Credit-Verbrauch durch materialisierte Ansichten für das letzte Jahr, gruppiert nach Woche zurück. Sie kann dazu beitragen, Anomalien in den Tagesdurchschnittswerten über das Jahr hinweg zu erkennen, sodass Sie Verbrauchsspitzen oder unerwarteten Nutzungsänderungen untersuchen können.

WITH credits_by_day AS (
  SELECT TO_DATE(start_time) AS date,
    SUM(credits_used) AS credits_used
  FROM snowflake.account_usage.materialized_view_refresh_history
  WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
  GROUP BY 1
  ORDER BY 2 DESC
)

SELECT DATE_TRUNC('week',date),
  AVG(credits_used) AS avg_daily_credits
FROM credits_by_day
GROUP BY 1
ORDER BY 1;

Copy

Compute-Kosten für Query Acceleration Service¶

Abfrage: Kosten für Query Acceleration Service nach Warehouse

Diese Abfrage gibt die Credits zurück, die von jedem Warehouse in Ihrem Konto für den Abfragebeschleunigungsdienst verbraucht wurden (aktueller Monat):

SELECT warehouse_name,
       SUM(credits_used) AS total_credits_used
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
  WHERE start_time >= DATE_TRUNC(month, CURRENT_DATE)
  GROUP BY 1
  ORDER BY 2 DESC;

Copy

Computing für Snowpipe und Snowpipe Streaming¶

Abfrage: Kumulativer Verbrauch der Datenerfassung (Snowpipe und „Copy“)

Diese Abfrage gibt eine aggregierte tägliche Zusammenfassung aller Ladeoperationen für jede Tabelle in Snowflake zurück und zeigt die durchschnittliche Dateigröße, die Gesamtzahl der Zeilen, das Gesamtvolumen und die Erfassungsmethode (Kopie oder Snowpipe) an. Wenn die Dateigrößen für eine optimale Erfassung zu klein oder zu groß sind, kann eine zusätzliche Untersuchung/Optimierung erforderlich sein. Durch die Zuordnung des Volumens zum Credit-Verbrauch lässt sich feststellen, welche Tabellen mehr Credits pro geladenem TB verbrauchen.

SELECT TO_DATE(last_load_time) AS load_date,
  status,
  table_catalog_name AS database_name,
  table_schema_name AS schema_name,
  table_name,
  CASE
    WHEN pipe_name IS NULL THEN 'COPY'
    ELSE 'SNOWPIPE'
  END AS ingest_method,
  SUM(row_count) AS row_count,
  SUM(row_parsed) AS rows_parsed,
  AVG(file_size) AS avg_file_size_bytes,
  SUM(file_size) AS total_file_size_bytes,
  SUM(file_size)/POWER(1024,1) AS total_file_size_kb,
  SUM(file_size)/POWER(1024,2) AS total_file_size_mb,
  SUM(file_size)/POWER(1024,3) AS total_file_size_gb,
  SUM(file_size)/POWER(1024,4) AS total_file_size_tb
FROM snowflake.account_usage.copy_history
GROUP BY 1,2,3,4,5,6
ORDER BY 3,4,5,1,2;

Copy

Abfrage: Kostenverlauf von Snowpipe (nach Tag, nach Objekt)

Diese Abfrage liefert eine umfassende Liste der Pipes und das Volumen der über den Dienst in den letzten 30 Tagen verbrauchten Credits, aufgeschlüsselt nach Tagen. Unregelmäßigkeiten beim Credit-Verbrauch oder ein gleichbleibend hoher Verbrauch sind Anzeichen, dass weitere Untersuchungen erforderlich sind.

SELECT TO_DATE(start_time) AS date,
  pipe_name,
  SUM(credits_used) AS credits_used
FROM snowflake.account_usage.pipe_usage_history
WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
GROUP BY 1,2
ORDER BY 3 DESC;

Copy

Abfrage: Snowpipe-Historie und Tagesdurchschnitt über m Tage

Diese Abfrage gibt den durchschnittlichen täglichen Credit-Verbrauch durch Snowpipe für das letzte Jahr, gruppiert nach Woche zurück. Sie kann dazu beitragen, Anomalien in den Tagesdurchschnittswerten über das Jahr hinweg zu erkennen, sodass Sie Verbrauchsspitzen oder unerwarteten Nutzungsänderungen untersuchen können.

WITH credits_by_day AS (
  SELECT TO_DATE(start_time) AS date,
    SUM(credits_used) AS credits_used
  FROM snowflake.account_usage.pipe_usage_history
  WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
  GROUP BY 1
  ORDER BY 2 DESC
)

SELECT DATE_TRUNC('week',date),
  AVG(credits_used) AS avg_daily_credits
FROM credits_by_day
GROUP BY 1
ORDER BY 1;

Copy

Abfrage: Gesamtkosten für Snowpipe Streaming

Diese Abfrage listet die aktuelle Credit-Nutzung durch Snowpipe Streaming auf, einschließlich der Compute- und Clientkosten für Snowpipe Streaming.

SELECT start_time,
  end_time,
  SUM(credits_used) AS total_credits,
  name,
  IFF(CONTAINS(name,':'),'streaming client cost', 'streaming compute cost') AS streaming_cost_type
FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_HISTORY
WHERE service_type ='SNOWPIPE_STREAMING'
GROUP BY ALL;

Copy

Compute-Kosten für Aufgaben¶

Abfrage: Gesamtkosten für Aufgabe

Diese Abfrage listet die aktuelle Credit-Nutzung für alle serverlosen Aufgaben auf:

SELECT start_time,
  end_time,
  task_id,
  task_name,
  credits_used,
  schema_id,
  schema_name,
  database_id,
  database_name
FROM snowflake.account_usage.serverless_task_history
ORDER BY start_time, task_id;

Copy

Compute-Kosten für Replikation¶

Abfrage: Kosten für Kontoreplikation

Diese Abfrage listet die Credits auf, die von einer Replikations- oder Failover-Gruppe für die Kontoreplikation im aktuellen Monat verbraucht wurden:

SELECT start_time, 
  end_time, 
  replication_group_name, 
  credits_used, 
  bytes_transferred
FROM snowflake.account_usage.replication_group_usage_history
WHERE start_time >= DATE_TRUNC('month', CURRENT_DATE());

Copy

Abfrage: Kostenverlauf von Datenbankreplikation (nach Tag, nach Objekt)

Diese Abfrage liefert eine umfassende Liste der replizierten Datenbanken und das Volumen der über den Replikationsdienst in den letzten 30 Tagen verbrauchten Credits, aufgeschlüsselt nach Tagen. Unregelmäßigkeiten beim Credit-Verbrauch oder ein gleichbleibend hoher Verbrauch sind Anzeichen, dass weitere Untersuchungen erforderlich sind.

SELECT TO_DATE(start_time) AS date,
  database_name,
  SUM(credits_used) AS credits_used
FROM snowflake.account_usage.database_replication_usage_history
WHERE start_time >= DATEADD(month,-1,CURRENT_TIMESTAMP())
GROUP BY 1,2
ORDER BY 3 DESC;

Copy

Abfrage: Datenbankreplikationsverlauf und Tagesdurchschnitt über m Tage

Diese Abfrage gibt den durchschnittlichen täglichen Credit-Verbrauch durch die Replikation für das letzte Jahr, gruppiert nach Woche zurück. Auf diese Weise lassen sich etwaige Anomalien in Tagesdurchschnittswerten feststellen, die für die Untersuchung von Verbrauchsspitzen oder -veränderungen dienen können.

WITH credits_by_day AS (
  SELECT TO_DATE(start_time) AS date,
    SUM(credits_used) AS credits_used
  FROM snowflake.account_usage.database_replication_usage_history
  WHERE start_time >= DATEADD(year,-1,CURRENT_TIMESTAMP())
  GROUP BY 1
  ORDER BY 2 DESC
)

SELECT DATE_TRUNC('week',date),
  AVG(credits_used) AS avg_daily_credits
FROM credits_by_day
GROUP BY 1
ORDER BY 1;

Copy

Compute-Kosten für Partnertools¶

Abfrage: Credit-Verbrauch nach Partnertools

Diese Abfrage ermittelt, welche Partnertools/Partnerlösungen von Snowflake (z. B. BI, ETL usw.) die meisten Credits verbrauchen. Auf diese Weise können Partnerlösungen identifiziert werden, die mehr Credits verbrauchen als erwartet, was Ausgangspunkt für weitere Untersuchungen sein kann.

-- This Is Approximate Credit Consumption By Client Application
WITH
  client_hour_execution_cte AS (
    SELECT
      CASE
        WHEN client_application_id LIKE 'Go %' THEN 'Go'
        WHEN client_application_id LIKE 'Snowflake UI %' THEN 'Snowflake UI'
        WHEN client_application_id LIKE 'SnowSQL %' THEN 'SnowSQL'
        WHEN client_application_id LIKE 'JDBC %' THEN 'JDBC'
        WHEN client_application_id LIKE 'PythonConnector %' THEN 'Python'
        WHEN client_application_id LIKE 'ODBC %' THEN 'ODBC'
        ELSE 'NOT YET MAPPED: ' || CLIENT_APPLICATION_ID
      END AS client_application_name,
      warehouse_name,
      DATE_TRUNC('hour',start_time) AS start_time_hour,
      SUM(execution_time)  AS client_hour_execution_time
    FROM snowflake.account_usage.query_history qh
      JOIN snowflake.account_usage.sessions se
        ON se.session_id = qh.session_id
    WHERE warehouse_name IS NOT NULL
      AND execution_time > 0
      AND start_time > DATEADD(month,-1,CURRENT_TIMESTAMP())
    GROUP BY 1,2,3
  ),
  hour_execution_cte AS (
    SELECT start_time_hour,
      warehouse_name,
      SUM(client_hour_execution_time) AS hour_execution_time
    FROM client_hour_execution_cte
    GROUP BY 1,2
  ),
  approximate_credits AS (
    SELECT A.client_application_name,
      C.warehouse_name,
      (A.client_hour_execution_time/B.hour_execution_time)*C.credits_used AS approximate_credits_used
    FROM client_hour_execution_cte A
      JOIN hour_execution_cte B
        ON A.start_time_hour = B.start_time_hour and B.warehouse_name = A.warehouse_name
      JOIN snowflake.account_usage.warehouse_metering_history C
        ON C.warehouse_name = A.warehouse_name AND C.start_time = A.start_time_hour
  )

SELECT client_application_name,
  warehouse_name,
  SUM(approximate_credits_used) AS approximate_credits_used
FROM approximate_credits
GROUP BY 1,2
ORDER BY 3 DESC;

Copy

Compute-Kosten für Hybridtabellen¶

Abfrage: Credit-Verbrauch nach Hybridtabellen in einem bestimmten Zeitraum

Diese Abfrage gibt den gesamten Credit-Verbrauch für jede Hybridtabelle in einem bestimmten Zeitraum zurück. Auf diese Weise können Hybridtabellen ermittelt werden, die mehr Credits als andere verbrauchen, und Hybridtabellen, die mehr Credits als erwartet verbrauchen.

-- Credits used (all time = past year)
SELECT object_name,
  SUM(credits_used) AS total_credits
FROM snowflake.account_usage.hybrid_table_usage_history
GROUP BY 1
ORDER BY 2 DESC;

-- Credits used (past N days/weeks/months)
SELECT object_name,
  SUM(credits_used) AS total_credits
FROM snowflake.account_usage.hybrid_table_usage_history
WHERE start_time >= DATEADD(day, -m, CURRENT_TIMESTAMP()) 
GROUP BY 1
ORDER BY 2 DESC;

Copy