Query Acceleration Service 사용하기¶

적합 쿼리¶

일반적으로 쿼리는 QAS 컴퓨팅 리소스를 사용하여 병렬로 실행할 수 있는 쿼리 계획의 일부가 있기 때문에 자격이 있습니다. 이러한 쿼리는 다음 두 가지 패턴 중 하나에 해당합니다.

• 집계 또는 선택 필터를 사용한 대규모 스캔

• 많은 새로운 행을 삽입하는 대규모 스캔.

Snowflake에서는 자격을 얻기 위한 “충분히 큰” 스캔을 구성하는 구체적인 기준이 없습니다. 자격 기준은 쿼리 계획과 웨어하우스 규모 등 다양한 요인에 따라 달라집니다. Snowflake는 QAS를 활성화하면 쿼리가 가속화될 것이라는 높은 확신이 있는 경우에만 쿼리를 적격으로 표시합니다.

쿼리가 부적격한 일반적인 이유¶

일부 쿼리는 쿼리 가속화에 적합하지 않습니다. 다음은 쿼리를 가속화할 수 없는 일반적인 이유입니다.

• 스캔에 파티션이 충분하지 않습니다. 검색할 파티션이 충분하지 않은 경우 쿼리 가속의 이점은 Query Acceleration Service에 대한 리소스 획득 시의 대기 시간만큼 상쇄됩니다.

• 쿼리에 필터가 있더라도 필터가 충분히 선택적이지 않을 수 있습니다. 또는 쿼리에 GROUP BY로 집계된 식이 있는 경우 GROUP BY 식의 카디널리티가 너무 높아서 자격이 없을 수 있습니다.

• 쿼리에 LIMIT 절이 포함되어 있지만 ORDER BY 절은 없습니다.

• 쿼리에는 비결정적 결과(예: SEQ 또는 RANDOM)를 반환하는 함수가 포함됩니다.

SYSTEM$ESTIMATE_QUERY_ACCELERATION 함수로 쿼리 식별하기¶

SYSTEM$ESTIMATE_QUERY_ACCELERATION 함수를 사용하면 이전에 실행된 쿼리가 쿼리 가속 서비스의 이점을 얻을 수 있는지 확인하는 데 도움이 될 수 있습니다. 쿼리가 쿼리 가속에 적합한 경우 이 함수는 다양한 쿼리 가속 배율 에 대한 예상 쿼리 실행 시간을 반환합니다.

SELECT PARSE_JSON(SYSTEM$ESTIMATE_QUERY_ACCELERATION('8cd54bf0-1651-5b1c-ac9c-6a9582ebd20f'));

{
  "estimatedQueryTimes": {
    "1": 171,
    "10": 115,
    "2": 152,
    "4": 133,
    "8": 120
  },
  "originalQueryTime": 300.291,
  "queryUUID": "8cd54bf0-1651-5b1c-ac9c-6a9582ebd20f",
  "status": "eligible",
  "upperLimitScaleFactor": 10
}

SELECT PARSE_JSON(SYSTEM$ESTIMATE_QUERY_ACCELERATION('cf23522b-3b91-cf14-9fe0-988a292a4bfa'));

{
  "estimatedQueryTimes": {},
  "originalQueryTime": 20.291,
  "queryUUID": "cf23522b-3b91-cf14-9fe0-988a292a4bfa",
  "status": "ineligible",
  "upperLimitScaleFactor": 0
}

QUERY_ACCELERATION_ELIGIBLE 뷰로 쿼리 및 웨어하우스 식별하기¶

QUERY_ACCELERATION_ELIGIBLE 뷰 을 쿼리하여 쿼리 가속 서비스에서 가장 큰 이점을 얻을 수 있는 쿼리와 웨어하우스를 식별합니다. 각 쿼리에 대해 뷰에는 쿼리 가속 서비스에 적합한 쿼리 실행 시간이 포함됩니다.

USE ROLE ACCOUNTADMIN;

SELECT query_id, eligible_query_acceleration_time
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_ELIGIBLE
  WHERE start_time > DATEADD('day', -7, CURRENT_TIMESTAMP())
  ORDER BY eligible_query_acceleration_time DESC;

SELECT query_id, eligible_query_acceleration_time
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_ELIGIBLE
  WHERE warehouse_name = 'MYWH'
  AND start_time > DATEADD('day', -7, CURRENT_TIMESTAMP())
  ORDER BY eligible_query_acceleration_time DESC;

SELECT warehouse_name, COUNT(query_id) AS num_eligible_queries
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_ELIGIBLE
  WHERE start_time > DATEADD('day', -7, CURRENT_TIMESTAMP())
  GROUP BY warehouse_name
  ORDER BY num_eligible_queries DESC;

SELECT warehouse_name, SUM(eligible_query_acceleration_time) AS total_eligible_time
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_ELIGIBLE
  WHERE start_time > DATEADD('day', -7, CURRENT_TIMESTAMP())
  GROUP BY warehouse_name
  ORDER BY total_eligible_time DESC;

SELECT MAX(upper_limit_scale_factor)
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_ELIGIBLE
  WHERE warehouse_name = 'MYWH'
  AND start_time > DATEADD('day', -7, CURRENT_TIMESTAMP());

SELECT upper_limit_scale_factor, COUNT(upper_limit_scale_factor)
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_ELIGIBLE
  WHERE warehouse_name = 'MYWH'
  AND start_time > DATEADD('day', -7, CURRENT_TIMESTAMP())
  GROUP BY 1 ORDER BY 1;

예¶

다음 예에서는 my_wh 라는 웨어하우스에 대한 쿼리 가속 서비스를 활성화합니다.

CREATE WAREHOUSE my_wh WITH
  ENABLE_QUERY_ACCELERATION = true;

Copy

SHOW WAREHOUSES 명령을 실행하여 my_wh 웨어하우스에 대한 세부 정보를 표시합니다.

SHOW WAREHOUSES LIKE 'my_wh';

+---------+---------+----------+---------+---------+--------+------------+------------+--------------+-------------+-----------+--------------+-----------+-------+-------------------------------+-------------------------------+-------------------------------+--------------+---------+---------------------------+-------------------------------------+------------------+---------+----------+--------+-----------+------------+
| name    | state   | type     | size    | running | queued | is_default | is_current | auto_suspend | auto_resume | available | provisioning | quiescing | other | created_on                    | resumed_on                    | updated_on                    | owner        | comment | enable_query_acceleration | query_acceleration_max_scale_factor | resource_monitor | actives | pendings | failed | suspended | uuid       |
|---------+---------+----------+---------+---------+--------+------------+------------+--------------+-------------+-----------+--------------+-----------+-------+-------------------------------+-------------------------------+-------------------------------+--------------+---------+---------------------------+-------------------------------------+------------------+---------+----------+--------+-----------+------------|
| MY_WH   | SUSPENDED | STANDARD | Medium |       0 |      0 | N          | N          |          600 | true        |           |              |           |       | 2023-01-20 14:31:49.283 -0800 | 2023-01-20 14:31:49.388 -0800 | 2023-01-20 16:34:28.583 -0800 | ACCOUNTADMIN |         | true                      |                                   8 | null             |       0 |        0 |      0 |         4 | 1132659053 |
+---------+---------+----------+---------+---------+--------+------------+------------+--------------+-------------+-----------+--------------+-----------+-------+-------------------------------+-------------------------------+-------------------------------+--------------+---------+---------------------------+-------------------------------------+------------------+---------+----------+--------+-----------+------------+

Copy

쿼리 가속 서비스는 웨어하우스의 크레딧 사용률을 높일 수 있습니다. 최대 배율을 지정해 사용률을 제한할 수 있습니다. QUERY_ACCELERATION_MAX_SCALE_FACTOR 속성에 대한 자세한 내용은 CREATE WAREHOUSE 또는 ALTER WAREHOUSE 섹션을 참조하십시오.

QUERY_ACCELERATION_ELIGIBLE 뷰와 SYSTEM$ESTIMATE_QUERY_ACCELERATION 함수는 웨어하우스에 알맞은 배율을 결정하는 데 유용할 수 있습니다. 자세한 내용은 이 항목의 Query Acceleration의 이점을 얻을 수 있는 쿼리 및 웨어하우스 식별하기 섹션을 참조하십시오.

예¶

다음 예에서는 최대 배율이 0인 쿼리 가속화 서비스를 사용하도록 my_wh 라는 웨어하우스를 수정합니다.

ALTER WAREHOUSE my_wh SET
  ENABLE_QUERY_ACCELERATION = true
  QUERY_ACCELERATION_MAX_SCALE_FACTOR = 0;

Copy

웹 인터페이스를 사용하여 Query Acceleration 사용량 모니터링하기¶

Query Acceleration Service를 활성화하면 쿼리 프로필 탭 에서 Profile Overview 패널을 뷰하여 쿼리 가속 결과의 효과를 확인할 수 있습니다.

다음 스크린샷에서 전체 쿼리에 대해 표시되는 통계의 예를 볼 수 있습니다. 한 쿼리에서 여러 작업을 가속화한 경우 이 뷰에 결과가 집계되므로 쿼리 가속 서비스에서 수행한 총 작업량을 볼 수 있습니다.

Profile Overview 패널의 Query Acceleration 섹션에는 다음 통계가 포함됩니다.

• 서비스에서 스캔한 파티션 수 — 쿼리 가속 서비스로 스캔하기 위해 오프로드된 파일 개수.

• 가속을 위해 선택한 스캔 수 — 가속화되는 테이블 스캔 개수.

연산자 세부 정보(통계 참조)에서 연산자를 클릭하면 자세한 정보를 확인할 수 있습니다. 다음 스크린샷에서 TableScan 작업에 대해 표시되는 통계의 예를 볼 수 있습니다.

TableScan 세부 정보 패널의 Query Acceleration 섹션에는 다음 통계가 포함됩니다.

• 서비스에서 스캔한 파티션 수 — 쿼리 가속 서비스로 스캔하기 위해 오프로드된 파일 개수.

Account Usage QUERY_HISTORY 뷰를 사용하여 Query Acceleration 사용량 모니터링하기¶

쿼리 가속이 쿼리에 미치는 영향을 확인하려면 QUERY_HISTORY 뷰 에서 다음 열을 사용할 수 있습니다.

• QUERY_ACCELERATION_BYTES_SCANNED

• QUERY_ACCELERATION_PARTITIONS_SCANNED

• QUERY_ACCELERATION_UPPER_LIMIT_SCALE_FACTOR

이러한 열을 사용하여 쿼리 가속 서비스의 이점을 활용한 쿼리를 식별할 수 있습니다. 각 쿼리에 대해 쿼리 가속 서비스에서 스캔한 파티션과 바이트의 총수를 확인할 수도 있습니다.

이러한 각 열에 대한 설명은 QUERY_HISTORY 뷰 섹션을 참조하십시오.

예를 들어, 지난 24시간 동안 쿼리 가속 서비스에서 스캔한 바이트가 가장 많은 쿼리를 찾는 방법은 다음과 같습니다.

SELECT query_id,
       query_text,
       warehouse_name,
       start_time,
       end_time,
       query_acceleration_bytes_scanned,
       query_acceleration_partitions_scanned,
       query_acceleration_upper_limit_scale_factor
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
  WHERE query_acceleration_partitions_scanned > 0 
  AND start_time >= DATEADD(hour, -24, CURRENT_TIMESTAMP())
  ORDER BY query_acceleration_bytes_scanned DESC;

지난 24시간 동안 쿼리 가속 서비스에서 스캔한 파티션 수가 가장 많은 쿼리를 찾는 방법은 다음과 같습니다.

SELECT query_id,
       query_text,
       warehouse_name,
       start_time,
       end_time,
       query_acceleration_bytes_scanned,
       query_acceleration_partitions_scanned,
       query_acceleration_upper_limit_scale_factor
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
  WHERE query_acceleration_partitions_scanned > 0 
  AND start_time >= DATEADD(hour, -24, CURRENT_TIMESTAMP())
  ORDER BY query_acceleration_partitions_scanned DESC;

Classic Console에서 청구 정보 보기¶

계정에 대해 Query Acceleration을 활성화한 경우 Classic Console 의 청구 페이지에는 계정의 모든 웨어하우스에 걸쳐 서비스에서 사용하는 모든 크레딧을 표시하는 QUERY_ACCELERATION이라는 웨어하우스가 포함됩니다.

아래 스크린샷에서 QUERY_ACCELERATION 웨어하우스에 대해 표시된 청구 정보의 예를 볼 수 있습니다.

Account Usage QUERY_ACCELERATION_HISTORY 뷰를 사용하여 청구 보기¶

Account Usage QUERY_ACCELERATION_HISTORY 뷰 에서 청구 데이터를 볼 수 있습니다.

SELECT warehouse_name,
       SUM(credits_used) AS total_credits_used
  FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
  WHERE start_time >= DATE_TRUNC(month, CURRENT_DATE)
  GROUP BY 1
  ORDER BY 2 DESC;

Organization Usage QUERY_ACCELERATION_HISTORY 뷰를 사용하여 청구 보기¶

Organization Usage QUERY_ACCELERATION_HISTORY 뷰 에서 조직 내 모든 계정의 Query Acceleration Service에 대한 청구 데이터를 볼 수 있습니다.

SELECT account_name,
       warehouse_name,
       SUM(credits_used) AS total_credits_used
  FROM SNOWFLAKE.ORGANIZATION_USAGE.QUERY_ACCELERATION_HISTORY
  WHERE usage_date >= DATE_TRUNC(month, CURRENT_DATE)
  GROUP BY 1, 2
  ORDER BY 3 DESC;

QUERY_ACCELERATION_HISTORY 함수를 사용하여 청구 보기¶

Information Schema QUERY_ACCELERATION_HISTORY 함수를 사용하여 청구 데이터를 볼 수도 있습니다.

웨어하우스 및 Query Acceleration Service 비용 보기¶

다음 쿼리는 웨어하우스와 특정 웨어하우스에 대한 Query Acceleration Service 비용을 계산합니다. 웨어하우스에 대한 Query Acceleration Service를 활성화한 후 이 쿼리를 실행하여 쿼리 가속 활성화 전후의 비용을 비교할 수 있습니다. 쿼리의 날짜 범위는 Query Acceleration Service의 첫 번째 크레딧 사용 8주 전부터 Query Acceleration Service의 비용이 마지막으로 발생한 지 8주 후까지(또는 현재 날짜까지)입니다.

이 예시 쿼리는 my_warehouse 의 웨어하우스 및 Query Acceleration Service 비용을 반환합니다.

WITH credits AS (
  SELECT 'QC' AS credit_type,
         TO_DATE(end_time) AS credit_date,
         SUM(credits_used) AS num_credits
    FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
    WHERE warehouse_name = 'my_warehouse'
    AND credit_date BETWEEN
           DATEADD(WEEK, -8, (
             SELECT TO_DATE(MIN(end_time))
               FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
               WHERE warehouse_name = 'my_warehouse'
           ))
           AND
           DATEADD(WEEK, +8, (
             SELECT TO_DATE(MAX(end_time))
               FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
               WHERE warehouse_name = 'my_warehouse'
           ))
  GROUP BY credit_date
  UNION ALL
  SELECT 'WC' AS credit_type,
         TO_DATE(end_time) AS credit_date,
         SUM(credits_used) AS num_credits
    FROM SNOWFLAKE.ACCOUNT_USAGE.WAREHOUSE_METERING_HISTORY
    WHERE warehouse_name = 'my_warehouse'
    AND credit_date BETWEEN
           DATEADD(WEEK, -8, (
             SELECT TO_DATE(MIN(end_time))
               FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
               WHERE warehouse_name = 'my_warehouse'
           ))
           AND
           DATEADD(WEEK, +8, (
             SELECT TO_DATE(MAX(end_time))
               FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
               WHERE warehouse_name = 'my_warehouse'
           ))
  GROUP BY credit_date
)
SELECT credit_date,
       SUM(IFF(credit_type = 'QC', num_credits, 0)) AS qas_credits,
       SUM(IFF(credit_type = 'WC', num_credits, 0)) AS compute_credits,
       compute_credits + qas_credits AS total_credits,
       AVG(total_credits) OVER (
         PARTITION BY NULL ORDER BY credit_date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW)
         AS avg_total_credits_7days
  FROM credits
  GROUP BY credit_date
  ORDER BY credit_date;

쿼리 성능 보기¶

이 쿼리는 지정된 웨어하우스에 대해 쿼리 가속에 적합한 쿼리의 평균 실행 시간을 반환합니다. 쿼리의 날짜 범위는 Query Acceleration Service의 첫 번째 크레딧 사용 8주 전부터 Query Acceleration Service의 비용이 마지막으로 발생한 지 8주 후까지(또는 현재 날짜까지)입니다. 결과는 Query Acceleration Service 활성화 후 평균 쿼리 성능의 변화 양상을 평가하는 데 도움이 될 수 있습니다.

이 예시 쿼리는 일별 쿼리 실행 시간을 반환하고 my_warehouse 웨어하우스에서 가속에 적합한 쿼리에 대해 이전 주의 7일 평균을 계산합니다.

WITH qas_eligible_or_accelerated AS (
  SELECT TO_DATE(qh.end_time) AS exec_date,
        COUNT(*) AS num_execs,
        SUM(qh.execution_time) AS exec_time,
        MAX(IFF(qh.query_acceleration_bytes_scanned > 0, 1, NULL)) AS qas_accel_flag
    FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY AS qh
    WHERE qh.warehouse_name = 'my_warehouse'
    AND TO_DATE(qh.end_time) BETWEEN
           DATEADD(WEEK, -8, (
             SELECT TO_DATE(MIN(end_time))
               FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
              WHERE warehouse_name = 'my_warehouse'
           ))
           AND
           DATEADD(WEEK, +8, (
             SELECT TO_DATE(MAX(end_time))
               FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_HISTORY
              WHERE warehouse_name = 'my_warehouse'
           ))
    AND (qh.query_acceleration_bytes_scanned > 0
          OR
          EXISTS (
            SELECT 1
              FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_ACCELERATION_ELIGIBLE AS qae
               WHERE qae.query_id = qh.query_id
               AND qae.warehouse_name = qh.warehouse_name
          )
         )
    GROUP BY exec_date
)
SELECT exec_date,
       SUM(exec_time) OVER (
         PARTITION BY NULL ORDER BY exec_date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW
       ) /
       NULLIFZERO(SUM(num_execs) OVER (
         PARTITION BY NULL ORDER BY exec_date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW)
       ) AS avg_exec_time_7days,
      exec_time / NULLIFZERO(num_execs) AS avg_exec_time,
      qas_accel_flag,
      num_execs,
      exec_time
  FROM qas_eligible_or_accelerated;

이 문의 출력에는 다음 열이 포함됩니다.