カテゴリ:

集計関数 (頻度推定)、 ウィンドウ関数

APPROX_TOP_K_ACCUMULATE

集約の終了時に省スペースの概要を返します。(省スペースの概要の詳細については、 頻繁な値の推定 をご参照ください)

関数 APPROX_TOP_K は、最終的なカーディナリティの推定値が返されると、内部の中間状態を破棄します。ただし、一括ロード中の増分頻度値の推定など、特定の高度な使用例では、中間状態を維持することをお勧めします。この場合、 APPROX_TOP_K の代わりに APPROX_TOP_K_ACCUMULATE を使用します。

APPROX_TOP_K とは対照的に、 APPROX_TOP_K_ACCUMULATE はアイテムの頻度推定値を返しません。代わりに、アルゴリズムの状態自体を返します。中間状態は後で次のようになる場合があります。

  • 別々ではあるが、関連するデータのバッチからの中間状態と結合(つまりマージ)されます。

  • 中間状態で直接動作する他の関数によって処理されます。例: APPROX_TOP_K_ESTIMATE (例については、以下の「例」セクションをご参照ください)

  • 外部ツールにエクスポートされます。

こちらもご参照ください。

APPROX_TOP_K_COMBINEAPPROX_TOP_K_ESTIMATE

構文

APPROX_TOP_K_ACCUMULATE( <expr> , <counters> )
Copy

引数

expr

最も一般的な値を検索する式(例: 列名)。

counters

これは、推定プロセス中に一度に追跡できる個別の値の最大数です。

例えば、 counters が100000に設定されている場合、アルゴリズムは100,000の異なる値を追跡し、100,000の最も頻繁な値を維持しようとします。

counters の最大数は 100000 (100,000)です。

この例は、3つの関連する関数 APPROX_TOP_K_ACCUMULATEAPPROX_TOP_K_ESTIMATEAPPROX_TOP_K_COMBINE の使用方法を示しています。

注釈

この例では、一貫した結果を得るために、個別のデータ値よりも多くのカウンターを使用します。実際のアプリケーションでは、通常、個別の値の数はカウンターの数よりも多いため、近似値はさまざまです。

この例では、値が1~8の8行のテーブルと、値が5~12の8行のテーブルを1つ生成します。したがって、2つのテーブルの和集合で最も頻繁に使用される値は値5~8であり、それぞれの値は2のカウントです。

簡単なテーブルとデータを作成します。

-- Create a sequence to use to generate values for the table.
CREATE OR REPLACE SEQUENCE seq91;
CREATE OR REPLACE TABLE sequence_demo (c1 INTEGER DEFAULT seq91.nextval, dummy SMALLINT);
INSERT INTO sequence_demo (dummy) VALUES (0);

-- Double the number of rows a few times, until there are 8 rows:
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
Copy

sequence_demoという名前のテーブルの現在の近似Top K情報を表す「状態」を含むテーブルを作成します。

CREATE OR REPLACE TABLE resultstate1 AS (
     SELECT approx_top_k_accumulate(c1, 50) AS rs1
        FROM sequence_demo);
Copy

次に、2番目のテーブルを作成してデータを追加します。(より現実的な状況では、ユーザーは最初のテーブルにより多くのデータを読み込み、データが読み込まれた時間に基づいてデータを重複しないセットに分割できます)

CREATE OR REPLACE TABLE test_table2 (c1 INTEGER);
-- Insert data.
INSERT INTO test_table2 (c1) SELECT c1 + 4 FROM sequence_demo;
Copy

新しいデータのみの「状態」情報を取得します。

CREATE OR REPLACE TABLE resultstate2 AS 
  (SELECT approx_top_k_accumulate(c1, 50) AS rs1 
     FROM test_table2);
Copy

行の2つのバッチの「状態」情報を結合します。

CREATE OR REPLACE TABLE combined_resultstate (c1) AS 
  SELECT approx_top_k_combine(rs1) AS apc1
    FROM (
        SELECT rs1 FROM resultstate1
        UNION ALL
        SELECT rs1 FROM resultstate2
      )
      ;
Copy

行の結合セットの近似Top K値を取得します。

SELECT approx_top_k_estimate(c1, 4) FROM combined_resultstate;
Copy

出力:

+------------------------------+
| APPROX_TOP_K_ESTIMATE(C1, 4) |
|------------------------------|
| [                            |
|   [                          |
|     5,                       |
|     2                        |
|   ],                         |
|   [                          |
|     6,                       |
|     2                        |
|   ],                         |
|   [                          |
|     7,                       |
|     2                        |
|   ],                         |
|   [                          |
|     8,                       |
|     2                        |
|   ]                          |
| ]                            |
+------------------------------+
Copy