- カテゴリ:
集計関数 (Frequency Estimation) , ウィンドウ関数の構文と使用法
APPROX_TOP_K_ACCUMULATE¶
集約の終了時に省スペースの概要を返します。(省スペースの概要の詳細については、 頻繁な値の推定 をご参照ください)
関数 APPROX_TOP_K は、最終的なカーディナリティの推定値が返されると、内部の中間状態を破棄します。ただし、一括ロード中の増分頻度値の推定など、特定の高度な使用例では、中間状態を維持することをお勧めします。この場合、 APPROX_TOP_K の代わりに APPROX_TOP_K_ACCUMULATE を使用します。
APPROX_TOP_K とは対照的に、 APPROX_TOP_K_ACCUMULATE はアイテムの頻度推定値を返しません。代わりに、アルゴリズムの状態自体を返します。中間状態は後で次のようになる場合があります。
別々ではあるけれども、関連するデータのバッチからの中間状態と結合(つまりマージ)されます。
中間状態で直接動作する他の関数によって処理されます。例: APPROX_TOP_K_ESTIMATE (例については、以下の「例」セクションをご参照ください)
外部ツールにエクスポートされます。
- こちらもご参照ください。
構文¶
APPROX_TOP_K_ACCUMULATE( <expr> , <counters> )
引数¶
expr
最も一般的な値を検索する式(例: 列名)。
counters
これは、推定プロセス中に一度に追跡できる個別の値の最大数です。
例えば、
counters
が100000に設定されている場合、アルゴリズムは100,000の異なる値を追跡し、100,000の最も頻繁な値を維持しようとします。counters
の最大数は100000
(100,000)です。
例¶
この例は、3つの関連する関数 APPROX_TOP_K_ACCUMULATE、 APPROX_TOP_K_ESTIMATE、 APPROX_TOP_K_COMBINE の使用方法を示しています。
注釈
この例では、一貫した結果を得るために、個別のデータ値よりも多くのカウンターを使用します。実際のアプリケーションでは、通常、個別の値の数はカウンターの数よりも多いため、近似値はさまざまです。
この例では、値が1~8の8行のテーブルと、値が5~12の8行のテーブルを1つ生成します。したがって、2つのテーブルの和集合で最も頻繁に使用される値は値5~8であり、それぞれの値は2のカウントです。
簡単なテーブルとデータを作成します。
-- Create a sequence to use to generate values for the table.
CREATE OR REPLACE SEQUENCE seq91;
CREATE OR REPLACE TABLE sequence_demo (c1 INTEGER DEFAULT seq91.nextval, dummy SMALLINT);
INSERT INTO sequence_demo (dummy) VALUES (0);
-- Double the number of rows a few times, until there are 8 rows:
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
sequence_demoという名前のテーブルの現在の近似Top K情報を表す「状態」を含むテーブルを作成します。
CREATE OR REPLACE TABLE resultstate1 AS (
SELECT approx_top_k_accumulate(c1, 50) AS rs1
FROM sequence_demo);
次に、2番目のテーブルを作成してデータを追加します。(より現実的な状況では、ユーザーは最初のテーブルにより多くのデータを読み込み、データが読み込まれた時間に基づいてデータを重複しないセットに分割できます)
CREATE OR REPLACE TABLE test_table2 (c1 INTEGER);
-- Insert data.
INSERT INTO test_table2 (c1) SELECT c1 + 4 FROM sequence_demo;
新しいデータのみの「状態」情報を取得します。
CREATE OR REPLACE TABLE resultstate2 AS
(SELECT approx_top_k_accumulate(c1, 50) AS rs1
FROM test_table2);
行の2つのバッチの「状態」情報を結合します。
CREATE OR REPLACE TABLE combined_resultstate (c1) AS
SELECT approx_top_k_combine(rs1) AS apc1
FROM (
SELECT rs1 FROM resultstate1
UNION ALL
SELECT rs1 FROM resultstate2
)
;
行の結合セットの近似Top K値を取得します。
SELECT approx_top_k_estimate(c1, 4) FROM combined_resultstate;
出力:
+------------------------------+
| APPROX_TOP_K_ESTIMATE(C1, 4) |
|------------------------------|
| [ |
| [ |
| 5, |
| 2 |
| ], |
| [ |
| 6, |
| 2 |
| ], |
| [ |
| 7, |
| 2 |
| ], |
| [ |
| 8, |
| 2 |
| ] |
| ] |
+------------------------------+