カテゴリ:

集計関数 (カーディナリティ推定)、 ウィンドウ関数

HLL_ACCUMULATE

集約の終了時に HyperLogLog 状態を返します。

HyperLogLogの詳細については、 異なる値の数の推定 をご参照ください。

HLL は、最終的なカーディナリティの推定値が返されると、中間状態を破棄します。一括読み込み中の増分カーディナリティ推定などの高度なユースケースでは、中間状態の維持を希望する場合があります。中間状態は、後で他の中間状態と結合(マージ)したり、外部ツールにエクスポートしたりできます。

HLL とは異なり、 HLL_ACCUMULATE はカーディナリティの推定値を返しません。代わりに、最後の推定ステップをスキップして、アルゴリズムの状態自体を返します。状態は、最大4096バイトのバイナリです。詳細については、 異なる値の数の推定 をご参照ください。

こちらもご覧ください:

HLL_COMBINEHLL_ESTIMATE

構文

HLL_ACCUMULATE( [ DISTINCT ] <expr> )

HLL_ACCUMULATE(*)

引数

カーディナリティー(個別の値の数)を推定する式です。これは通常列名ですが、より一般的な式にすることもできます。

使用上の注意

  • DISTINCT 引数として含めることができますが、効果はありません。

これは、カナダの州の異なる郵便番号の数を推定するための1つのステップを示しています。このステップでは、マニトバ州の異なる郵便番号のおおよその数を計算し、計算の「状態」の内部表現を保存します。これは、他州の同様の情報と後で結合できます。

CREATE TABLE temporary_hll_state_for_manitoba AS
 SELECT HLL_ACCUMULATE(postal_code) as h_a_p_c
  FROM postal_data
  WHERE province = 'Manitoba'
  ;

別の例を示します。この例は、3つの関連する関数 HLL_ACCUMULATEHLL_ESTIMATEHLL_COMBINE の使用方法を示しています。

簡単なテーブルとデータを作成します。

-- Create a sequence to use to generate values for the table.
CREATE OR REPLACE SEQUENCE seq92;
CREATE OR REPLACE TABLE sequence_demo (c1 INTEGER DEFAULT seq92.nextval, dummy SMALLINT);
INSERT INTO sequence_demo (dummy) VALUES (0);

-- Double the number of rows a few times, until there are 8 rows:
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;

sequence_demoという名前のテーブルの現在の近似カーディナリティ情報を表す「状態」を含むテーブルを作成します。

CREATE OR REPLACE TABLE resultstate1 AS (
     SELECT hll_accumulate(c1) AS rs1
        FROM sequence_demo);

次に、2番目のテーブルを作成してデータを追加します。(より現実的な状況では、ユーザーは最初のテーブルにより多くのデータを読み込み、データが読み込まれた時間に基づいてデータを重複しないセットに分割できます。)

CREATE OR REPLACE TABLE test_table2 (c1 INTEGER);
-- Insert data.
INSERT INTO test_table2 (c1) SELECT c1 + 4 FROM sequence_demo;

新しいデータのみの「状態」情報を取得します。

CREATE OR REPLACE TABLE resultstate2 AS 
  (SELECT hll_accumulate(c1) AS rs1 
     FROM test_table2);

行の2つのバッチの「状態」情報を結合します。

CREATE OR REPLACE TABLE combined_resultstate (c1) AS 
  SELECT hll_combine(rs1) AS apc1
    FROM (
        SELECT rs1 FROM resultstate1
        UNION ALL
        SELECT rs1 FROM resultstate2
      )
      ;

行の結合セットのおおよそのカーディナリティを取得します。

SELECT hll_estimate(c1) FROM combined_resultstate;

出力:

+------------------+
| HLL_ESTIMATE(C1) |
|------------------|
|               12 |
+------------------+