カテゴリ:

集計関数 (カーディナリティ推定)、 ウィンドウ関数 (カーディナリティ推定)

HLL_ACCUMULATE

集約の終了時に HyperLogLog 状態を返します。

HyperLogLogの詳細については、 異なる値の数の推定 をご参照ください。

HLL は、最終的なカーディナリティの推定値が返されると、中間状態を破棄します。一括読み込み中の増分カーディナリティ推定などの高度なユースケースでは、中間状態の維持を希望する場合があります。中間状態は、後で他の中間状態と結合(マージ)したり、外部ツールにエクスポートしたりできます。

HLL とは異なり、 HLL_ACCUMULATE はカーディナリティの推定値を返しません。代わりに、最後の推定ステップをスキップして、アルゴリズムの状態自体を返します。状態は、最大4096バイトのバイナリです。詳細については、 異なる値の数の推定 をご参照ください。

こちらもご参照ください。

HLL_COMBINEHLL_ESTIMATE

構文

集計関数

HLL_ACCUMULATE( [ DISTINCT ] <expr> )

HLL_ACCUMULATE(*)

ウィンドウ関数

HLL_ACCUMULATE( [ DISTINCT ] <expr> ) OVER ( [ PARTITION BY <expr1> ] )

HLL_ACCUMULATE(*) OVER ( [ PARTITION BY <expr1> ] )

OVER句の詳細については、 ウィンドウ関数の構文と使用法 をご参照ください。

引数

expr

カーディナリティー(個別の値の数)を推定する式です。これは通常列名ですが、より一般的な式にすることもできます。

使用上の注意

  • この関数は 集計関数 または ウィンドウ関数 として使用できます。

  • DISTINCT はサポートされていますが、効果はありません。

これは、カナダの州の異なる郵便番号の数を推定するための1つのステップを示しています。このステップでは、マニトバ州の異なる郵便番号のおおよその数を計算し、計算の「状態」の内部表現を保存します。これは、他州の同様の情報と後で結合できます。

CREATE TABLE temporary_hll_state_for_manitoba AS
  SELECT HLL_ACCUMULATE(postal_code) AS h_a_p_c
    FROM postal_data
    WHERE province = 'Manitoba';

Here is another example. This example shows how to use the three related functions HLL_ACCUMULATE, HLL_ESTIMATE, and HLL_COMBINE.

簡単なテーブルとデータを作成します。

CREATE OR REPLACE SEQUENCE seq92;
CREATE OR REPLACE TABLE sequence_demo (c1 INTEGER DEFAULT seq92.nextval, dummy SMALLINT);
INSERT INTO sequence_demo (dummy) VALUES (0);

INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;
INSERT INTO sequence_demo (dummy) SELECT dummy FROM sequence_demo;

Create a table that contains the "state" that represents the current approximate cardinality information for the table named sequence_demo:

CREATE OR REPLACE TABLE resultstate1 AS (
  SELECT HLL_ACCUMULATE(c1) AS rs1
    FROM sequence_demo);

Now create a second table and add data. (In a more realistic situation, the user could have loaded more data into the first table and divided the data into non-overlapping sets based on the time that the data was loaded.)

CREATE OR REPLACE TABLE test_table2 (c1 INTEGER);
INSERT INTO test_table2 (c1) SELECT c1 + 4 FROM sequence_demo;

新しいデータのみの「状態」情報を取得します。

CREATE OR REPLACE TABLE resultstate2 AS
  (SELECT HLL_ACCUMULATE(c1) AS rs1
     FROM test_table2);

行の2つのバッチの「状態」情報を結合します。

CREATE OR REPLACE TABLE combined_resultstate (c1) AS
  SELECT HLL_COMBINE(rs1) AS apc1
    FROM (
      SELECT rs1 FROM resultstate1
      UNION ALL
      SELECT rs1 FROM resultstate2
    );

行の結合セットのおおよそのカーディナリティを取得します。

SELECT HLL_ESTIMATE(c1)
  FROM combined_resultstate;
+------------------+
| HLL_ESTIMATE(C1) |
|------------------|
|               12 |
+------------------+