3단계. 데이터 스큐 데이터¶
FLATTEN 은 VARIANT, OBJECT 또는 ARRAY 열의 래터럴 뷰를 생성하는 테이블 함수입니다. 이 단계에서는 이 함수를 사용하여 다양한 수준의 평면화를 탐색합니다.
베리언트 열의 배열 오브젝트 평면화하기¶
FLATTEN 함수를 사용하여 events 배열의 이벤트 오브젝트를 별도의 행으로 평면화할 수 있습니다. 함수 출력에는 이러한 개별 이벤트를 저장하는 VALUE 열이 포함됩니다.
그런 다음 LATERAL 한정자를 사용하여 FLATTEN 함수 출력을 오브젝트 외부의 정보(이 예에서는 device_type 및 version)와 조인할 수 있습니다.
각 이벤트에 대한 데이터 쿼리:
SELECT src:device_type::string, src:version::String, VALUE FROM raw_source, LATERAL FLATTEN( INPUT => SRC:events );
쿼리에서 반환되는 결과는 다음과 같습니다.
+-------------------------+---------------------+-------------------------------------------------------------------------------+ | SRC:DEVICE_TYPE::STRING | SRC:VERSION::STRING | VALUE | |-------------------------+---------------------+-------------------------------------------------------------------------------| | server | 2.6 | { | | | | "f": 83, | | | | "rv": "15219.64,783.63,48674.48,84679.52,27499.78,2178.83,0.42,74900.19", | | | | "t": 1437560931139, | | | | "v": { | | | | "ACHZ": 42869, | | | | "ACV": 709489, | | | | "DCA": 232, | | | | "DCV": 62287, | | | | "ENJR": 2599, | | | | "ERRS": 205, | | | | "MXEC": 487, | | | | "TMPI": 9 | | | | }, | | | | "vd": 54, | | | | "z": 1437644222811 | | | | } | | server | 2.6 | { | | | | "f": 1000083, | | | | "rv": "8070.52,54470.71,85331.27,9.10,70825.85,65191.82,46564.53,29422.22", | | | | "t": 1437036965027, | | | | "v": { | | | | "ACHZ": 6953, | | | | "ACV": 346795, | | | | "DCA": 250, | | | | "DCV": 46066, | | | | "ENJR": 9033, | | | | "ERRS": 615, | | | | "MXEC": 0, | | | | "TMPI": 112 | | | | }, | | | | "vd": 626, | | | | "z": 1437660796958 | | | | } | +-------------------------+---------------------+-------------------------------------------------------------------------------+
CREATE TABLE AS SELECT 문을 사용하여 이전 쿼리 결과를 테이블에 저장합니다.
CREATE OR REPLACE TABLE flattened_source AS SELECT src:device_type::string AS device_type, src:version::string AS version, VALUE AS src FROM raw_source, LATERAL FLATTEN( INPUT => SRC:events );
결과 테이블을 쿼리합니다.
SELECT * FROM flattened_source;
쿼리에서 반환되는 결과는 다음과 같습니다.
+-------------+---------+-------------------------------------------------------------------------------+ | DEVICE_TYPE | VERSION | SRC | |-------------+---------+-------------------------------------------------------------------------------| | server | 2.6 | { | | | | "f": 83, | | | | "rv": "15219.64,783.63,48674.48,84679.52,27499.78,2178.83,0.42,74900.19", | | | | "t": 1437560931139, | | | | "v": { | | | | "ACHZ": 42869, | | | | "ACV": 709489, | | | | "DCA": 232, | | | | "DCV": 62287, | | | | "ENJR": 2599, | | | | "ERRS": 205, | | | | "MXEC": 487, | | | | "TMPI": 9 | | | | }, | | | | "vd": 54, | | | | "z": 1437644222811 | | | | } | | server | 2.6 | { | | | | "f": 1000083, | | | | "rv": "8070.52,54470.71,85331.27,9.10,70825.85,65191.82,46564.53,29422.22", | | | | "t": 1437036965027, | | | | "v": { | | | | "ACHZ": 6953, | | | | "ACV": 346795, | | | | "DCA": 250, | | | | "DCV": 46066, | | | | "ENJR": 9033, | | | | "ERRS": 615, | | | | "MXEC": 0, | | | | "TMPI": 112 | | | | }, | | | | "vd": 626, | | | | "z": 1437660796958 | | | | } | +-------------+---------+-------------------------------------------------------------------------------+
별도의 열에 오브젝트 키 평면화하기¶
이전 예제에서는 events 배열의 이벤트 오브젝트를 별도의 행으로 평면화했습니다. 결과 flattened_source 테이블은 VARIANT 유형의 src 열에 이벤트 구조를 유지했습니다.
VARIANT 유형의 src 열에 이벤트 오브젝트를 유지하는 한 가지 이점은 이벤트 형식이 변경될 때 그러한 테이블을 다시 만들고 다시 채울 필요가 없다는 점입니다. 하지만 다음 쿼리에서 보듯이 이벤트 오브젝트의 개별 키를 별도 유형의 열로 복사하는 옵션도 있습니다.
다음 CREATE TABLE AS SELECT 문으로 별도의 열에 저장된 이벤트 오브젝트 키를 사용하여 events 라는 새 테이블을 만듭니다. 각 값은 이중 콜론(::) 뒤에 타입이 오는 형식으로 값에 적합한 데이터 타입으로 캐스팅됩니다. 캐스팅을 생략하면, 열이 VARIANT 데이터 타입인 것으로 가정되며 모든 값을 가질 수 있습니다.
create or replace table events as
select
src:device_type::string as device_type
, src:version::string as version
, value:f::number as f
, value:rv::variant as rv
, value:t::number as t
, value:v.ACHZ::number as achz
, value:v.ACV::number as acv
, value:v.DCA::number as dca
, value:v.DCV::number as dcv
, value:v.ENJR::number as enjr
, value:v.ERRS::number as errs
, value:v.MXEC::number as mxec
, value:v.TMPI::number as tmpi
, value:vd::number as vd
, value:z::number as z
from
raw_source
, lateral flatten ( input => SRC:events );
이 문에서는 EVENTS.SRC:V 키의 중첩 데이터를 스큐하여 각 값에 대한 별도의 열을 추가합니다. 이 문에서는 각 키/값 페어에 대한 행이 출력됩니다. 다음 출력은 새 events 테이블의 첫 레코드 2개를 보여줍니다.
SELECT * FROM events;
+-------------+---------+---------+----------------------------------------------------------------------+---------------+-------+--------+-----+-------+------+------+------+------+-----+---------------+
| DEVICE_TYPE | VERSION | F | RV | T | ACHZ | ACV | DCA | DCV | ENJR | ERRS | MXEC | TMPI | VD | Z |
|-------------+---------+---------+----------------------------------------------------------------------+---------------+-------+--------+-----+-------+------+------+------+------+-----+---------------|
| server | 2.6 | 83 | "15219.64,783.63,48674.48,84679.52,27499.78,2178.83,0.42,74900.19" | 1437560931139 | 42869 | 709489 | 232 | 62287 | 2599 | 205 | 487 | 9 | 54 | 1437644222811 |
| server | 2.6 | 1000083 | "8070.52,54470.71,85331.27,9.10,70825.85,65191.82,46564.53,29422.22" | 1437036965027 | 6953 | 346795 | 250 | 46066 | 9033 | 615 | 0 | 112 | 626 | 1437660796958 |
+-------------+---------+---------+----------------------------------------------------------------------+---------------+-------+--------+-----+-------+------+------+------+------+-----+---------------+
다음 항목: 4단계. 데이터 업데이트