Verwenden von Unveränderlichkeitseinschränkungen für dynamische Tabellen¶

Beispiel: Verwenden von IMMUTABLE WHERE, um die Neuberechnung alter Daten zu verhindern, wenn sich eine Dimensionstabelle ändert¶

Im folgenden Beispiel werden bei der Aktualisierung einer Zeile in der Dimensionstabelle die Fakten des letzten Tages, mit denen sie verknüpft ist, erneut verarbeitet, und nicht alle historischen Fakten:

CREATE DYNAMIC TABLE joined_data
  TARGET_LAG = '1 minute'
  WAREHOUSE = mywh
  IMMUTABLE WHERE (timestamp_col < CURRENT_TIMESTAMP() - INTERVAL '1 day')
  AS
    SELECT F.primary_key primary_key, F.timestamp_col timestamp_col, D.value dim_value
    FROM fact_table F
    LEFT OUTER JOIN dimension_table D USING (primary_key);

Beispiel: Dynamische Tabelle mit unbegrenzter Aufbewahrungsdauer und Basistabelle mit eingeschränkter Aufbewahrungsdauer¶

Das folgende Beispiel erstellt eine Staging-Tabelle mit einem begrenzten Fenster von kürzlich hinzugefügten Daten und einer dynamischen Tabelle, in der alle geparsten und gefilterten Daten gespeichert werden:

CREATE TABLE staging_data (raw TEXT, ts TIMESTAMP);

CREATE DYNAMIC TABLE parsed_data
  TARGET_LAG = '1 minute'
  WAREHOUSE = mywh
  IMMUTABLE WHERE (ts < CURRENT_TIMESTAMP() - INTERVAL '7 days')
  AS
    SELECT parse_json(raw):event_id::string event_id, parse_json(raw):name::string name, parse_json(raw):region::string region, ts
    FROM staging_data WHERE region = 'US';

-- Delete old staging data using Task
CREATE TASK delete_old_staging_data
  WAREHOUSE = mywh
  SCHEDULE = '24 hours'
  AS
    DELETE FROM staging_data WHERE ts < CURRENT_TIMESTAMP() - INTERVAL '30 days';

Beispiel: Verwenden Sie IMMUTABLE WHERE, um inkrementelle nachgelagerte Aktualisierungen zu aktivieren, wenn die vorgelagerte dynamische Tabelle im Modus der vollständigen Aktualisierung ausgeführt wird.¶

Einige Abfragekonstrukte, wie z. B. benutzerdefinierte Python-Tabellenfunktionen (UDTFs) erfordern, dass die dynamische Tabelle im Modus der vollständigen Aktualisierung ausgeführt wird. In der Regel verhindert diese Beschränkung eine inkrementelle Verarbeitung. Damit nachgelagerte Tabellen inkrementell bleiben, können Sie mit der IMMUTABLE WHERE-Klausel eine unveränderliche Region definieren, wie im folgenden Beispiel gezeigt. Auf diese Weise profitieren nachgelagerte Tabellen von den Leistungsoptimierungen, auch wenn die vorgelagerte Tabelle vollständige Aktualisierungen erfordert.

CREATE FUNCTION my_udtf(x varchar)
  RETURNS TABLE (output VARCHAR)
  LANGUAGE PYTHON
  AS $$ ... $$;

CREATE DYNAMIC TABLE udtf_dt
  TARGET_LAG = '1 hour'
  WAREHOUSE = mywh
  REFRESH_MODE = FULL
  IMMUTABLE WHERE (ts < current_timestamp() - interval '1 day')
  AS
    SELECT ts, data, output, join_key FROM input_table, TABLE(my_udtf(data));

CREATE DYNAMIC TABLE incremental_join_dt
  TARGET_LAG = '1 hour'
  WAREHOUSE = mywh
  REFRESH_MODE = INCREMENTAL
  IMMUTABLE WHERE (ts < current_timestamp() - interval '1 day')
  AS
    SELECT * FROM udtf_dt JOIN dim_table USING (join_key);

Einschränkungen und Hinweise zum Festlegen von Unveränderlichkeitseinschränkungen¶

• Das IMMUTABLE WHERE -Prädikat wird bei der ersten Aktualisierung ignoriert, gilt aber für alle nachfolgenden Aktualisierungen. Im Modus der vollständigen Aktualisierung beschränkt das Prädikat die Neuberechnung auf die Zeilen, die die Bedingung nicht erfüllen. Streams und dynamische Tabellen im inkrementellen Aktualisierungsmodus können aus diesen vollständig aktualisierten Tabellen lesen.

• IMMUTABLE WHERE-Einschränkungen werden beim Klonen und Replizieren ohne Einschränkungen kopiert.

• Alle Einschränkungen von regulären dynamischen Tabellen gelten weiterhin. Zusätzlich gelten die folgenden Einschränkungen:

  • Es kann nur ein einziges IMMUTABLE WHERE-Prädikat für eine dynamische Tabelle geben. Das Festlegen eines weiteren Prädikats mit einem ALTER DYNAMIC TABLE … SET IMMUTABLE WHERE-Befehl ersetzt jedes vorhandene Prädikat.

  • IMMUTABLE WHERE-Einschränkungen können die folgenden Elemente nicht enthalten:

    • Unterabfragen

    • Nicht deterministische Funktionen, mit Ausnahme von Zeitstempelfunktionen wie CURRENT_TIMESTAMP() oder CURRENT_DATE(). Wenn Sie Zeitstempelfunktionen nutzen, müssen Sie diese so verwenden, dass der unveränderliche Bereich mit der Zeit nicht kleiner werden kann. Beispiel, bei dem dies nicht zutrifft: TIMESTAMP_COL < CURRENT_TIMESTAMP() is allowed but TIMESTAMP_COL > CURRENT_TIMESTAMP().

    • Benutzerdefinierte oder externe Funktionen

    • Spalten für Metadaten, zum Beispiel solche, die mit METADATA$ beginnen.

    • Spalten, die das Ergebnis von Aggregaten, Fensterfunktionen oder nicht deterministischen Funktionen sind, oder Spalten, die über einen Fensterfunktionsoperator übergeben werden In den folgenden dynamischen Tabellen kann nur col3 in IMMUTABLE WHERE-Prädikaten verwendet werden:

      CREATE DYNAMIC TABLE aggregates TARGET_LAG = '1 minute' WAREHOUSE = mywh
        AS SELECT col3, SUM(col2) AS col2 FROM input_table
        GROUP BY col3;
      
      CREATE DYNAMIC TABLE window_fns TARGET_LAG = '1 minute' WAREHOUSE = mywh
        AS SELECT col3, SUM(col4) OVER (PARTITION BY col3 ORDER BY col4) AS col2, col5 FROM input_table;
      

      Copy

  • Sie können nur eine einzige IMMUTABLE WHERE-Bedingung für eine dynamische Tabelle festlegen. Um ein vorhandenes Prädikat zu ersetzen, verwenden Sie den Befehl ALTER DYNAMIC TABLE, wie im folgenden Beispiel gezeigt:

    -- Set or replace an existing predicate:
    ALTER DYNAMIC TABLE my_dynamic_table SET IMMUTABLE WHERE ( <expr> );
    

    Copy

    -- Remove an existing predicate:
    ALTER DYNAMIC TABLE my_dynamic_table UNSET IMMUTABLE WHERE;
    

    Copy