Implementieren von Datenschutz auf Entitätsebene mit Aggregationsrichtlinien¶

Allgemeine Informationen zum Datenschutz auf Entitätsebene¶

Eine Entität bezieht sich auf eine Menge von Attributen, die zu einem logischen Objekt gehören (z. B. ein Benutzerprofil oder Haushaltsdaten). Diese Attribute können verwendet werden, um eine Entität innerhalb eines Datensets zu identifizieren. Datenschutz auf Entitätsebene ist ein Feature aus dem Bereich von Privacy-Enhancing Technologies, kurz PET (dt. Technologien zum Schutz der Privatsphäre), das die Privatsphäre einer Entität schützt, die in einem freigegebenen Datenset gespeichert ist. Das Feature stellt sicher, dass Abfragen keine sensiblen Attribute einer Entität offenlegen können, selbst wenn diese Attribute in mehreren Datensätzen zu finden sind.

Um Datenschutz auf Entitätsebene zu erreichen, können Sie in Snowflake angeben, welche Spalten eine Entität identifizieren (ein Entitätsschlüssel). Damit kann Snowflake alle Datensätze identifizieren, die zu einer bestimmten Entität innerhalb eines Datensets gehören. Wenn zum Beispiel die Spalte email als der Entitätsschlüssel definiert ist, kann Snowflake feststellen, dass alle Datensätze, in denen email=joe.smith@example.com vorkommt, zur selben Entität gehören.

Wenn Sie mehrere Entitäten für eine Tabelle definieren, wird die Aggregationsrichtlinie für jeden Entitätsschlüssel separat ausgewertet.

Die Richtlinie wird auf eine Abfrage angewendet, auch wenn die Schlüsselspalten nicht in der Abfrage erscheinen. Bei einer Richtlinie, die sich auf den Entitätsschlüssel (user_id) bezieht, wendet die Abfrage SELECT age FROM T1 GROUP BY age; beispielsweise die Einschränkung min_group_size für user_id in jeder Gruppe an, obwohl user_id nicht in der Abfrage erscheint.

Allgemeine Informationen zur Mindestgruppengröße¶

Jede Aggregationsrichtlinie legt eine Mindestgruppengröße fest. Ohne Datenschutz auf Entitätsebene definiert die Mindestgruppengröße die Anzahl der Datensätze, die in eine Aggregationsgruppe aufgenommen werden müssen. Wenn ein Entitätsschlüssel angegeben wird, definiert die Mindestgruppengröße die Mindestanzahl von eindeutigen Entitäten, die in der Gruppe vorkommen müssen, damit sie in den Endergebnissen angezeigt werden kann. Denken Sie daran, dass Aggregationsfunktionen wie SUM und AVG eine Gruppe zurückgeben, während GROUP BY-Spalten eine Gruppe pro eindeutigem Wert in den gruppierten Spalten zurückgeben.

Die folgenden Richtlinien auf Spaltenebene wirken sich nicht darauf aus, wie Snowflake berechnet, ob genügend Entitäten in einer Aggregationsgruppe vorhanden sind:

• Projektionsrichtlinien werden nach den Aggregationsrichtlinien durchgesetzt.

• Die Maskierungsrichtlinien werden vor den Aggregationsrichtlinien durchgesetzt. Alle Aggregationsfunktionen oder -richtlinien arbeiten mit maskierten Daten.

In Fällen, in denen Namensreferenzen mehrfach verwendet werden (z. B. in den Operatoren JOIN oder UNION), erzwingt Snowflake die minimale Gruppengröße für jede Namensreferenz eines jeden Datensets separat. Dies gilt auch dann, wenn die Referenz mehrmals auf dasselbe Datenset verweist.

Datenschutzes auf Entitätsebene mit Aggregationsrichtlinien durchsetzen¶

Um den Datenschutz auf Entitätsebene mit Aggregationsrichtlinien durchzusetzen, gehen Sie wie folgt vor:

1. Wenn Sie den Befehl CREATE AGGREGATION POLICY ausführen, um die Aggregationsrichtlinie zu erstellen, können Sie die Anzahl der Entitäten angeben, die in jeder Aggregationsgruppe enthalten sein muss.

2. Definieren Sie den Entitätsschlüssel, wenn Sie die Aggregationsrichtlinie einer Tabelle oder Ansicht zuweisen.

CREATE AGGREGATION POLICY my_agg_policy
  AS () RETURNS AGGREGATION_CONSTRAINT ->
  AGGREGATION_CONSTRAINT(MIN_GROUP_SIZE => 5);

ALTER TABLE viewership_log
  SET AGGREGATION POLICY my_agg_policy
  ENTITY KEY (first_name,last_name);

ALTER TABLE transactions ADD AGGREGATION POLICY ap ENTITY KEY (user_id, user_email);
ALTER TABLE transactions ADD AGGREGATION POLICY ap ENTITY KEY (vendor_id);

ALTER TABLE transactions ADD AGGREGATION POLICY ap ENTITY KEY (user_id) ENTITY KEY (vendor_id);

CREATE TABLE t1
  WITH AGGREGATION POLICY my_agg_policy
  ENTITY KEY (first_name,last_name);

Aufgeschobene Aggregationsrichtlinien¶

Wenn eine Abfrage Unterabfragen hat, versucht Snowflake, alle Aggregationsrichtlinien für Entitäten auf die innerste Abfrage anzuwenden. Wenn diese Abfrage eine GROUP BY-Klausel hat und die GROUP BY-Spalten mit dem Entitätsschlüssel für eine Aggregationsrichtlinie übereinstimmen, wird diese Aggregationsrichtlinie nicht auf diese Unterabfrage, sondern auf die übergeordnete Abfrage dieser Unterabfrage angewendet. Dieser Aufschub setzt sich die Kette hinauf fort, bis entweder eine Abfrage erreicht wird, die keinen Satz von GROUP BY-Spalten hat, die mit dem Entitätsschlüssel der Richtlinie übereinstimmen, oder bis die oberste Abfrage erreicht wird; in beiden Fällen wird die Aggregationsrichtlinie auf diese Abfrage angewendet. Eine Aggregationsrichtlinie wird nur einmal in einer Abfragekette angewendet.

Nehmen wir zum Beispiel an, Sie haben eine Aggregationsrichtlinie my_agg_policy mit dem Entitätsschlüssel (name, zipcode). In der folgenden Pseudoabfrage hat die innere Abfrage einen GROUP BY-Satz, der mit dem Entitätsschlüssel für my_agg_policy übereinstimmt, sodass die Richtlinie auf die übergeordnete Abfrage verschoben wird. Die Richtlinie wird auf die übergeordnete Ebene angewendet, da es sich um eine Abfrage der obersten Ebene handelt, auch wenn die GROUP BY-Spalten ebenfalls mit den Spalten der Richtlinie übereinstimmen.

SELECT age, name, zipcode FROM(                        -- Outermost query: my_agg_policy enforced.
  SELECT name, zipcode FROM T GROUP BY name, zipcode   -- Matches my_agg_policy entity key: my_agg_policy deferred
)
  GROUP BY age, name, zipcode;

Beachten Sie, dass GROUP BY-Spalten eine Obermenge der Entitätsschlüsselspalten sein können, um einen Aufschub auszulösen, und dass Richtlinien nur aufgeschoben werden, wenn GROUP BY-Spalten übereinstimmen; Aggregationsfunktionen lösen keinen Aufschub aus.

Jede Aggregationsrichtlinie wird separat auf alle Abfrageblöcke in der Abfrage angewendet. Eine Abfrage, die aus mehreren Blöcken besteht, wertet durch einen Set-Operator (wie z. B. UNION) die Aggregationsrichtlinien für jeden Abfrageblock separat aus.

Der Aufschub der Aggregation hat einige nützliche Auswirkungen, wie das folgende Beispiel zeigt.

WITH bucketed AS (
  SELECT
    CASE
      WHEN SUM(transaction_amount) BETWEEN 0 AND 100 THEN 'low'
      WHEN SUM(transaction_amount) BETWEEN 101 AND 100000 THEN 'high'
    END AS transaction_bucket,
    zipcode,               -- zipcode and email need not appear in the select list, but this lets us compute entity_count below
    email
  FROM my_transactions
  GROUP BY zipcode, email  -- This would not work if it was only GROUP BY zipcode, since the entity key is (zipcode, email)
)
SELECT
  transaction_bucket,
  COUNT(DISTINCT zipcode, email) AS entity_count
FROM
  bucketed
GROUP BY transaction_bucket;

Entitätsschlüssel-Einschränkungen entfernen¶

So entfernen Sie eine Aggregationsrichtlinie für einen einzelnen Entitätsschlüssel:

-- Drop agg policy ap associated with entity key user_id
ALTER TABLE transactions DROP AGGREGATION POLICY ap ENTITY KEY (user_id)

Um eine Aggregationsrichtlinie für mehrere Entitätsschlüssel zu entfernen, entfernen Sie jede Richtlinie einzeln:

-- Drop the agg policies associated with two separate keys
ALTER TABLE transactions DROP AGGREGATION POLICY ap ENTITY KEY (user_id)
ALTER TABLE transactions DROP AGGREGATION POLICY ap ENTITY KEY (vendor_id)

Um eine Aggregationsrichtlinie zusammen mit all ihren Entitäten zu entfernen, lassen Sie ENTITY KEY in der DROP-Anweisung weg:

-- Drop agg policy ap from the table entirely
ALTER TABLE transactions DROP AGGREGATION POLICY ap

Einschränkungen¶

Die folgenden Einschränkungen gelten, wenn Sie mit Tabellen arbeiten, für die mehrere Entitätsschlüssel oder Aggregationsrichtlinien definiert sind:

• Ein Entitätsschlüssel kann mit höchstens einer Richtlinie verknüpft sein. Der Versuch, eine andere Richtlinie für einen Entitätsschlüssel zuzuweisen, der bereits einer Richtlinie zugeordnet ist, führt zu einem Fehler.

• Eine Richtlinie kann nicht sowohl für den Datenschutz auf Zeilenebene als auch für den Datenschutz auf Entitätsebene verwendet werden.

• Für den Datenschutz auf Zeilenebene kann höchstens eine Richtlinie verwendet werden. Der Versuch, eine andere Richtlinie als Aggregationsrichtlinie auf Zeilenebene zuzuweisen, führt zu einem Fehler.

Abfragen von Tabellen mit Aggregationseinschränkung¶

Die Anforderungen an das Abfragen einer Tabelle mit Aggregationseinschränkung, die einen Entitätsschlüssel hat, sind dieselben wie beim Abfragen von Tabellen ohne einen solchen. Weitere Informationen darüber, welche Typen von Abfragen diesen Anforderungen entsprechen, finden Sie unter Abfrageanforderungen.