Implementação de privacidade ao nível de entidade com políticas de agregação¶

Sobre a privacidade ao nível de entidade¶

Uma entidade se refere a um conjunto de atributos que pertencem a um objeto lógico (por exemplo, um perfil de usuário ou informações familiares). Esses atributos podem ser usados para identificar uma entidade em um conjunto de dados. A privacidade ao nível de entidade é um recurso das tecnologias de aprimoramento de privacidade (PET) que protege a privacidade de uma entidade armazenada em um conjunto de dados compartilhado. Ela garante que as consultas não possam expor atributos confidenciais de uma entidade, mesmo que esses atributos sejam encontrados em vários registros.

Para obter privacidade no nível de entidade, o Snowflake permite que você especifique quais colunas identificam uma entidade (uma chave de entidade). Isso permite que o Snowflake identifique todos os registros que pertencem a uma entidade específica dentro de um conjunto de dados. Por exemplo, se a chave da entidade for definida como a coluna email, então o Snowflake pode determinar que todos os registros com email=joe.smith@example.com pertencem à mesma entidade.

Ao avaliar várias entidades para uma tabela, a política de agregação é avaliada separadamente para cada chave de entidade.

A política é aplicada a uma consulta mesmo que as colunas-chave não apareçam na consulta. Por exemplo, dada uma política que se aplica à chave de entidade (user_id), a consulta SELECT age FROM T1 GROUP BY age; ainda aplicará a restrição min_group_size para user_id em cada grupo, embora user_id não apareça na consulta.

Sobre os tamanhos mínimos de grupo¶

Cada política de agregação especifica um tamanho mínimo de grupo. Sem privacidade ao nível de entidade, o tamanho mínimo do grupo define o número de registros que devem ser inclusos em um grupo de agregação. Quando uma chave de entidade é especificada, o tamanho mínimo do grupo define o número mínimo de entidades exclusivas que devem aparecer no grupo para permitir que ele apareça nos resultados finais. Lembre-se de que as funções de agregação, como SUM e AVG, retornam um grupo, enquanto as colunas GROUP BY retornam um grupo por valor exclusivo nas colunas agrupadas.

As seguintes políticas ao nível de coluna não afetam como o Snowflake calcula se há entidades suficientes em um grupo de agregação:

• As políticas de projeção são aplicadas após as políticas de agregação.

• As políticas de mascaramento são aplicadas antes das políticas de agregação. Todas as funções ou políticas de agregação funcionam em dados mascarados.

Nos casos em que as referências de nome forem usadas várias vezes (por exemplo, em operadores JOIN ou UNION), o Snowflake impõe o tamanho mínimo de grupo para cada referência de nome de cada conjunto de dados separadamente. Isso se aplica mesmo quando a referência aponta para o mesmo conjunto de dados várias vezes.

Aplicação de privacidade ao nível de entidade com as políticas de agregação¶

Para impor privacidade ao nível de entidade com políticas de agregação, faça o seguinte:

1. Ao executar o comando CREATE AGGREGATION POLICY para criar a política de agregação, especifique o número de entidades que devem ser inclusas em cada grupo de agregação.

2. Defina a chave da entidade ao atribuir a política de agregação a uma tabela ou exibição.

CREATE AGGREGATION POLICY my_agg_policy
  AS () RETURNS AGGREGATION_CONSTRAINT ->
  AGGREGATION_CONSTRAINT(MIN_GROUP_SIZE => 5);

ALTER TABLE viewership_log
  SET AGGREGATION POLICY my_agg_policy
  ENTITY KEY (first_name,last_name);

ALTER TABLE transactions ADD AGGREGATION POLICY ap ENTITY KEY (user_id, user_email);
ALTER TABLE transactions ADD AGGREGATION POLICY ap ENTITY KEY (vendor_id);

ALTER TABLE transactions ADD AGGREGATION POLICY ap ENTITY KEY (user_id) ENTITY KEY (vendor_id);

CREATE TABLE t1
  WITH AGGREGATION POLICY my_agg_policy
  ENTITY KEY (first_name,last_name);

Políticas de agregação diferida¶

Se uma consulta tiver subconsultas, o Snowflake tentará aplicar quaisquer políticas de agregação de entidades na consulta mais interna. Se essa consulta tiver uma cláusula GROUP BY e as colunas GROUP BY corresponderem à chave de entidade de uma política de agregação, essa política de agregação não será aplicada a essa subconsulta, mas à consulta pai dessa subconsulta. Esse adiamento continua na cadeia até que se chegue a uma consulta que não tenha um conjunto de colunas GROUP BY que correspondam à chave de entidade da política ou até que se chegue à consulta de nível superior; em ambos os casos, a política de agregação será aplicada a essa consulta. Uma política de agregação é aplicada apenas uma vez em uma cadeia de consultas.

Por exemplo, suponha que você tenha uma política de agregação my_agg_policy com chave de entidade (name, zipcode). Na pseudoconsulta a seguir, a consulta interna tem um conjunto GROUP BY que corresponde à chave de entidade para my_agg_policy e, portanto, a política é adiada para seu pai. A política é aplicada ao pai porque é uma consulta de nível superior, mesmo que as colunas GROUP BY também correspondam às colunas de política.

SELECT age, name, zipcode FROM(                        -- Outermost query: my_agg_policy enforced.
  SELECT name, zipcode FROM T GROUP BY name, zipcode   -- Matches my_agg_policy entity key: my_agg_policy deferred
)
  GROUP BY age, name, zipcode;

Observe que as colunas GROUP BY podem ser um superconjunto das colunas da chave de entidade para acionar um adiamento, e as políticas são adiadas somente quando as colunas GROUP BY são correspondidas; as funções de agregação não acionam o adiamento.

Cada política de agregação é aplicada separadamente a todos os blocos de consulta na consulta. Uma consulta composta de vários blocos por meio de um operador de conjunto (como UNION) avaliará as políticas de agregação separadamente para cada bloco de consulta.

O adiamento da agregação tem alguns efeitos úteis, demonstrados no exemplo a seguir.

WITH bucketed AS (
  SELECT
    CASE
      WHEN SUM(transaction_amount) BETWEEN 0 AND 100 THEN 'low'
      WHEN SUM(transaction_amount) BETWEEN 101 AND 100000 THEN 'high'
    END AS transaction_bucket,
    zipcode,               -- zipcode and email need not appear in the select list, but this lets us compute entity_count below
    email
  FROM my_transactions
  GROUP BY zipcode, email  -- This would not work if it was only GROUP BY zipcode, since the entity key is (zipcode, email)
)
SELECT
  transaction_bucket,
  COUNT(DISTINCT zipcode, email) AS entity_count
FROM
  bucketed
GROUP BY transaction_bucket;

Remoção de restrições de chave de entidade¶

Para remover uma política de agregação de uma única chave de entidade:

-- Drop agg policy ap associated with entity key user_id
ALTER TABLE transactions DROP AGGREGATION POLICY ap ENTITY KEY (user_id)

Para remover uma política de agregação de várias chaves de entidade, remova cada política separadamente:

-- Drop the agg policies associated with two separate keys
ALTER TABLE transactions DROP AGGREGATION POLICY ap ENTITY KEY (user_id)
ALTER TABLE transactions DROP AGGREGATION POLICY ap ENTITY KEY (vendor_id)

Para remover uma política de agregação junto com todas as suas entidades, omita ENTITY KEY da instrução DROP:

-- Drop agg policy ap from the table entirely
ALTER TABLE transactions DROP AGGREGATION POLICY ap

Restrições¶

As restrições a seguir se aplicam ao trabalhar com tabelas que têm várias chaves de entidade ou políticas de agregação definidas:

• Uma chave de entidade pode ser associada a, no máximo, uma política. A tentativa de atribuir outra política a uma chave de entidade que já esteja mapeada para uma política resultará em um erro.

• Uma política não pode ser usada tanto para privacidade em nível de linha quanto para privacidade em nível de entidade.

• No máximo uma política pode ser usada para privacidade em nível de linha. A tentativa de atribuir outra política como a política de agregação em nível de linha resultará em um erro.

Consulta de uma tabela com restrição de agregação¶

Os requisitos para consultar uma tabela com restrição de agregação com uma chave de entidade são os mesmos para consultar uma tabela sem essa chave. Para obter mais informações sobre quais tipos de consultas estão em conformidade com esses requisitos, consulte Requisitos de consulta.