Einführung in die Klassifizierung¶

Prozess¶

In diesem Abschnitt wird erläutert, wie der dreistufige Klassifizierungsprozess funktioniert. Sie können diesen Prozess so oft wie nötig wiederholen, z. B. nach dem Einfügen neuer Zeilen in eine Tabelle oder dem Hinzufügen neuer Spalten zu einer Tabelle.

Die Klassifizierung lässt sich auf einen dreistufigen Prozess reduzieren: Analysieren, Überprüfen und Anwenden. Jeder dieser Schritte umfasst verschiedene Operationen:

Analysieren

Der Data Engineer ruft die Funktion EXTRACT_SEMANTIC_CATEGORIES im Snowflake-Konto auf. Diese Funktion analysiert die Spalten einer Tabelle und gibt die möglichen Kategorien und die dazugehörigen Wahrscheinlichkeiten aus. Der Wahrscheinlichkeitswert gibt an, wie hoch die Wahrscheinlichkeit ist, dass die Spalte personenbezogene Daten im Sinne der möglichen Kategorien enthält. Weitere Informationen dazu finden Sie unter Interpretation der Klassifizierungsausgabe (unter diesem Thema).

Bemerkung

Komplexe Ansichtsdefinitionen, wie z. B. bei Ansichten mit JOIN-Operationen auf mehreren Objekten, können den Analyseprozess verlangsamen. Bevor Sie eine komplexe Ansicht klassifizieren, sollten Sie das verwendete Warehouse prüfen. Weitere Informationen dazu finden Sie unter Computekosten (unter diesem Thema).

Überprüfen

Im Überprüfungsschritt prüft der Data Engineer die gefundenen Kategorien, um sicherzustellen, dass die Ergebnisse des Analyseschritts sinnvoll sind. Wenn keine Überarbeitungen erforderlich sind, kann der Data Engineer mit dem Anwendungsschritt fortfahren.

Falls Überarbeitungen erforderlich sind, nimmt der Data Engineer erforderliche Änderungen an der Ausgabe des Analyseschritts vor und geht erst danach zum Anwendungsschritt über.

Weitere Informationen dazu finden Sie unter Interpretation der Klassifizierungsausgabe (unter diesem Thema).

Anwenden

Der Anwendungsschritt besteht aus einer einzigen Operation: der Zuweisung des System-Tags.

Dazu kann Data Engineer System-Tags der Spalte manuell zuweisen oder die gespeicherte Prozedur ASSOCIATE_SEMANTIC_CATEGORY_TAGS aufrufen.

Nach dem Zuweisen der System-Tags kann der Data Engineer dann die System-Tags verfolgen und die personenbezogenen oder sensiblen Daten mit einer Maskierungsrichtlinie oder einer Zeilenzugriffsrichtlinie schützen.

Ausführliche Beispiele für diesen Prozess finden Sie unter Verwenden der Datenklassifizierung.

System-Tags und Kategorien¶

System-Tags sind Tags, die Snowflake erstellt, verwaltet und über die freigegebene SNOWFLAKE-Datenbank zur Verfügung stellt. Es gibt zwei System-Tags für die Klassifizierung, die beide im Schema SNOWFLAKE.CORE vorhanden sind:

• SNOWFLAKE.CORE.SEMANTIC_CATEGORY

• SNOWFLAKE.CORE.PRIVACY_CATEGORY

Der Data Engineer weist diese Tags einer Spalte zu, die personenbezogene oder sensible Daten enthält.

Zeichenfolgenwerte

Snowflake speichert die Zuweisung eines System-Tags zu einer Spalte als Schlüssel-Wert-Paar, wobei der Wert eine Zeichenfolge ist. Snowflake definiert die zulässigen Zeichenfolgenwerte für jedes Klassifizierungs-System-Tag, da Snowflake diese System-Tags verwaltet.

Rufen Sie die Funktion SYSTEM$GET_TAG_ALLOWED_VALUES in Ihrem Snowflake-Konto auf, um die Liste der unterstützten Zeichenfolgenwerte für Klassifizierungs-System-Tags anzuzeigen. Beispiel:

select system$get_tag_allowed_values('snowflake.core.semantic_category');

select system$get_tag_allowed_values('snowflake.core.privacy_category');

Copy

Die Tag-Namen SEMANTIC_CATEGORY und PRIVACY_CATEGORY entsprechen den Klassifizierungskategorien, die Snowflake den Spaltendaten während des Spalten-Sampling-Prozesses zuordnet (d. h. Tag-Namen und Kategorienamen verwenden die gleichen Wörter):

Semantische Kategorie

Die semantische Kategorie kennzeichnet personenbezogene Attribute.

Beispiele für personenbezogene Attribute, die von der Klassifizierung unterstützt werden, sind Name, Alter und Geschlecht. Diese drei Attribute sind mögliche Zeichenfolgenwert bei der Zuweisung des SEMANTIC_CATEGORY-Tags zu einer Spalte.

Datenschutzkategorie

Wenn die Analyse ergibt, dass die Spaltendaten einer semantischen Kategorie entsprechen, ordnet Snowflake die Spalte außerdem einer Datenschutzkategorie zu. Die Datenschutzkategorie hat drei Werte: „identifier“ für Identifikatoren, „quasi-identifier“ für Quasi-Identifikatoren und „sensitive“ für sensible Daten. Diese drei Werte sind die Zeichenfolgenwerte, die bei der Zuweisung des Klassifizierungs-System-Tags PRIVACY_CATEGORY zu einer Spalte angegeben werden können.

• Identifikator („identifier“): Attribute mit diesem Wert dienen der eindeutigen Identifizierung einer Person. Beispiele sind Name, Sozialversicherungsnummer und Telefonnummer.

  Bezeichnerattribute sind gleichbedeutend mit direkte Identifikatoren.

• Quasi-Identifikatoren („quasi-identifier“): Diese Attribute können eine Person eindeutig identifizieren, wenn zwei oder mehr dieser Attribute kombiniert werden. Zu den Attributen gehören beispielsweise Alter und Geschlecht.

  Quasi-Identifikatoren sind ein Synonym für indirekte Identifikatoren.

• Sensible Daten („sensitive“): Diese Attribute werden nicht als ausreichend angesehen, um eine Person zu identifizieren, sondern sind Informationen, die die Person aus Gründen des Datenschutzes eher nicht preisgeben möchte.

  Derzeit ist das einzige Attribut, das Snowflake als sensibel bewertet, das Gehalt.

Die folgende Tabelle fasst die Beziehung zwischen jeder Klassifizierungskategorie und jedem System-Tag, den zulässigen Zeichenfolgenwerten für jedes Klassifizierungs-System-Tag und den System-Tag-Zeichenfolgenwerten für jedes System-Tag zusammen:

Interpretation der Klassifizierungsausgabe¶

Die Funktion EXTRACT_SEMANTIC_CATEGORIES gibt einen VARIANT-Wert im JSON-Format zurück, d. h. in einem semistrukturierten Format, das Folgendes enthält:

• Mögliche semantische und Datenschutzkategorien mit einem Wahrscheinlichkeitswert von größer 0,8 werden außerhalb von extra_info aufgelistet (siehe Funktion EXTRACT_SEMANTIC_CATEGORIES). Dabei handelt es sich um die Kategorien, die von der gespeicherten Prozedur ASSOCIATE_SEMANTIC_CATEGORY_TAGS angewendet werden.

• Die Wahrscheinlichkeit, mit der vom Klassifizierungsprozess die korrekte semantische Kategorie ermittelt wurde.

• Eine Liste alternativer semantischer Kategorien, mit denen die Spalte getaggt werden kann, wenn die Wahrscheinlichkeit unter dem Schwellenwert 0.80 liegt und der Prozess andere mögliche semantische Kategorien mit einer Wahrscheinlichkeit größer als 0.15 ermittelt hat. Um diese Werte verwenden zu können, muss der Data Engineer entweder das System-Tag manuell setzen oder die Ausgabe überarbeiten.

Die Wahrscheinlichkeitswerte können einem Data Engineer helfen, eine fundierte Entscheidung darüber zu treffen, ob die Spalte personenbezogene oder sensible Daten enthält: Je höher der Wert, desto größer ist die Wahrscheinlichkeit, dass die Spalte geschützt werden muss.

Im Folgenden wird ein vereinfachtes Beispiel für Einzelne Tabelle klassifizieren aus Verwenden der Datenklassifizierung gezeigt:

1. Erstellen Sie eine Tabelle:

   CREATE TABLE hr_data (
       age INTEGER,
       email_address VARCHAR,
       fname VARCHAR,
       lname VARCHAR
       );
   

   Copy

2. Laden Sie Daten in die Tabelle, und rufen Sie dann die Funktion EXTRACT_SEMANTIC_CATEGORIES auf:

   USE ROLE data_engineer;
   
   SELECT EXTRACT_SEMANTIC_CATEGORIES('hr_data');
   

   Copy

3. Werten Sie die Ausgabe aus. Beispiel:

   Standardausgabe:

   SELECT EXTRACT_SEMANTIC_CATEGORIES('hr_data');
   +---------------------------------------------+
   | EXTRACT_SEMANTIC_CATEGORIES('HR_DATA')      |
   |---------------------------------------------|
   | {                                           |
   |   "AGE": {                                  |
   |     "extra_info": {                         |
   |       "alternates": [],                     |
   |       "probability": "1.00"                 |
   |     },                                      |
   |     "privacy_category": "QUASI_IDENTIFIER", |
   |     "semantic_category": "AGE"              |
   |   },                                        |
   |   "EMAIL_ADDRESS": {                        |
   |     "extra_info": {                         |
   |       "alternates": [],                     |
   |       "probability": "1.00"                 |
   |     },                                      |
   |     "privacy_category": "IDENTIFIER",       |
   |     "semantic_category": "EMAIL"            |
   |   },                                        |
   |   "FNAME": {                                |
   |     "extra_info": {                         |
   |       "alternates": [],                     |
   |       "probability": "1.00"                 |
   |     },                                      |
   |     "privacy_category": "IDENTIFIER",       |
   |     "semantic_category": "NAME"             |
   |   },                                        |
   |   "LNAME": {                                |
   |     "extra_info": {                         |
   |       "alternates": [],                     |
   |       "probability": "0.97"                 |
   |     },                                      |
   |     "privacy_category": "IDENTIFIER",       |
   |     "semantic_category": "NAME"             |
   |   }                                         |
   | }                                           |
   +---------------------------------------------+
   

   Copy

   Verwenden Sie die Tabellenfunktion FLATTEN, um die Lesbarkeit zu verbessern:

   SELECT
       f.key::varchar as column_name,
       f.value:"privacy_category"::varchar as privacy_category,  
       f.value:"semantic_category"::varchar as semantic_category,
       f.value:"extra_info":"probability"::number(10,2) as probability,
       f.value:"extra_info":"alternates"::variant as alternates
     FROM
     TABLE(FLATTEN(EXTRACT_SEMANTIC_CATEGORIES('hr_data')::VARIANT)) AS f;
   +---------------+------------------+-------------------+-------------+------------+
   | COLUMN_NAME   | PRIVACY_CATEGORY | SEMANTIC_CATEGORY | PROBABILITY | ALTERNATES |
   |---------------+------------------+-------------------+-------------+------------|
   | AGE           | QUASI_IDENTIFIER | AGE               |        1.00 | []         |
   | EMAIL_ADDRESS | IDENTIFIER       | EMAIL             |        1.00 | []         |
   | FNAME         | IDENTIFIER       | NAME              |        1.00 | []         |
   | LNAME         | IDENTIFIER       | NAME              |        0.97 | []         |
   +---------------+------------------+-------------------+-------------+------------+
   

   Copy

   Beachten Sie, dass die Werte in einigen Feldern (z. B. im Feld PROBABILITY), je nach den Eigenschaften der Daten und dem Stichprobenumfang variieren.

Unterstützte Objekt- und Spaltendatentypen¶

Snowflake unterstützt das Klassifizieren von Daten, die in allen Typen von Tabellen und Ansichten gespeichert sind, wie externen Tabellen, materialisierten Ansichten und sicheren Ansichten.

Sie können Tabellen- und Ansichtsspalten für alle unterstützten Datentypen klassifizieren, mit Ausnahme der folgenden Datentypen:

• GEOGRAPHY

• BINARY

• VARIANT

  Beachten Sie, dass Sie eine Spalte mit dem Datentyp VARIANT klassifizieren können, wenn der Spaltendatentyp in einen NUMBER- oder STRING-Datentyp umgewandelt werden kann. Snowflake klassifiziert die Spalte nicht, wenn die Spalte JSON-, XML- oder andere semistrukturierte Daten enthält.

Wenn eine Tabelle Spalten enthält, deren Datentyp nicht unterstützt wird, oder die Spalte nur NULL-Werte enthält, ignoriert der Klassifizierungsprozess diese Spalten und nimmt sie nicht in die Ausgabe auf.

Computekosten¶

Für den Klassifizierungsprozess sind Computeressourcen erforderlich, die von dem virtuellen Warehouse bereitgestellt werden, das zum Zeitpunkt der Klassifizierung verwendet und ausgeführt wird.

Der Zeitaufwand für die Klassifizierung von Daten einer Tabelle/Ansicht (und damit die Anzahl der vom Warehouse verbrauchten Credits) hängt von der Menge der zu klassifizierenden Daten ab.

Insbesondere bei einer Tabelle/Ansicht mit einer großen Anzahl von Spalten, die eine Klassifizierung unterstützen, kann dies Auswirkungen auf die Verarbeitungszeit haben. Generell gilt, dass die Verarbeitungsgeschwindigkeit linear mit der Größe des Warehouses steigt. Mit anderen Worten: Jede Vergrößerung eines Warehouses (z. B. von X-Small auf Small) lässt sich die Verarbeitungszeit in der Regel um die Hälfte reduzieren.

Verwenden Sie die folgenden allgemeinen Richtlinien bei der Auswahl der Warehouse-Größe:

• Bearbeitungszeit spielt keine Rolle: sehr kleines Warehouse (X-Small).

• Bis zu 100 Spalten in einer Tabelle: kleines Warehouse (Small).

• 101 bis 300 Spalten in einer Tabelle: mittelgroßes Warehouse (Medium).

• 301 Spalten oder mehr in einer Tabelle: großes Warehouse (Large).

Vorteile¶

Die Klassifizierung bietet Datenschutz- und Data Governance-Administratoren die folgenden Vorteile:

Datenzugriff

Die Ergebnisse der Klassifizierung von Spaltendaten können Administratoren der Identitäts- und Zugriffsverwaltung dabei helfen, ihre Snowflake-Rollenhierarchien zu evaluieren und zu pflegen, um sicherzustellen, dass die Snowflake-Rollen die passenden Berechtigungen für den Zugriff auf sensible oder PII-Daten haben.

Datenfreigabe (Data Sharing)

Der Klassifizierungsprozess kann helfen, den Speicherort von PII Daten zu identifizieren und zu bestätigen. Anschließend kann ein Data Sharing-Anbieter anhand der Klassifizierungsergebnisse entscheiden, ob die Daten freigeben werden können und wie die PII-Daten einem Data Sharing-Verbraucher zur Verfügung gestellt werden sollen.

Anwendung von Richtlinien

Die Nutzung von Spalten, die PII-Daten enthalten, wie z. B. beim Verweisen auf Spalten in Basistabellen, um eine Ansicht oder materialisierte Ansicht zu erstellen, kann dabei helfen, die beste Methode zum Schutz der Daten entweder mit einer Maskierungsrichtlinie oder einer Zeilenzugriffsrichtlinie zu bestimmen.

Berechtigungsreferenz¶

In der folgenden Tabelle sind die erforderlichen Mindestberechtigungen für die Analyse- und Überprüfungsschritte für die Klassifizierung zusammengefasst:

Die erforderlichen Berechtigungen für den Anwendungsschritt, insbesondere das Zuweisen des System-Tags, bei der Klassifizierung hängen von der gewählten Methode ab. Derzeit gibt es drei Optionen:

• Verwenden der Datenbankrolle GOVERNANCE_ADMIN.

• Zuweisen der Berechtigung IMPORTED PRIVILEGES zu einer kundenspezifischen Rolle.

• Verwenden der Rolle ACCOUNTADMIN.

Datenbankrolle

Die Datenbankrollenmethode verwendet die Datenbankrolle GOVERNANCE_ADMIN, um ein Klassifizierungs-System-Tag einer Tabellenspalte zuzuweisen. Zusätzlich hat der Data Engineer die globale Berechtigung APPLY TAG, um Tags auf Objekte zu setzen, die er nicht besitzt.

Gehen Sie dabei wie folgt vor:

1. Weisen Sie die Datenbankrolle GOVERNANCE_ADMIN einer kundenspezifischen Rolle Ihrer Wahl zu (z. B. data_engineer):

   use role accountadmin;
   grant database role snowflake.governance_admin to role data_engineer;
   grant apply tag on account to role data_engineer;
   

   Copy

2. Weisen Sie einer Tabellenspalte ein System-Tag zu, z. B. der Spalte EMAIL in der Tabelle mit dem Namen hr.tables.empl_info (d. h. einer Tabelle mit Mitarbeiterinformationen in der Personaldatenbank):

   use role data_engineer;
   
   alter table hr.tables.empl_info
     modify column email
     set tag snowflake.core.semantic_category = 'email';
   

   Copy

Die Verwendung der Datenbankrollenmethode kann dazu beitragen, die Anforderung des Prinzips der niedrigsten Berechtigung zu erfüllen.

Kundenspezifische Rolle

Die Methode mit der kundenspezifischen Rolle (d. h. einer von Ihnen auf Kontoebene erstellten Rolle) erfordert das Erteilen von zwei Berechtigungen zu einer Rolle Ihrer Wahl. Beispiel:

use role accountadmin;
grant imported privileges on database snowflake to role data_engineer;
grant apply tag on account to role data_engineer;

Copy

Das Ergebnis dieser beiden Berechtigungszuweisungen ermöglicht den Zugriff auf die freigegebene SNOWFLAKE-Datenbank und die Anwendung der Klassifizierungs-System-Tags auf jede Tabellenspalte im Konto. Ein Benutzer mit der Rolle data_engineer kann dann das Klassifizierungs-System-Tag einer Tabelle zuweisen, wie für die Datenbankrollenmethode gezeigt.

Die beiden Anweisungen zur Berechtigungszuweisung bei dieser Methode ermöglichen jedoch auch Folgendes:

• Voller Zugriff zur Abfrage aller Ansichten in der freigegebenen SNOWFLAKE-Datenbank.

• Setzen von allen Tags im Konto auf jedes Objekt, das im Konto getaggt werden kann.

Wenn die Methode mit der kundenspezifischen Rolle die Anforderung des Prinzips der niedrigsten Berechtigung nicht erfüllt, müssen Sie die Datenbankrollenmethode verwenden.

ACCOUNTADMIN

Die Verwendung der Rolle ACCOUNTADMIN erfordert keine zusätzlichen Anweisungen für Berechtigungszuweisung. Die Rolle ACCOUNTADMIN ist jedoch die Rolle mit der höchsten Berechtigung in Snowflake.

Wenn in Ihrer Produktionsumgebung Beschränkungen bezüglich der Verwendung der Rolle ACCOUNTADMIN bestehen, verwenden Sie entweder die Datenbankrollenmethode oder die Methode mit kundenspezifischer Rolle.

Was den Schutz von Spaltendaten anbelangt, so können der data_engineer-Rolle die Berechtigungen zur Zuweisung einer Maskierungsrichtlinie bzw. einer Zeilenzugriffsrichtlinie erteilt werden, oder eine andere Rolle kann für die Zuweisung der Richtlinien zuständig sein. Welche Methode Sie wählen, hängt davon ab, welche Vorgehensweise Ihre Administratoren bei der Zuweisung von Berechtigungen und Rollen bevorzugen.

Repräsentative Beispiele finden Sie unter Verwenden der Datenklassifizierung.

Tracking von Klassifizierungs-System-Tags¶

Snowflake bietet integrierte Ansichten und Funktionen zur Verfolgung der Verwendung von System-Tags für die Klassifizierung:

• Um die Spalten zu ermitteln, denen in Ihrem Konto ein System-Tag zugewiesen ist, fragen Sie die Account Usage-Ansicht TAG_REFERENCES ab:

  SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.TAG_REFERENCES
      WHERE TAG_NAME = 'PRIVACY_CATEGORY'
      ORDER BY OBJECT_DATABASE, OBJECT_SCHEMA, OBJECT_NAME, COLUMN_NAME;
  

  Copy

• Um für eine Tabelle oder eine Ansicht in einer bestimmten Datenbank die Spalten zu ermitteln, denen ein System-Tag zugewiesen ist, rufen Sie die Information Schema-Tabellenfunktion TAG_REFERENCES auf:

  SELECT * FROM
    TABLE(
      my_db.information_schema.tag_references(
        'my_db.my_schema.hr_data.fname',
        'COLUMN'
      )
    )
  ;
  

  Copy

• Um alle Tags zu ermitteln, die in jeder Spalte einer Tabelle oder einer Ansicht innerhalb einer bestimmten Datenbank zugewiesen wurden, rufen Sie die Information Schema-Tabellenfunktion TAG_REFERENCES_ALL_COLUMNS auf:

  select * from
    table(
      my_db.information_schema.tag_references_all_columns(
        'my_db.my_schema.hr_data',
        'table'
      )
    )
  ;
  

  Copy

• Um einen bestimmten Tag-Wert für eine Spalte zu ermitteln, rufen Sie die Systemfunktion SYSTEM$GET_TAG auf:

  select system$get_tag(
    'snowflake.core.privacy_category',
    'hr_data.fname',
    'COLUMN'
    )
  ;
  

  Copy

Nächste Themen:

• Verwenden der Datenklassifizierung