Snowpark Container Services: SQL-Ausführung¶

Optionen für die Konfiguration der Anmeldeinformationen¶

Snowflake empfiehlt, dass Anwendungscontainer bei der Ausführung von SQL die von Snowflake bereitgestellten Anmeldeinformationen verwenden, um sich bei Snowflake zu authentifizieren. Obwohl es möglich ist, andere Anmeldeinformationen zu verwenden, indem Sie eine Verbindung über eine Integration für den externen Zugriff (EAI) herstellen, behandelt die Verbindung über eine EAI den Service so, als würde er außerhalb von Snowflake ausgeführt und stellte eine Verbindung zu Snowflake über das Internet her.

Sie haben drei Optionen, um von einem Servicecontainer aus eine Verbindung zu Snowflake herzustellen:

• Verwenden Sie die von Snowflake bereitgestellten Anmeldeinformationen für den Service: Snowflake liefert jedem Service Anmeldeinformationen, die als Serviceanmeldeinformationen bezeichnet werden. Ein Service verwendet diese Anmeldeinformationen, um sich als Servicebenutzer mit Snowflake zu verbinden.

• Verwenden Sie von Snowflake bereitgestellte Aufrufer-Anmeldeinformationen (Aufruferrechte): Wenn Sie Ihren Service mit Aufruferrechten konfigurieren, stellt Snowflake auch Anmeldeinformationen bereit, damit der Service sich als aufrufender Benutzer mit Snowflake verbinden kann.

• Andere Anmeldeinformationen verwenden: In diesem Fall verwenden Sie eine Integration für den externen Zugriff (EAI), die es Ihrem Service ermöglicht, unter Verwendung gültiger Authentifizierungsdaten eine Verbindung zum Internetendpunkt von Snowflake herzustellen. Für diese Option ist ein Administrator erforderlich, um die EAI zu erstellen und dann die USAGE-Berechtigung für die Integration in die Rolle des Serviceeigentümers zu gewähren.

  Bemerkung

  Die Verwendung von Integrationen für den externen Zugriff auf Snowflake kann bedeuten, dass potenziell sensible Informationen über das Internet gesendet werden.

Beispiele für Code, der verschiedene Snowflake-Treiber verwendet, um eine Verbindung zu Snowflake herzustellen, finden Sie unter `Beispiele für Snowflake-Verbindungen<https://github.com/Snowflake-Labs/sf-samples/tree/main/samples/spcs/sf-connection>`_.

SNOWFLAKE_ACCOUNT = os.getenv('SNOWFLAKE_ACCOUNT')
SNOWFLAKE_HOST = os.getenv('SNOWFLAKE_HOST')

def get_login_token():
  with open('/snowflake/session/token', 'r') as f:
    return f.read()

conn = snowflake.connector.connect(
  host = os.getenv('SNOWFLAKE_HOST'),
  account = os.getenv('SNOWFLAKE_ACCOUNT'),
  token = get_login_token(),
  authenticator = 'oauth'
)

ALTER USER my_user SET DEFAULT_SECONDARY_ROLES = ( 'ALL' );

-- Permissions to resolve the table's name.
GRANT CALLER USAGE ON DATABASE <db_name> TO ROLE <service_owner_role>;
GRANT CALLER USAGE ON SCHEMA <schema_name> TO ROLE <service_owner_role>;
-- Permissions to use a warehouse
GRANT CALLER USAGE ON WAREHOUSE <warehouse_name> TO ROLE <service_owner_role>;
-- Permissions to query the table.
GRANT CALLER SELECT ON TABLE T1 TO ROLE <service_owner_role>;

conn = snowflake.connector.connect(
  account = '<acct-name>',
  user = '<user-name>',
  password = '<password>'
)

Konfiguration des Datenbank- und Schemakontextes für das Ausführen von SQL¶

Neben der Bereitstellung von Anmeldeinformationen stellt Snowflake auch den Datenbank- und Schemakontext bereit, in dem der Service erstellt wird. Der Containercode kann diese Informationen zur Ausführung von SQL im gleichen Datenbank- und Schemakontext wie der Service verwenden.

In diesem Abschnitt werden zwei Konzepte erläutert:

• Die Logik, mit der Snowflake Datenbank und Schema bestimmt, in dem Ihr Dienst erstellt werden soll.

• Die Methode, mit der Snowflake diese Informationen an Ihre Container weitergibt, sodass der Containercode SQL im gleichen Datenbank- und Schemakontext ausführen kann.

Snowflake verwendet den Dienstnamen, um die Datenbank und das Schema zu bestimmen, in denen ein Dienst erstellt werden soll:

• Beispiel 1: In den folgenden Befehlen CREATE SERVICE und EXECUTE JOB SERVICE gibt der Dienstname nicht explizit einen Datenbank- und Schemanamen an. Snowflake erstellt den Dienst und den Jobdienst in der aktuellen Datenbank und dem aktuellen Schema.

  -- Create a service.
  CREATE SERVICE test_service IN COMPUTE POOL ...
  
  -- Execute a job service.
  EXECUTE JOB SERVICE
    IN COMPUTE POOL tutorial_compute_pool
    NAME = example_job_service ...
  

  Copy

• Beispiel 2: In den folgenden Befehlen CREATE SERVICE und EXECUTE JOB SERVICE enthält der Dienstname einen Datenbank- und einen Schemanamen. Snowflake erstellt den Dienst und den Jobdienst in der angegebenen Datenbank (test_db) und dem angegebenen Schema (test_schema), unabhängig vom aktuellen Schema.

  -- Create a service.
  CREATE SERVICE test_db.test_schema.test_service IN COMPUTE POOL ...
  
  -- Execute a job service.
  EXECUTE JOB SERVICE
    IN COMPUTE POOL tutorial_compute_pool
    NAME = test_db.test_schema.example_job_service ...
  

  Copy

Wenn Snowflake einen Dienst startet, werden den ausgeführten Containern die Datenbank- und Schemainformationen über die folgenden Umgebungsvariablen zur Verfügung gestellt:

• SNOWFLAKE_DATABASE

• SNOWFLAKE_SCHEMA

Ihr Containercode kann Umgebungsvariablen im Verbindungscode verwenden, um die zu verwendende Datenbank und das Schema zu bestimmen, wie im folgenden Beispiel gezeigt:

conn = snowflake.connector.connect(
  host = os.getenv('SNOWFLAKE_HOST'),
  account = os.getenv('SNOWFLAKE_ACCOUNT'),
  token = get_login_token(),
  authenticator = 'oauth',
  database = os.getenv('SNOWFLAKE_DATABASE'),
  schema = os.getenv('SNOWFLAKE_SCHEMA')
)

Beispiel

In Tutorial 2 erstellen Sie einen Snowflake-Jobdienst, der sich mit Snowflake verbindet und SQL-Anweisungen ausführt. Die folgenden Schritte fassen zusammen, wie der Tutorial-Code die Umgebungsvariablen verwendet:

1. Bei der grundlegenden Einrichtung (siehe Abschnitt Grundlegende Einrichtung) erstellen Sie Ressourcen, einschließlich einer Datenbank und eines Schemas. Sie legen auch die aktuelle Datenbank und das aktuelle Schema für die Sitzung fest:

   USE DATABASE tutorial_db;
   ...
   USE SCHEMA data_schema;
   

   Copy

2. Nachdem Sie einen Jobdienst erstellt haben (durch Ausführen von EXECUTE JOB SERVICE), startet Snowflake den Container und setzt die folgenden Umgebungsvariablen im Container auf die aktuelle Datenbank und das aktuelle Schema der Sitzung:

   • SNOWFLAKE_DATABASE ist auf „TUTORIAL_DB“ gesetzt.

   • SNOWFLAKE_SCHEMA ist auf „DATA_SCHEMA“ gesetzt.

3. Der Jobcode (siehe main.py in Tutorial 2) liest diese Umgebungsvariablen aus:

   SNOWFLAKE_DATABASE = os.getenv('SNOWFLAKE_DATABASE')
   SNOWFLAKE_SCHEMA = os.getenv('SNOWFLAKE_SCHEMA')
   

   Copy

4. Der Jobcode legt die Datenbank und das Schema als Kontext fest, in dem die SQL-Anweisungen ausgeführt werden (Funktion run_job() in main.py):

   {
      "account": SNOWFLAKE_ACCOUNT,
      "host": SNOWFLAKE_HOST,
      "authenticator": "oauth",
      "token": get_login_token(),
      "warehouse": SNOWFLAKE_WAREHOUSE,
      "database": SNOWFLAKE_DATABASE,
      "schema": SNOWFLAKE_SCHEMA
   }
   ...
   

   Copy

   Bemerkung

   SNOWFLAKE_ACCOUNT SNOWFLAKE_HOST, SNOWFLAKE_DATABASE, SNOWFLAKE_SCHEMA sind Umgebungsvariablen, die Snowflake für den Anwendungscontainer generiert, allerdings nicht SNOWFLAKE_WAREHOUSE (der Anwendungscode von Tutorial 2 erstellt diese Variable, da Snowflake keinen Warehouse-Namen an einen Container übergibt).

Angeben des Warehouses für Ihren Container¶

Wenn Ihr Dienst eine Verbindung zu Snowflake herstellt, um eine Abfrage in einem Snowflake-Warehouse auszuführen, haben Sie die folgenden Optionen für die Angabe des Warehouses:

• Warehouse in Ihrem Anwendungscode angeben. Geben Sie ein Warehouse als Teil der Verbindungskonfiguration an, wenn Sie eine Snowflake-Sitzung zum Ausführen von Abfragen in Ihrem Code starten. Ein Beispiel dazu finden Sie unter Tutorial 2.

• Standard-Warehouse beim Erstellen eines Dienstes angeben. Geben Sie den optionalen Parameter QUERY_WAREHOUSE im Befehl CREATE SERVICE oder EXECUTE JOB SERVICE an, um ein Standard-Warehouse bereitzustellen. Wenn Ihr Anwendungscode kein Warehouse als Teil der Verbindungskonfiguration bereitstellt, verwendet Snowflake das Standard-Warehouse. Verwenden Sie den Befehl ALTER SERVICE, um das Standard-Warehouse zu ändern.

  Bemerkung

  Das Warehouse, das mit dem QUERY_WAREHOUSE-Parameter angegeben wurde, ist der Standard nur für Servicebenutzer. Wenn der Service im Namen eines anderen Benutzers eine Verbindung zu Snowflake herstellt – im Kontext des Szenarios der Aufruferrechte –, verwendet Snowflake das Standard-Warehouse des Benutzers.

Wenn Sie ein Warehouse mit beiden Methoden angeben, wird das im Anwendungscode angegebene Warehouse verwendet.

Abfrageverlauf von Benutzern des Zugriffs auf den Service¶

Sie können Abfragen finden, die von Ihrem Service als Servicebenutzer ausgeführt wurden, indem Sie die Funktion Ansicht QUERY_HISTORY oder QUERY_HISTORY filtern, wobei user_type SNOWFLAKE_SERVICE ist.

Beispiel 1: Abrufen von Abfragen, die von einem Dienst ausgeführt werden.

SELECT *
FROM snowflake.account_usage.query_history
WHERE user_type = 'SNOWFLAKE_SERVICE'
AND user_name = '<service_name>'
AND user_database_name = '<service_db_name>'
AND user_schema_name = '<service_schema_name>'
order by start_time;

Für die WHERE-Klausel gilt:

• user_name = '<service_name>': Sie geben den Dienstnamen als Benutzernamen an, da ein Dienst Abfragen als Dienstbenutzer ausführt und der Name des Dienstbenutzers mit dem Dienstnamen identisch ist.

• user_type = 'SNOWFLAKE_SERVICE' und user_name = '<service_name>': Dies schränkt das Abfrageergebnis so ein, dass nur von einem Dienst ausgeführte Abfragen abgerufen werden.

• user_database_name und user_schema_name: Für einen Benutzer eines Dienstes sind dies die Datenbank und das Schema des Dienstes.

Sie können die gleichen Ergebnisse erzielen, indem Sie die Funktion QUERY_HISTORY aufrufen.

SELECT *
FROM TABLE(<service_db_name>.information_schema.query_history())
WHERE user_database_name = '<service_db_name>'
AND user_schema_name = '<service_schema_name>'
AND user_type = 'SNOWFLAKE_SERVICE'
AND user_name = '<service_name>'
order by start_time;

Für die WHERE-Klausel gilt:

• user_type = 'SNOWFLAKE_SERVICE' und user_name = '<service_name>' schränken das Abfrageergebnis so ein, dass nur von einem Dienst ausgeführte Abfragen abgerufen werden.

• user_database_name- und user_schema_name-Namen (für einen Dienstbenutzer) sind die Datenbank und das Schema des Dienstes.

Beispiel 2: Von Diensten ausgeführte Abfragen und die entsprechenden Dienstinformationen abrufen.

SELECT query_history.*, services.*
FROM snowflake.account_usage.query_history
JOIN snowflake.account_usage.services
ON query_history.user_name = services.service_name
AND query_history.user_schema_id = services.service_schema_id
AND query_history.user_type = 'SNOWFLAKE_SERVICE'

Die Abfrage verknüpft die Ansichten QUERY_HISTORY und SERVICES, um Informationen über die Abfragen und die Dienste, die die Abfragen ausführten, abzurufen. Beachten Sie Folgendes:

• Bei Abfragen, die von Diensten ausgeführt werden, ist query_history.user_name der Name des Dienstbenutzers, der mit dem Dienstnamen übereinstimmt.

• Die Abfrage verbindet die Ansichten anhand des Schemas IDs (nicht des Schemanamens), um sicherzustellen, dass Sie sich auf dasselbe Schema beziehen. Denn wenn Sie ein Schema löschen und neu erstellen, ändert sich das Schema ID, aber der Name bleibt derselbe.

Sie können der Abfrage optionale Filter hinzufügen. Beispiel:

• query_history-Filter, um nur Dienste abzurufen, die bestimmte Abfragen ausgeführt haben.

• services-Filter, um nur Abfragen abzurufen, die von bestimmten Diensten ausgeführt wurden.

Beispiel 3: Abrufen von Dienstbenutzerinformationen für jeden Dienst.

SELECT services.*, users.*
FROM snowflake.account_usage.users
JOIN snowflake.account_usage.services
ON users.name = services.service_name
AND users.schema_id = services.service_schema_id
AND users.type = 'SNOWFLAKE_SERVICE'

Die Abfrage verbindet die Ansichten SERVICES und USERS im Schema ACCOUNT_USAGE, um Dienste und Benutzerinformationen abzurufen. Beachten Sie Folgendes:

• Wenn ein Dienst Abfragen ausführt, führt er die Abfragen als Dienstbenutzer aus, und der Name des Dienstbenutzers ist derselbe wie der Dienstname. Daher geben Sie die Join-Bedingung an: users.name = services.service_name.

• Dienstnamen sind nur innerhalb eines Schemas eindeutig. Daher gibt die Abfrage die Join-Bedingung (users.schema_id = services.service_schema_id) an, um sicherzustellen, dass jeder Dienstbenutzer mit dem spezifischen Dienst abgeglichen wird, zu dem er gehört (und nicht mit einem anderen gleichnamigen Dienst, der in verschiedenen Schemas läuft).