Einführung in externe Funktionen¶

Was ist eine externe Funktion?¶

Eine externe Funktion ruft Code auf, der außerhalb von Snowflake ausgeführt wird.

Der extern ausgeführte Code wird als Remotedienst bezeichnet.

Informationen, die an einen Remotedienst gesendet werden, werden normalerweise über einen Proxydienst weitergeleitet.

Snowflake speichert sicherheitsrelevante Informationen von externen Funktionen in einer API-Integration.

In der folgenden Abbildung wird der grundlegende Informationsfluss von einem Clientprogramm über Snowflake bis zum Remotedienst gezeigt:

Jede der Hauptkomponenten wird im Folgenden ausführlicher beschrieben.

Externe Funktion:

Eine externe Funktion ist ein Typ von UDF. Im Gegensatz zu anderen UDFs enthält eine externe Funktion keinen eigenen Code. Stattdessen ruft die externe Funktion Code auf, der außerhalb von Snowflake gespeichert und ausgeführt wird.

Innerhalb von Snowflake wird die externe Funktion als Datenbankobjekt gespeichert, das Informationen enthält, die Snowflake zum Aufrufen des Remotedienstes verwendet. Zu diesen Informationen gehört die URL des Proxydienstes, der Informationen zum und vom Remotedienst weiterleitet. Diese Informationen werden als Teil des Befehls CREATE EXTERNAL FUNCTION angegeben.

Das Datenbankobjekt, das die externe Funktion darstellt, wird in einer bestimmten Datenbank und einem bestimmten Schema erstellt. Die externe Funktion kann in Punktschreibweise aufgerufen werden, um den vollqualifizierten Namen darzustellen. Beispiel:

select my_database.my_schema.my_external_function(col1) from table1;

Copy

Remotedienst:

Der extern ausgeführte Code wird als Remotedienst bezeichnet.

Der Remotedienst muss sich wie eine Funktion verhalten. So muss er zum Beispiel einen Wert zurückgeben.

Snowflake unterstützt skalare externe Funktionen. Der Remotedienst muss dann für jede empfangene Zeile genau eine Zeile zurückgeben.

Um von der externen Snowflake-Funktion aufgerufen zu werden, muss der Remotedienst Folgendes bieten:

• JSON-Eingaben akzeptieren und JSON-Ausgaben zurückgeben (Weitere Informationen zu Snowflake-kompatiblen HTTP-Headern und JSON-formatierten Daten finden Sie unter Eingabe- und Ausgabedatenformate von Remotediensten.)

• Einen HTTPS-Endpunkt bereitstellen

Beispielsweise können Remotedienste wie folgt implementiert werden als:

• AWS Lambda-Funktion

• Microsoft Azure-Funktion

• HTTPS-Server (z. B. Node.js), der auf einer EC2-Instanz ausgeführt wird

Proxydienst:

Snowflake ruft einen Remotedienst nicht direkt auf. Stattdessen ruft Snowflake einen Proxydienst auf, der die Daten an den Remotedienst weiterleitet.

Der Proxydienst kann die Sicherheit erhöhen, indem er Anforderungen an den Remotedienst authentifiziert.

Der Proxydienst kann eine abonnementbasierte Abrechnung für einen Remotedienst unterstützen. So kann der Proxydienst beispielsweise überprüfen, ob ein Aufrufer des Remotedienstes ein zahlender Abonnent ist.

Der Proxydienst leitet auch die Antwort des Remotedienstes zurück an Snowflake.

Beispiele für Proxydienste sind:

• Amazon API Gateway

• Microsoft Azure API Management-Dienst

API-Integration:

Eine Integration ist ein Snowflake-Objekt, das eine Schnittstelle zwischen Snowflake und Services von Drittanbietern bereitstellt. Eine API-Integration speichert Informationen, wie z. B. Sicherheitsinformationen, die für die Arbeit mit einem Proxydienst oder einem Remotedienst benötigt werden.

Die API-Integration wird mit dem CREATE API INTEGRATION-Befehl erstellt.

Benutzer können ihre eigenen Remotedienste schreiben und aufrufen oder Remotedienste aufrufen, die von Dritten geschrieben wurden. Diese Remotedienste können mit jedem HTTP-Server-Stack geschrieben werden, einschließlich serverlosen Cloud-Computediensten wie AWS Lambda.

Aus der Sicht eines Benutzers, der eine SQL-Anweisung ausführt, verhält sich eine externe Funktion wie jede andere UDF. Beispielsweise unterliegen externe Funktionen folgenden Regeln:

• Externe Funktionen geben einen Wert zurück.

• Externe Funktionen können Parameter akzeptieren.

• Eine externe Funktion kann in jeder Klausel einer SQL-Anweisung eingesetzt werden, in der auch andere Typen von UDFs vorkommen können. Beispiel:

  select my_external_function_2(column_1, column_2)
      from table_1;
  
  select col1
      from table_1
      where my_external_function_3(col2) < 0;
  
  create view view1 (col1) as
      select my_external_function_5(col1)
          from table9;
  

  Copy

• Eine externe Funktion kann Teil eines komplexeren Ausdrucks sein:

  select upper(zipcode_to_city_external_function(zipcode))
    from address_table;
  

  Copy

• Der zurückgegebene Wert kann ein zusammengesetzter Wert sein, z. B. ein VARIANT-Wert, der JSON-Werte enthält.

• Externe Funktionen können überladen sein, d. h. zwei verschiedene Funktionen können denselben Namen, aber unterschiedliche Signaturen haben (unterschiedliche Zahlen oder Datentypen von Eingabeparametern).

Funktionsweise externer Funktionen¶

Snowflake ruft Remotedienst nicht direkt auf. Stattdessen ruft Snowflake den Remotedienst über den nativen HTTPS-Proxydienst eines Cloudanbieters auf, z. B. API Gateway auf AWS.

Hauptschritte zum Aufrufen einer externen Funktion:

1. Das Clientprogramm eines Benutzers übergibt Snowflake eine SQL-Anweisung, die eine externe Funktion aufruft.

2. Wenn die externe Funktion als Teil der Abfrageausführung ausgewertet wird, liest Snowflake die Definition der externen Funktion und die Informationen der zugehörigen API-Integration.

   • Zu den Informationen aus der Definition der externen Funktion gehören:

     • URL des Proxydienstes

     • Name der zugehörigen API-Integration

   • Zu den Informationen aus der API-Integration gehören:

     • Die zu verwendende Ressource des Proxydienstes. Die Ressource enthält Informationen zum Remotedienst, z. B. den Standort dieses Dienstes.

     • Authentifizierungsinformationen für diese Proxydienst-Ressource.

   Snowflake setzt dann einen HTTP-POST-Befehl zusammen, der Folgendes enthält:

   • Die zu verarbeitenden Daten. Diese Daten sind im JSON-Format.

   • HTTP-Header-Informationen. (Details sind unter CREATE EXTERNAL FUNCTION dokumentiert.)

   • Authentifizierungsinformationen aus der API-Integration.

   Snowflake sendet dann die POST-Anforderung an den Proxydienst.

3. Der Proxydienst empfängt die POST-Anforderung, verarbeitet diese und leitet sie an den eigentlichen Remotedienst weiter. Sie können sich Proxydienst und Proxyressource vereinfacht als Relais- oder Vermittlungsfunktion vorstellen, die den Remotedienst aufruft.

4. Der Remotedienst verarbeitet die Daten und gibt das Ergebnis zurück, das über die Verarbeitungsfolge an die ursprüngliche SQL-Anweisung zurückgegeben wird.

5. Wenn der Remotedienst mit einem HTTP-Code antwortet, um die asynchrone Verarbeitung zu signalisieren, sendet Snowflake eine oder mehrere HTTP-GET-Anforderungen, um das Ergebnis vom Remotedienst abzurufen. Snowflake sendet so lange GET-Anforderungen, bis der Antwortcode eingeht, sodass mit weiteren Anforderungen fortgefahren werden kann, oder bis die externe Funktion ein Timeout hat oder einen Fehler zurückgibt.

Wenn eine Abfrage eine große Anzahl von Zeilen an einen Remotedienst senden muss, werden die Zeilen in der Regel in Batches aufgeteilt. Batches ermöglichen in der Regel mehr Parallelität und schnellere Abfragen. In einigen Fällen verringern Batches die Überlastung des Remotedienstes.

Ein Remotedienst gibt 1 Batch von Zeilen für jeden empfangenen Batch zurück. Bei einer skalaren externen Funktion ist die Anzahl der Zeilen in dem zurückgegebenen Batch gleich der Anzahl der Zeilen in dem empfangenen Batch.

Jeder Batch hat eine eindeutige Stapel-ID, die in jeder von Snowflake an den Remotedienst gesendeten Anforderung enthalten ist.

Wiederholungsoperationen (z. B. aufgrund von Timeouts) werden normalerweise auf Batchebene durchgeführt.

Vorteile externer Funktionen¶

Externe Funktionen haben gegenüber anderen UDFs (benutzerdefinierten Funktionen) folgende Vorteile:

• Der Code für den Remotedienst kann in Sprachen geschrieben werden, in denen andere UDFs nicht geschrieben werden können, einschließlich:

  • Go

  • C#

• Remotedienste können Funktionen und Bibliotheken verwenden, auf die interne UDFs nicht zugreifen können. Remotedienste können mit kommerziell erhältlichen Bibliotheken von Drittanbietern verbunden werden, z. B. Scoring-Bibliotheken für maschinelles Lernen.

• Entwickler können Remotedienste schreiben, die sowohl von Snowflake als auch von anderer Software aufgerufen werden können, die für dieselbe Schnittstelle geschrieben wurde.

Einschränkungen für externe Funktionen¶

Externe Funktionen haben die folgenden Einschränkungen, die grob in Einschränkungen bezüglich Erstellungszeit und Einschränkungen bezüglich Ausführungszeit gruppiert werden können.

Abrechnung der Nutzung externer Funktionen¶

Bei Verwendung externer Funktionen entstehen die folgenden üblichen Kosten:

• Nutzung des Snowflake-Warehouses

• Datenübertragung

Darüber hinaus müssen Sie möglicherweise indirekte oder von Dritten erhobene Gebühren zahlen, einschließlich Gebühren an den Anbieter des Remotedienstes. Gebühren können von Anbieter zu Anbieter variieren.

Unterstützte Plattformen¶