Introduction aux fonctions externes¶

Qu’est-ce qu’une fonction externe ?¶

Une fonction externe appelle un code qui est exécuté en dehors de Snowflake.

Le code exécuté à distance est connu sous le nom de service distant.

Les informations envoyées à un service distant sont généralement relayées par un service proxy.

Snowflake stocke les informations sur la fonction externe liée à la sécurité dans une intégration API.

Le diagramme ci-dessous montre le flux d’informations de base d’un programme client, via Snowflake, et vers le service à distance :

Chacun de ces éléments clés est décrit plus en détail ci-dessous.

Fonction externe :

Une fonction externe est un type d” UDF. Contrairement aux autres UDFs, une fonction externe ne contient pas son propre code ; au lieu de cela, la fonction externe appelle un code qui est stocké et exécuté en dehors de Snowflake.

Dans Snowflake, la fonction externe est stockée comme un objet de base de données qui contient des informations que Snowflake utilise pour appeler le service distant. Ces informations stockées incluent l’URL du service proxy qui relaie les informations vers et depuis le service distant. Ces informations sont spécifiées dans le cadre de la commande CREATE EXTERNAL FUNCTION.

L’objet de base de données qui représente la fonction externe est créé dans une base de données et un schéma spécifiques. La fonction externe peut être appelée en utilisant la notation par points pour représenter le nom entièrement qualifié. Par exemple :

select my_database.my_schema.my_external_function(col1) from table1;

Copy

Service à distance :

Le code exécuté à distance est connu sous le nom de service distant.

Le service distant doit se comporter comme une fonction. Par exemple, il doit renvoyer une valeur.

Snowflake prend en charge les fonctions externes scalaires ; le service distant doit renvoyer exactement une ligne pour chaque ligne reçue.

Pour être appelé par la fonction externe Snowflake, le service distant doit :

• Accepter les entrées JSON et renvoyer les sorties JSON. (Pour plus d’informations sur les en-têtes HTTP compatibles avec Snowflake et les données au format JSON, voir Formats des données d’entrée et de sortie des services à distance.)

• Exposer un point de terminaison HTTPS.

Par exemple, un service distant peut être implémenté comme suit :

• Une fonction AWS Lambda.

• Une fonction de Microsoft Azure.

• Un serveur HTTPS (par exemple Node.js) s’exécutant sur une instance EC2.

Un service proxy :

Snowflake n’appelle pas directement un service distant. Au lieu de cela, Snowflake appelle un service proxy, qui relaie les données vers le service distant.

Le service proxy peut accroître la sécurité en authentifiant les demandes adressées au service à distance.

Le service proxy peut prendre en charge la facturation par abonnement d’un service distant. Par exemple, le service proxy peut vérifier qu’un appelant du service distant est un abonné payant.

Le service proxy relaie également la réponse du service distant vers Snowflake.

Voici quelques exemples de services proxy :

• Amazon API Gateway.

• Service Gestion des API Microsoft Azure.

Intégration API :

Une intégration est un objet Snowflake qui fournit une interface entre Snowflake et des services tiers. Une intégration API stocke des informations, telles que des informations de sécurité, qui sont nécessaires pour fonctionner avec un service proxy ou un service distant.

L’intégration API est créée avec la commande CREATE API INTEGRATION .

Les utilisateurs peuvent écrire et appeler leurs propres services à distance, ou appeler des services à distance écrits par des tiers. Ces services distants peuvent être écrits à l’aide de n’importe quelle pile de serveurs HTTP, y compris des services de calcul sans serveur Cloud tels que AWS Lambda.

Du point de vue d’un utilisateur exécutant une instruction SQL, une fonction externe se comporte comme n’importe quelle autre UDF . Les fonctions externes suivent ces règles :

• Les fonctions externes renvoient une valeur.

• Les fonctions externes peuvent accepter des paramètres.

• Une fonction externe peut apparaître dans n’importe quelle clause d’une instruction SQL dans laquelle d’autres types de fonctions UDF peuvent apparaître. Par exemple :

  select my_external_function_2(column_1, column_2)
      from table_1;
  
  select col1
      from table_1
      where my_external_function_3(col2) < 0;
  
  create view view1 (col1) as
      select my_external_function_5(col1)
          from table9;
  

  Copy

• Une fonction externe peut faire partie d’une expression plus complexe :

  select upper(zipcode_to_city_external_function(zipcode))
    from address_table;
  

  Copy

• La valeur renvoyée peut être une valeur composée, telle qu’un VARIANT qui contient JSON.

• Les fonctions externes peuvent être surchargées ; deux fonctions différentes peuvent avoir le même nom mais des signatures différentes (nombres différents ou types de données de paramètres d’entrée).

Fonctionnement des fonctions externes¶

Snowflake n’appelle pas directement un service distant. Au lieu de cela, Snowflake appelle le service distant via le service proxy HTTPS natif d’un fournisseur de Cloud, par exemple API Gateway sur AWS.

Les principales étapes pour appeler une fonction externe sont les suivantes :

1. Le programme client d’un utilisateur transmet à Snowflake une instruction SQL qui appelle une fonction externe.

2. Lorsqu’il évalue la fonction externe dans le cadre de l’exécution de la requête, Snowflake lit la définition de la fonction externe et les informations d’intégration API correspondantes.

   • Les informations provenant de la définition de la fonction externe comprennent :

     • L’URL du service proxy.

     • Le nom de l’intégration API correspondante.

   • Les informations provenant de l’intégration API comprennent :

     • La « ressource » du service proxy à utiliser. La ressource contient des informations sur le service distant, telles que l’emplacement de ce service.

     • Les informations d’authentification pour cette ressource de service proxy.

   Snowflake compose alors une commande HTTP POST qui inclut :

   • Les données à traiter. Ces données sont au format JSON .

   • Des informations d’en-tête HTTP . (Les détails sont documentés dans CREATE EXTERNAL FUNCTION.)

   • Des informations d’authentification de l’intégration API.

   Snowflake envoie ensuite la requête POST au service proxy.

3. Le service proxy reçoit la demande POST, puis traite et transfère la demande au service distant réel. Vous pouvez vaguement considérer le service proxy et la ressource comme une « fonction relais » qui appelle le service distant.

4. Le service distant traite les données et renvoie le résultat, qui est retransmis via la chaîne à l’instruction SQL d’origine.

5. Si le service distant répond avec un code HTTP pour signaler un traitement asynchrone, alors Snowflake envoie une ou plusieurs requêtes HTTP GET pour récupérer le résultat du service distant. Snowflake continue à envoyer des requêtes GET tant qu’il reçoit le code de réponse pour continuer à effectuer les demandes, ou jusqu’à ce que la fonction externe s’arrête ou renvoie une erreur.

Généralement, lorsqu’une requête comporte un grand nombre de lignes à envoyer à un service distant, les lignes sont divisées en lots. Les lots permettent généralement un plus grand parallélisme et des interrogations plus rapides. Dans certains cas, les lots permettent de réduire la surcharge du service à distance.

Un service à distance renvoie un lot de lignes pour chaque lot reçu. Pour une fonction externe scalaire, le nombre de lignes du lot retourné est égal au nombre de lignes du lot reçu.

Chaque lot a un ID de lot unique, qui est inclus dans chaque requête envoyée par Snowflake au service à distance.

Les opérations de relance (par exemple en raison d’expirations) sont généralement effectuées au niveau du lot.

Avantages des fonctions externes¶

Les fonctions externes présentent les avantages suivants par rapport aux autres UDFs :

• Le code du service distant peut être écrit dans des langages dans lesquels les autres UDFs ne peuvent pas être écrits, notamment :

  • Go

  • C#

• Les services distants peuvent utiliser des fonctions et des bibliothèques qui ne sont pas accessibles par des UDFs internes. Par exemple, les services distants peuvent s’interfacer avec des bibliothèques tierces disponibles dans le commerce, telles que les bibliothèques de notation d’apprentissage automatique.

• Les développeurs peuvent écrire des services distants qui peuvent être appelés à la fois à partir de Snowflake et à partir d’autres logiciels écrits pour utiliser la même interface.

Limitations des fonctions externes¶

Les fonctions externes présentent les limitations suivantes, qui peuvent être regroupées en deux catégories : les limitations de temps de création et les limitations de temps d’exécution.

Facturation pour l’utilisation de fonctions externes¶

L’utilisation de fonctions externes entraîne des coûts normaux associés :

• À l’utilisation d’entrepôt Snowflake

• Au transfert de données

En outre, vous devrez peut-être payer des frais indirects ou de tiers, notamment des frais de fournisseur du service distant. Les frais peuvent varier d’un fournisseur à l’autre.

Plates-formes prises en charge¶