外部関数の紹介¶

外部関数とは¶

外部関数 は、Snowflakeの外部で実行されるコードを呼び出します。

リモートで実行されるコードは、 リモートサービス と呼ばれます。

リモートサービスに送信される情報は、通常 プロキシサービス を介して中継されます。

Snowflakeは、セキュリティ関連の外部機能情報を API 統合 に保存します。

次の図は、クライアントプログラムからSnowflakeを経由してリモートサービスに至る、基本的な情報の流れを示しています。

各主要コンポーネントについては、以下で詳しく説明します。

外部関数:

外部関数は UDF 型です。他の UDFs とは異なり、外部関数には独自のコードが含まれていません。代わりに、外部関数はSnowflakeの外部に保存および実行されるコードを呼び出します。

Snowflake内では、外部関数は、Snowflakeがリモートサービスを呼び出すために使用する情報を含むデータベースオブジェクトとして保存されます。この保存された情報には、リモートサービスとの間で情報を中継する プロキシサービス の URL が含まれます。この情報は、 CREATE EXTERNAL FUNCTION コマンドの一部として指定されます。

外部関数を表すデータベースオブジェクトは、特定のデータベースとスキーマで作成されます。外部関数は、完全修飾名を表すためにドット表記を使用して呼び出すことができます。例:

select my_database.my_schema.my_external_function(col1) from table1;

Copy

リモートサービス:

リモートで実行されるコードは、リモートサービスと呼ばれます。

リモートサービスは関数のように機能する必要があります。たとえば、値を返す必要があります。

Snowflakeは スカラー 外部関数をサポートしています。リモートサービスは、受信した行ごとに正確に1つの行を返す必要があります。

Snowflakeの外部関数機能から呼び出されるには、リモートサービスは次の条件を満たしている必要があります。

• JSON 入力を受け入れ、 JSON 出力を返します。（Snowflake互換の HTTP ヘッダーと JSON 形式のデータの詳細については、 リモートサービスの入力および出力データ形式 を参照。）

• HTTPS エンドポイントを公開します。

たとえば、リモートサービスは次のように実装できます。

• AWS Lambda関数。

• Microsoft Azure Function。

• EC2 インスタンスで実行されている HTTPS サーバー（例: Node.js）。

プロキシサービス:

Snowflakeは リモートサービス を直接呼び出しません。代わりに、Snowflakeはプロキシサービスを呼び出します。プロキシサービスは、データをリモートサービスに中継します。

プロキシサービスは、リモートサービスへのコンシューマーを認証することにより、セキュリティを強化できます。

プロキシサービスは、リモートサービスのサブスクリプションベースの課金をサポートできます。たとえば、プロキシサービスは、リモートサービスへの発信者が有料サブスクライバーであることを確認できます。

また、プロキシサービスは、リモートサービスからの応答をSnowflakeに中継します。

プロキシサービスの例は次のとおりです。

• Amazon API Gateway。

• Microsoft Azure API Managementサービス。

API 統合:

統合 は、Snowflakeとサードパーティサービス間のインターフェイスを提供するSnowflakeオブジェクトです。API 統合は、プロキシサービスまたはリモートサービスと連携するために必要なセキュリティ情報などの情報を保存します。

API 統合は、 CREATE API INTEGRATION コマンドで作成されます。

ユーザーは、自分のリモートサービスを作成して呼び出すか、サードパーティが作成したリモートサービスを呼び出すことができます。これらのリモートサービスは、 AWS Lambdaなどのクラウドサーバーレスコンピューティングサービスを含む、任意の HTTP サーバースタックを使用して記述できます。

SQL ステートメントを実行するユーザーの観点からすると、外部関数は他の UDF と同様に動作します。外部関数は次の規則に従います。

• 外部関数は値を返します。

• 外部関数はパラメータを受け入れることができます。

• 外部関数は、 UDF の他の型が表示される可能性のある SQL ステートメントの任意の句で表示することができます。例:

  select my_external_function_2(column_1, column_2)
      from table_1;
  
  select col1
      from table_1
      where my_external_function_3(col2) < 0;
  
  create view view1 (col1) as
      select my_external_function_5(col1)
          from table9;
  

  Copy

• 外部関数は、より複雑な式の一部にすることができます。

  select upper(zipcode_to_city_external_function(zipcode))
    from address_table;
  

  Copy

• 戻り値は、 JSON を含む VARIANT などの複合値にすることができます。

• 外部関数はオーバーロードされる可能性があります。2つの異なる関数に同じ名前を付けることができますが、署名の異なる（入力パラメーターの異なる数値またはデータ型）場合があります。

外部関数のしくみ¶

Snowflakeはリモートサービスを直接呼び出しません。代わりに、Snowflakeは、クラウドプロバイダーのネイティブ HTTPS プロキシサービス（たとえば、AWS 上の API Gateway）を介してリモートサービスを呼び出します。

外部関数を呼び出す主なステップは次のとおりです。

1. ユーザーのクライアントプログラムは、Snowflakeに外部関数を呼び出す SQL ステートメントを渡します。

2. クエリ実行の一部として外部関数を評価する場合、Snowflakeは外部関数の定義と対応する API 統合情報を読み取ります。

   • 外部関数定義からの情報は次のとおりです。

     • プロキシサービスの URL。

     • 対応する API 統合の名前。

   • API 統合からの情報は次のとおりです。

     • 使用するプロキシサービスリソース。リソースには、そのサービスの場所など、リモートサービスに関する情報が含まれています。

     • そのプロキシサービスリソースの認証情報。

   次に、Snowflakeは以下を含む HTTP POST コマンドを作成します。

   • 処理するデータ。このデータは JSON 形式です。

   • HTTP ヘッダー情報。（詳細は、 CREATE EXTERNAL FUNCTION に記載。）

   • API 統合からの認証情報。

   次に、Snowflakeは POST リクエストをプロキシサービスに送信します。

3. プロキシサービスは POST を受信し、リクエストを処理して実際のリモートサービスに転送します。プロキシサービスとリソースは、リモートサービスを呼び出す「リレー機能」と大まかに考えることができます。

4. リモートサービスはデータを処理し、結果を返します。その結果は、チェーンを介して元のSQLステートメントに渡されます。

5. リモートサービスがHTTPコードで応答して 非同期 処理を通知する場合、Snowflakeは1つ以上のHTTP GETリクエストを送信して、リモートサービスから結果を取得します。Snowflakeは、リクエストを継続するための応答コードを受信する限り、または外部関数がタイムアウトするかエラーを返すまで、 GET リクエストを送信し続けます。

通常、リモートサービスに送信する行がクエリに多数ある場合、行はバッチに分割されます。バッチは通常、より多くの並列処理とより高速なクエリを可能にします。場合によっては、バッチによりリモートサービスの過負荷が軽減されます。

リモートサービスは、受信したバッチごとに行のバッチを1つを返します。スカラー外部関数の場合、返されるバッチの行数は、受信したバッチの行数と同じです。

各バッチには一意のバッチIDがあり、Snowflakeからリモートサービスに送信される各リクエストに含まれています。

再試行操作（例: タイムアウトのため）は、通常、バッチレベルで実行されます。

外部関数の利点¶

外部関数には、他の UDFs に比べて次の利点があります。

• リモートサービスのコードは、他の UDFs を記述できない言語で記述できます。

  • Go

  • C#

• リモートサービスでは、内部 UDFs によってアクセスできない関数とライブラリを使用できます。たとえば、リモートサービスは、機械学習スコアリングライブラリなどの市販のサードパーティライブラリとインターフェイスにより接続できます。

• 開発者は、Snowflake、および同じインターフェイスを使用するように作成された他のソフトウェアの両方から呼び出すことができる、リモートサービスを作成できます。

外部関数の制限¶

外部関数には次の制限があり、大まかに作成時の制限と実行時の制限に分類できます。

外部関数の使用に対する請求¶

外部関数を使用すると、以下に関連する通常のコストが発生します。

• Snowflakeウェアハウスの使用。

• データ転送。

さらに、リモートサービスのプロバイダーによる料金を含め、間接的な使用料またはサードパーティの使用料を支払うことが必要になる可能性があります。料金はベンダーによって異なります。

サポートされているプラットフォーム¶