외부 함수 소개¶

외부 함수란 무엇입니까?¶

외부 함수 는 Snowflake 외부에서 실행되는 코드를 호출합니다.

원격으로 실행되는 코드는 원격 서비스 로 알려져 있습니다.

원격 서비스로 전송된 정보는 보통 프록시 서비스 를 통해 릴레이됩니다.

Snowflake는 API 통합 에 보안 관련 외부 함수 정보를 저장합니다.

아래 다이어그램에서는 클라이언트 프로그램에서 Snowflake를 통해 원격 서비스로 이어지는 기본적인 정보 흐름을 보여줍니다.

각각의 주요 구성 요소는 아래에서 더 자세히 설명하겠습니다.

외부 함수:

외부 함수는 UDF 의 한 유형입니다. 다른 UDFs와 달리, 외부 함수에는 자체 코드가 없습니다. 대신, 외부 함수는 Snowflake 외부에 저장되고 실행되는 코드를 호출합니다.

Snowflake 내부에서, 외부 함수는 Snowflake가 원격 서비스를 호출하는 데 사용하는 정보가 들어 있는 데이터베이스 오브젝트로 저장됩니다. 이 저장된 정보는 원격 서비스와의 사이에서 정보를 릴레이하는 프록시 서비스 의 URL을 포함합니다. 이 정보는 CREATE EXTERNAL FUNCTION 명령의 일부로 지정됩니다.

외부 함수를 나타내는 데이터베이스 오브젝트는 특정 데이터베이스와 스키마에서 생성됩니다. 외부 함수는 정규화된 이름을 나타내는 점 표기법을 사용해 호출할 수 있습니다. 예:

select my_database.my_schema.my_external_function(col1) from table1;

Copy

원격 서비스:

원격으로 실행되는 코드는 원격 서비스로 알려져 있습니다.

원격 서비스는 함수처럼 작동해야 합니다. 예를 들어 값을 반환해야 합니다.

Snowflake는 스칼라 외부 함수를 지원하는데, 원격 서비스는 수신된 각 행에 대해 정확히 한 개의 행을 반환해야 합니다.

Snowflake 외부 함수 기능으로 호출하려는 원격 서비스는 다음을 수행해야 합니다.

• JSON 입력을 받고 JSON 출력을 반환해야 합니다. (Snowflake 호환 HTTP 헤더와 JSON 형식의 데이터에 대한 자세한 내용은 원격 서비스 입력 및 출력 데이터 타입 을 참조하십시오.)

• HTTPS 엔드포인트를 노출해야 합니다.

예를 들어, 원격 서비스를 다음으로 구현할 수 있습니다.

• AWS Lambda 함수.

• Microsoft Azure 함수.

• EC2 인스턴스에서 작동하는 HTTPS 서버(예: Node.js).

프록시 서비스:

Snowflake는 원격 서비스 를 직접 호출하지 않습니다. 대신 Snowflake는 원격 서비스에 데이터를 릴레이하는 프록시 서비스를 호출합니다.

프록시 서비스는 원격 서비스에 대한 요청을 인증하여 보안을 강화할 수 있습니다.

프록시 서비스는 원격 서비스에 대한 구독 기반 청구를 지원할 수 있습니다. 예를 들어, 프록시 서비스는 원격 서비스에 대한 호출자가 유료 구독자인지 확인할 수 있습니다.

또한, 프록시 서비스는 원격 서비스의 응답을 Snowflake로 다시 릴레이합니다.

프록시 서비스의 예는 다음과 같습니다.

• Amazon API Gateway.

• Microsoft Azure API Management 서비스.

API 통합:

통합 은 Snowflake와 서드 파티 서비스 간의 인터페이스를 제공하는 Snowflake 오브젝트입니다. API 통합은 프록시 서비스 또는 원격 서비스로 작업하는 데 필요한 보안 정보 등의 정보를 저장합니다.

API 통합은 CREATE API INTEGRATION 명령으로 생성됩니다.

사용자는 자체 원격 서비스를 작성하고 호출하거나 서드 파티에서 작성한 원격 서비스를 호출할 수 있습니다. 이러한 원격 서비스는 AWS Lambda와 같은 클라우드 서버리스 컴퓨팅 서비스를 비롯한 어떤 HTTP 서버 스택이라도 사용해 작성할 수 있습니다.

SQL 문을 실행하는 사용자의 관점에서, 외부 함수는 다른 UDF 처럼 작동합니다. 외부 함수는 다음 규칙을 따릅니다.

• 외부 함수는 값을 반환합니다.

• 외부 함수는 매개 변수를 받을 수 있습니다.

• 외부 함수는 다른 유형의 UDF 가 나타날 수 있는 SQL 문의 어떤 절에든 나타날 수 있습니다. 예:

  select my_external_function_2(column_1, column_2)
      from table_1;
  
  select col1
      from table_1
      where my_external_function_3(col2) < 0;
  
  create view view1 (col1) as
      select my_external_function_5(col1)
          from table9;
  

  Copy

• 외부 함수는 더 복잡한 식에 포함될 수 있습니다.

  select upper(zipcode_to_city_external_function(zipcode))
    from address_table;
  

  Copy

• 반환된 값은 JSON을 포함하는 VARIANT와 같은 복합 값일 수 있습니다.

• 외부 함수는 오버로드될 수 있습니다. 즉, 두 개의 다른 함수가 이름은 같지만 서명이 다를 수 있습니다(입력 매개 변수의 개수나 데이터 타입이 서로 다름).

외부 함수의 작동 방식¶

Snowflake는 원격 서비스를 직접 호출하지 않습니다. 대신, Snowflake는 클라우드 공급자의 기본 HTTPS 프록시 서비스(예: AWS의 API Gateway)를 통해 원격 서비스를 호출합니다.

외부 함수를 호출하는 주요 단계는 다음과 같습니다.

1. 사용자의 클라이언트 프로그램이 외부 함수를 호출하는 SQL 문을 Snowflake에 전달합니다.

2. 쿼리 실행의 일부로 외부 함수를 평가할 때, Snowflake는 외부 함수 정의와 해당 API 통합 정보를 읽습니다.

   • 외부 함수 정의의 정보는 다음을 포함합니다.

     • 프록시 서비스의 URL.

     • 해당 API 통합의 이름.

   • API 통합의 정보는 다음을 포함합니다.

     • 사용할 프록시 서비스 리소스. 이 리소스에는 원격 서비스에 대한 정보(예: 해당 서비스의 위치)가 포함됩니다.

     • 해당 프록시 서비스 리소스에 대한 인증 정보.

   그러면 Snowflake가 다음을 포함하는 HTTP POST 명령을 작성합니다.

   • 처리할 데이터. 이 데이터는 JSON 형식으로 되어 있습니다.

   • HTTP 헤더 정보. (자세한 내용은 CREATE EXTERNAL FUNCTION 에 설명되어 있습니다.)

   • API 통합의 인증 정보.

   그런 다음, Snowflake는 POST 요청을 프록시 서비스로 보냅니다.

3. 프록시 서비스는 POST를 수신한 다음, 요청을 처리하여 실제 원격 서비스로 전달합니다. 느슨한 의미로는 프록시 서비스와 리소스를 원격 서비스를 호출하는 “릴레이 함수”로 생각할 수 있습니다.

4. 원격 서비스는 데이터를 처리하고 결과를 반환하며, 반환된 결과는 체인을 통해 원래 SQL 문으로 다시 전달됩니다.

5. 원격 서비스가 비동기 처리 신호를 보내는 HTTP 코드로 응답하는 경우 Snowflake는 원격 서비스에서 결과를 검색하려고 하나 이상의 HTTP GET 요청을 보냅니다. Snowflake는 계속 요청하려고 응답 코드를 수신하는 한, 또는 외부 함수가 시간 초과되거나 오류를 반환할 때까지 계속 GET 요청을 보냅니다.

일반적으로, 쿼리에 원격 서비스로 보낼 행이 많을 때는 행이 일괄 처리로 분할됩니다. 일괄 처리에서는 일반적으로 더 많은 병렬 처리와 더 빠른 쿼리를 허용합니다. 어떤 경우에는 일괄 처리를 통해 원격 서비스의 오버로드를 줄입니다.

원격 서비스는 수신된 각 일괄 처리에 대해 1개의 행 일괄 처리를 반환합니다. 스칼라 외부 함수의 경우, 반환된 일괄 처리의 행 수는 수신된 일괄 처리의 행 수와 같습니다.

각 일괄 처리는 Snowflake에서 원격 서비스로 전송되는 각 요청에 포함되는 고유한 일괄 처리 ID를 갖습니다.

(예: 시간 제한으로 인한) 재시도 작업은 일반적으로 일괄 처리 수준에서 수행됩니다.

외부 함수의 장점¶

외부 함수는 다른 UDFs 에 비해 다음과 같은 장점이 있습니다.

• 원격 서비스의 코드는 다음을 포함하여 다른 UDFs를 작성할 수 없는 언어로 작성할 수 있습니다.

  • Go

  • C#

• 원격 서비스는 내부 UDFs에서 액세스할 수 없는 함수와 라이브러리를 사용할 수 있습니다. 예를 들어, 원격 서비스는 기계 학습 채점 라이브러리와 같이, 상용화된 서드 파티 라이브러리와 정합할 수 있습니다.

• 개발자는 Snowflake에서 호출하고 그와 똑같은 인터페이스를 사용하도록 작성된 다른 소프트웨어에서도 호출할 수 있는 원격 서비스를 작성할 수 있습니다.

외부 함수의 제한 사항¶

외부 함수에는 생성 시간 제한과 실행 시간 제한으로 느슨하게 분류할 수 있는 다음과 같은 제한 사항이 있습니다.

외부 함수 사용 비용 청구¶

외부 함수를 사용하면 다음과 관련된 일반적인 비용이 발생합니다.

• Snowflake 웨어하우스 사용.

• 데이터 전송.

그 밖에도, 원격 서비스 공급자의 요금을 포함하여 간접 요금이나 서드 파티 요금을 결제해야 할 수도 있습니다. 요금은 공급업체마다 다를 수 있습니다.

지원되는 플랫폼¶