Snowpark Container Services: 서비스 사용하기¶

장기 실행 서비스 만들기¶

장기 실행 서비스를 만들려면 CREATE SERVICE 를 사용합니다.

• 인라인 사양을 사용하여 서비스를 만듭니다. 대부분의 경우 다음과 같이 개발 중에 인라인 사양을 선택할 수 있습니다.

  CREATE SERVICE echo_service
     IN COMPUTE POOL tutorial_compute_pool
     FROM SPECIFICATION $$
     spec:
       containers:
       - name: echo
         image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:tutorial
         readinessProbe:
           port: 8000
           path: /healthcheck
       endpoints:
       - name: echoendpoint
         port: 8000
         public: true
     $$;
  

  Copy

• 스테이지 정보를 사용하여 서비스를 생성합니다. 프로덕션 환경에 서비스를 배포할 때는 다음과 같이 관심사 분리 설계 원칙을 적용하여 스테이지에 사양을 업로드하고 스테이지 정보 CREATE SERVICE 명령을 제공하는 것이 좋습니다.

  CREATE SERVICE echo_service
    IN COMPUTE POOL tutorial_compute_pool
    FROM @tutorial_stage
    SPECIFICATION_FILE='echo_spec.yaml';
  

  Copy

작업 서비스 실행¶

작업 서비스를 만들려면 EXECUTE JOB SERVICE 를 사용합니다. 이 명령은 동기적으로 실행되며, 작업 서비스의 모든 컨테이너가 종료된 후 응답을 반환합니다.

• 인라인 사양을 사용하여 작업 서비스를 실행합니다.

  EXECUTE JOB SERVICE
     IN COMPUTE POOL tutorial_compute_pool
     NAME = example_job_service
     FROM SPECIFICATION $$
     spec:
       container:
       - name: main
         image: /tutorial_db/data_schema/tutorial_repository/my_job_image:latest
         env:
           SNOWFLAKE_WAREHOUSE: tutorial_warehouse
         args:
         - "--query=select current_time() as time,'hello'"
         - "--result_table=results"
     $$;
  

  Copy

• 스테이지 정보를 사용하여 작업 서비스 실행:

  EXECUTE JOB SERVICE
    IN COMPUTE POOL tutorial_compute_pool
    NAME = example_job_service
    FROM @tutorial_stage
    SPECIFICATION_FILE='my_job_spec.yaml';
  

  Copy

여러 서비스 인스턴스 만들기 및 자동 크기 조정 활성화하기¶

기본적으로, Snowflake는 지정된 컴퓨팅 풀에서 서비스 인스턴스를 하나 실행합니다. 과도한 워크로드를 관리하려면 시작할 서비스의 최소 인스턴스 수와 필요할 때 Snowflake가 확장할 수 있는 최대 인스턴스 수를 지정하는 MIN_INSTANCES 및 MAX_INSTANCES 속성을 설정하여 여러 서비스 인스턴스를 실행할 수 있습니다.

예

CREATE SERVICE echo_service
   IN COMPUTE POOL tutorial_compute_pool
   FROM @tutorial_stage
   SPECIFICATION_FILE='echo_spec.yaml'
   MIN_INSTANCES=2
   MAX_INSTANCES=4;

여러 서비스 인스턴스가 실행 중인 경우 Snowflake는 수신 요청을 분산하기 위해 로드 밸런서를 자동으로 제공합니다.

실행 중인 서비스 인스턴스 수를 자동으로 조정하도록 Snowflake를 구성하려면 다음 단계를 따르십시오.

1. 서비스 사양 파일에서 서비스 인스턴스에 대한 CPU 및 메모리 요구 사항을 지정합니다. 자세한 내용은 컨테이너 리소스 필드를 참조하십시오.

   예

   resources:
     requests:
      memory: <memory-reserved>
      cpu: <cpu-units>
   

   Copy

2. CREATE SERVICE 명령을 실행할 때 MIN_INSTANCES 및 MAX_INSTANCES 매개 변수를 설정합니다. 또한 ALTER SERVICE를 사용하여 이러한 값을 변경할 수도 있습니다. 자동 크기 조정은 지정된 MAX_INSTANCES가 MIN_INSTANCES를 초과할 때 발생합니다.

Snowflake는 지정된 컴퓨팅 풀에 최소 개수의 서비스 인스턴스를 생성하는 것으로 시작합니다. 그런 다음 Snowflake는 80% 임계값(CPU 및 메모리 모두에 대해)을 사용하여 서비스 인스턴스 수를 확장하거나 축소합니다. Snowflake는 컴퓨팅 풀 내의 리소스 사용률(메모리 또는 CPU)을 지속적으로 모니터링하여 현재 실행 중인 모든 서비스 인스턴스의 사용량 데이터를 집계합니다.

(모든 서비스 인스턴스에서) 집계된 리소스 사용량이 80%를 초과하면 Snowflake는 컴퓨팅 풀 내에 추가 서비스 인스턴스를 배포합니다. 집계된 리소스 사용량이 80% 미만으로 떨어지면 Snowflake는 실행 중인 서비스 인스턴스를 제거하여 규모를 축소합니다. Snowflake는 빈번한 크기 조정을 방지하기 위해 5분의 안정화 기간을 사용합니다.

다음 크기 조정 동작에 유의하십시오.

• 서비스 인스턴스의 확장은 서비스용으로 구성된 MIN_INSTANCES 및 MAX_INSTANCES 매개 변수로 제한됩니다.

• 확장이 필요하고 컴퓨팅 풀 노드에 다른 서비스 인스턴스를 시작하는 데 필요한 리소스 용량이 부족한 경우 컴퓨팅 풀 자동 크기 조정이 트리거될 수 있습니다. 자세한 내용은 컴퓨팅 풀 노드 자동 크기 조정 섹션을 참조하십시오.

• 서비스를 생성할 때 MAX_INSTANCES 및 MIN_INSTANCES 매개 변수를 지정하지만 서비스 사양 파일에서 서비스 인스턴스의 CPU 및 메모리 요구 사항을 지정하지 않으면 자동 크기 조정이 이루어지지 않습니다. Snowflake는 MIN_INSTANCES 매개 변수에 지정된 인스턴스 수로 시작하며 크기가 자동으로 조정되지 않습니다.

사양 템플릿 사용하기¶

사양은 동일하지만 구성이 다른 여러 서비스를 생성해야 할 때가 있습니다. 예를 들어, 서비스 사양에 환경 변수 를 정의하고 동일한 사양을 사용하지만 환경 변수의 값이 다른 여러 서비스를 생성한다고 가정해 보겠습니다.

사양 템플릿을 사용하면 사양에서 필드 값에 대한 변수를 정의할 수 있습니다. 사용자는 서비스를 생성할 때 이러한 변수에 대한 값을 제공합니다.

사양 템플릿 사용은 다음의 두 단계로 수행됩니다.

1. 다양한 사양 필드에 대한 값으로 변수를 사용하여 사양을 작성합니다. 이러한 변수를 지정하려면 {{ variable_name }} 구문을 사용합니다. 예를 들어, 다음 사양에서는 이미지 태그 이름에 “tag_name”이라는 변수를 사용하여 각 서비스마다 다른 이미지 태그를 지정할 수 있습니다.

   spec:
     containers:
     - name: echo
       image: myorg-myacct.registry.snowflakecomputing.com/tutorial_db/data_schema/tutorial_repository/my_echo_service_image:{{ tag_name }}
       ...
     endpoints:
     …
   

   Copy

2. CREATE SERVICE 명령으로 사양 템플릿을 제공하여 서비스를 생성합니다. 템플릿을 지정하려면 SPECIFICATION_TEMPLATE 또는 SPECIFICATION_TEMPLATE_FILE을 사용합니다. 변수의 값을 지정하려면 USING 매개 변수를 사용합니다. 예를 들어, 다음 문은 Snowflake 스테이지의 사양 템플릿을 사용합니다. USING 매개 변수는 tag_name 변수를 변수 'latest' 로 설정합니다.

   CREATE SERVICE echo_service
      IN COMPUTE POOL tutorial_compute_pool
      FROM @STAGE SPECIFICATION_TEMPLATE_FILE='echo.yaml'
      USING (tag_name=>'latest');
   

   Copy

USING( var_name=>var_value, [var_name=>var_value, ... ] );

예¶

다음 예제에서는 사양 템플릿을 사용하여 서비스를 만드는 방법을 보여줍니다. 이 예제의 CREATE SERVICE 명령은 인라인 사양을 사용합니다.

CREATE SERVICE echo_service
   IN COMPUTE POOL tutorial_compute_pool
   MIN_INSTANCES=1
   MAX_INSTANCES=1
   FROM SPECIFICATION_TEMPLATE $$
      spec:
         containers:
         - name: echo
           image: {{ image_url }}
           env:
             SERVER_PORT: {{SERVER_PORT}}
             CHARACTER_NAME: Bob
           readinessProbe:
             port: {{SERVER_PORT}}
             path: /healthcheck
         endpoints:
         - name: echoendpoint
           port: {{SERVER_PORT}}
           public: true
         $$
      USING (image_url=>' "/tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest" ', SERVER_PORT=>8000 );

spec:
  containers:
  - name: echo
    image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest
    env:
      SERVER_PORT: 8000
      CHARACTER_NAME: Bob
    readinessProbe:
      port: 8000
      path: /healthcheck
    endpoints:
    - name: echoendpoint
      port: 8000
      public: true

spec:
 containers:
 - name: echo
   image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest
   env:
     SERVER_PORT: 8000
     CHARACTER_NAME: Bob
   …

CREATE SERVICE echo_service
  IN COMPUTE POOL tutorial_compute_pool
  MIN_INSTANCES=1
  MAX_INSTANCES=1
  FROM SPECIFICATION_TEMPLATE $$
     spec:
       containers:
       - name: echo
         image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest
         env: {{env_values}}
         readinessProbe:
           port: {{SERVER_PORT}}    #this and next tell SF to connect to port 8000
           path: /healthcheck
       endpoints:
       - name: echoendpoint
         port: {{SERVER_PORT}}
         public: true
        $$
     USING (env_values=>'{"SERVER_PORT": 8000, "CHARACTER_NAME": "Bob"}' );

spec:
  container:
  - name: main
    image: /tutorial_db/data_schema/tutorial_repository/my_job_image:latest
    env:
      SNOWFLAKE_WAREHOUSE: tutorial_warehouse
    args:
    - "--query=select current_time() as time,'hello'"
    - "--result_table=results"

spec:
  container:
  - name: main
    image: /tutorial_db/data_schema/tutorial_repository/my_job_image:latest
    env:
      SNOWFLAKE_WAREHOUSE: tutorial_warehouse
    args: {{ARGS}}
  $$
  USING (ARGS=$$["--query=select current_time() as time,'hello'", "--result_table=results"]$$ );

서비스 종료¶

서비스를 일시 중단(ALTER SERVICE … SUSPEND)하거나 서비스를 삭제(DROP SERVICE)하면 Snowflake는 모든 서비스 인스턴스를 종료합니다. 마찬가지로 서비스 코드를 업그레이드(ALTER SERVICE … <fromSpecification>)하는 경우, Snowflake는 한 번에 1개의 서비스 인스턴스를 종료하고 다시 배포하는 방식으로 롤링 업그레이드 를 적용합니다.

서비스 인스턴스를 종료할 때, Snowflake는 먼저 각 서비스 컨테이너에 SIGTERM 신호를 보냅니다. 컨테이너에는 신호를 처리하고 30초의 유예 기간을 두고 종료하는 옵션이 있습니다. 그렇지 않으면, 유예 기간이 경과한 후 Snowflake는 컨테이너의 모든 프로세스를 종료합니다.

서비스 코드 업데이트하기 및 서비스 재배포하기¶

서비스가 생성된 후 ALTER SERVICE … <fromSpecification> 명령을 사용하여 서비스 코드를 업데이트하고 서비스를 재배포합니다.

먼저 이미지 리포지토리에 수정된 애플리케이션 코드를 업로드한 다음, 서비스 사양을 인라인으로 제공하거나 Snowflake 스테이지에서 사양 파일의 경로를 지정하여 ALTER SERVICE를 호출합니다. 예:

ALTER SERVICE echo_service
FROM SPECIFICATION $$
spec:
  …
  …
$$;

요청을 받으면 Snowflake는 새 코드를 사용하여 서비스를 다시 배포합니다.

CREATE SERVICE … <from-Specification> 명령을 실행하면 Snowflake는 공급자가 제공한 이미지의 특정 버전을 기록합니다. 다음 시나리오에서 Snowflake는 리포지토리의 이미지가 업데이트된 경우에도 동일한 이미지 버전을 배포합니다.

• 일시 중단된 서비스가 재개되는 경우(ALTER SERVICE … RESUME 사용).

• 자동 크기 조정으로 서비스 인스턴스가 더 추가되는 경우.

• 클러스터 유지 관리 중에 서비스 인스턴스가 다시 시작되는 경우.

그러나 사용자가 ALTER SERVICE … <fromSpecification>을 호출하면 해당 이미지에 대해 리포지토리에 있는 최신 버전을 사용하도록 Snowflake가 트리거됩니다.

서비스 소유자인 경우 DESCRIBE SERVICE 명령의 출력에는 아래와 같이 이미지 요약(사양에서 sha256 필드의 값)이 포함된 서비스 사양이 포함됩니다.

spec:
containers:
- name: "echo"
    image: "/tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest"
    sha256: "@sha256:8d912284f935ecf6c4753f42016777e09e3893eed61218b2960f782ef2b367af"
    env:
      SERVER_PORT: "8000"
      CHARACTER_NAME: "Bob"
    readinessProbe:
      port: 8000
      path: "/healthcheck"
endpoints:
- name: "echoendpoint"
    port: 8000
    public: true

ALTER SERVICE는 서비스와의 통신에 영향을 미칠 수 있습니다(서비스 사용하기 참조).

• ALTER SERVICE … <fromSpecification>을 통해 엔드포인트가 제거되거나 엔드포인트를 사용하기 위해 필요한 관련 권한이 제거되면(사양 참조의 serviceRoles 참조) 서비스에 대한 액세스가 실패합니다. 자세한 내용은 서비스 사용하기 섹션을 참조하십시오.

• 업그레이드가 진행되는 동안 새 연결이 새 버전으로 라우팅될 수 있습니다. 새 서비스 버전이 이전 버전과 호환되지 않으면 모든 활성 서비스의 사용이 중단됩니다. 예를 들어, 서비스 함수를 사용하는 진행 중인 쿼리가 실패할 수 있습니다.

기본 서비스 역할을 사용하여 모든 엔드포인트에 USAGE 권한 부여하기¶

서비스(작업 서비스 포함)를 만들 때 Snowflake는 이름이 ALL_ENDPOINTS_USAGE 인 기본 서비스 역할도 만듭니다. 이 역할에는 서비스가 노출하는 모든 엔드포인트에 대한 USAGE 권한이 있습니다. GRANT SERVICE ROLE 명령을 사용하여 다른 역할에 이 기본 서비스 역할을 부여할 수 있습니다.

GRANT SERVICE ROLE my_echo_service_image!ALL_ENDPOINTS_USAGE TO ROLE some_other_role;

some_other_role 을 사용하는 사용자는 모든 서비스 엔드포인트에 대한 USAGE 권한을 갖습니다.

서비스를 삭제하면 Snowflake는 해당 서비스와 연관된 모든 서비스 역할(기본 서비스 역할 및 서비스 사양에 정의된 서비스 역할)을 삭제하고 모든 서비스 역할 부여를 무효화합니다.

사양에 정의된 서비스 역할을 사용하여 특정 엔드포인트에 USAGE 권한 부여하기¶

서비스 역할을 사용하여 서비스 엔드포인트에 대한 세분화된 액세스를 관리합니다. 서비스 사양에서 서비스 역할과 해당 역할에 USAGE 권한이 부여된 엔드포인트 목록을 정의합니다.

서비스의 특정 엔드포인트에 대한 권한을 부여하는 것은 2단계 프로세스입니다.

1. 서비스 역할 정의: 서비스 명세서를 사용하여 역할 이름과 USAGE 권한을 부여할 하나 이상의 엔드포인트 목록을 제공하여 서비스 역할을 정의합니다. 예를 들어, 다음 사양 조각에서 최상위 serviceRoles 필드는 각각 특정 엔드포인트에 대한 USAGE 권한이 있는 2개의 서비스 역할을 정의합니다.

   spec:
   ...
   serviceRoles:                 # Optional list of service roles
   - name: <svc_role_name1>
     endpoints:                  # endpoints that role can access
     - <endpoint_name1>
     - <endpoint_name2>
   - name: <svc_role_name2>
     endpoints:
     - <endpoint_name3>
     - <endpoint_name4>
   

   Copy

2. 다른 역할에 서비스 역할 부여. GRANT SERVICE ROLE 명령을 사용하여 다른 역할(계정 역할, 애플리케이션 역할 또는 데이터베이스 역할)에 서비스 역할을 부여합니다. 예:

   GRANT SERVICE ROLE <service-name>!<svc_role_name1> TO ROLE <another-role>
   

   Copy

서비스 함수: SQL 쿼리에서 서비스 사용하기¶

서비스 함수는 CREATE FUNCTION(Snowpark Container Services) 를 사용하여 생성하는 사용자 정의 함수(UDF)입니다. 그러나 UDF 코드를 직접 작성하는 대신 UDF를 서비스 엔드포인트와 연결합니다. 서비스 함수는 HTTP 또는 HTTPS 프로토콜을 지원하는 서비스 엔드포인트와만 연결할 수 있습니다.

예를 들어 자습서 1 에서는 서비스 사양에 정의된 대로 하나의 엔드포인트(echoendoint)를 노출하는 echo_service 라는 서비스를 만듭니다.

spec:
…
  endpoints:
  - name: echoendpoint
    port: 8080

echoendpoint 는 해당 포트(8080)를 나타내는 사용자에게 친숙한 엔드포인트 이름입니다. 이 서비스 엔드포인트와 통신하려면 다음과 같이 SERVICE 및 ENDPOINT 매개 변수를 제공하여 서비스 함수를 만듭니다.

CREATE FUNCTION my_echo_udf (text varchar)
   RETURNS varchar
   SERVICE=echo_service
   ENDPOINT=echoendpoint
   AS '/echo';

AS 매개 변수는 서비스 코드에 대한 HTTP 경로를 제공합니다. 이 경로 값은 서비스 코드에서 가져옵니다. 예를 들어, 다음 코드 라인은 자습서 1 의 service.py 에서 가져온 것입니다.

@app.post("/echo")
def echo():
...

서비스 함수를 호출하면 Snowflake는 요청을 연결된 서비스 엔드포인트와 경로로 보냅니다.

ALTER FUNCTION my_echo_udf(VARCHAR)
   SET SERVICE=other_service
   ENDPOINT=otherendpoint
   MAX_BATCH_ROWS=100

"Alex", "2014-01-01 16:00:00"
"Steve", "2015-01-01 16:00:00"
…

SELECT service_func(col1, col2) FROM input_table;

{
   "data":[
      [
         0,
         "Alex",
         "2014-01-01 16:00:00"
      ],
      [
         1,
         "Steve",
         "2015-01-01 16:00:00"
      ],
      …
      [
         <row_index>,
         "<column1>",
         "<column2>"
      ],
   ]
}

{
   "data":[
      [0, "a"],
      [1, "b"],
      …
      [ row_index,  output_column1]
   ]
}

USE ROLE service_owner;
GRANT USAGE ON service service_db.my_schema.my_service TO ROLE func_owner;

USE ROLE func_owner;
CREATE OR REPLACE test_udf(v VARCHAR)
  RETURNS VARCHAR
  SERVICE=service_db.my_schema.my_service
  ENDPOINT=endpointname1
  AS '/run';

SELECT test_udf(col1) FROM some_table;

ALTER FUNCTION test_udf(VARCHAR) SET
  SERVICE = service_db.other_schema.other_service
  ENDPOINT=anotherendpoint;

GRANT USAGE ON FUNCTION test_udf(varchar) TO ROLE func_user;
USE ROLE func_user;
SELECT my_test_udf('abcd');

수신: Snowflake 외부에서 서비스 사용하기¶

서비스는 사용자가 공개 웹에서 서비스를 사용할 수 있도록 1개 이상의 엔드포인트를 공개 로 노출할 수 있습니다. 이 경우 Snowflake가 액세스 제어를 관리합니다. 수신은 HTTP 또는 HTTPS 엔드포인트에서만 허용됩니다.

서비스 사양 파일에서 엔드포인트를 공용으로 표시합니다.

spec
  ...
  endpoints
  - name: <endpoint name>
    port: <port number>
    public: true

서비스 간 통신¶

서비스는 Snowflake가 각 서비스에 자동으로 할당하는 DNS 이름을 사용하여 서로 통신할 수 있습니다. 예를 보려면 자습서 3 을 참조하십시오. 서비스 간 통신을 허용하기 위해서만 서비스 엔드포인트를 생성하는 경우에는 TCP 프로토콜을 사용해야 한다는 점에 유의하십시오.

DNS 이름 형식은 다음과 같습니다.

<service-name>.<schema-name>.<db-name>.snowflakecomputing.internal

SHOW SERVICES (또는 DESCRIBE SERVICE)를 사용하여 서비스의 DNS 이름을 가져옵니다. 앞의 DNS 이름은 전체 이름입니다. 동일한 스키마에서 생성된 서비스는 <service-name> 만 사용하여 통신할 수 있습니다. 동일한 데이터베이스에 있지만 스키마는 다른 서비스는 <service-name>.<schema-name> 과 같은 스키마 이름을 제공해야 합니다.

Snowflake는 동일한 역할로 생성된 서비스 간의 네트워크 통신을 허용하고, 서로 다른 역할에 의해 생성된 서비스 간의 네트워크 통신을 차단합니다. (보안 등의 이유로) 서비스가 서로 통신하지 못하도록 하려면 다른 Snowflake 역할을 사용하여 해당 서비스를 생성하십시오.

DNS 이름에는 다음과 같은 제한 사항이 있습니다.

• 데이터베이스, 스키마 또는 서비스 이름은 유효한 DNS 레이블이어야 합니다. (https://www.ietf.org/rfc/rfc1035.html#section-2.3.1 참조). 그렇지 않으면 서비스 생성이 실패합니다.

• Snowflake는 이름(데이터베이스, 스키마 및 서비스 이름)의 밑줄(_)을 DNS 이름의 대시(-)로 바꿉니다.

• Snowflake는 서비스의 DNS 이름을 업데이트하지 않으므로 서비스를 생성한 후에는 데이터베이스 또는 스키마 이름을 변경하지 마십시오.

• DNS 이름은 동일한 계정에서 실행되는 서비스 사이에서 Snowflake 내의 내부 통신에만 사용됩니다. 인터넷에서는 액세스할 수 없습니다.