Snowpark Container Services: 모니터링 서비스¶

SYSTEM$GET_SERVICE_LOGS 사용하기¶

서비스 이름, 인스턴스 ID, 컨테이너 이름, 선택적으로 검색할 가장 최근 로그 줄 수를 제공합니다. 하나의 서비스 인스턴스만 실행 중인 경우 서비스 인스턴스 ID는 0입니다. 예를 들어, 다음 문 명령은 echo_service 서비스의 인스턴스 0에 속한 echo 컨테이너의 로그에서 후행 10줄을 검색합니다.

SELECT SYSTEM$GET_SERVICE_LOGS('echo_service', '0', 'echo', 10);

출력 예:

+--------------------------------------------------------------------------+
| SYSTEM$GET_SERVICE_LOGS                                                  |
|--------------------------------------------------------------------------|
| 10.16.6.163 - - [11/Apr/2023 21:44:03] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:08] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:13] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:18] "GET /healthcheck HTTP/1.1" 200 - |
+--------------------------------------------------------------------------+
1 Row(s) produced. Time Elapsed: 0.878s

함수를 호출하는 데 필요한 서비스 정보(예: 인스턴스 ID 또는 컨테이너 이름)가 없는 경우 먼저 SHOW SERVICE CONTAINERS IN SERVICE 명령을 실행하여 각 인스턴스에서 실행 중인 서비스 인스턴스 및 컨테이너에 대한 정보를 얻을 수 있습니다.

SYSTEM$GET_SERVICE_LOGS 함수에는 다음과 같은 제한 사항이 있습니다.

• 표준 출력과 표준 오류 스트림을 병합합니다. 이 함수는 출력이 어느 스트림에서 왔는지 표시하지 않습니다.

• 단일 서비스 인스턴스의 특정 컨테이너에 대해 캡처된 데이터를 보고합니다.

• 실행 중인 컨테이너에 대한 로그만 보고합니다. 이 함수는 다시 시작된 이전 컨테이너 또는 중지되거나 삭제된 서비스의 컨테이너에서 로그를 가져올 수 없습니다.

• 이 함수는 최대 100KB의 데이터를 반환합니다.

이벤트 테이블 사용하기¶

Snowflake는 컨테이너에서 표준 출력 및 표준 오류 스트림으로 전송된 로그를 사용자 계정에 구성된 이벤트 테이블에 캡처할 수 있습니다. 이벤트 테이블 구성에 대한 자세한 내용은 로깅, 추적 및 메트릭 섹션을 참조하십시오.

서비스 사양 파일의 spec.logExporters 필드 를 사용하여 이벤트 테이블에 저장할 스트림(모두, 표준 오류만 또는 없음)을 제어할 수 있습니다.

그런 다음 이벤트 테이블에서 이벤트를 쿼리할 수 있습니다. 예를 들어, 다음 SELECT 문은 지난 한 시간 동안 기록된 Snowflake 서비스 및 작업 이벤트를 검색합니다.

SELECT TIMESTAMP, RESOURCE_ATTRIBUTES, RECORD_ATTRIBUTES, VALUE
FROM <current-event-table-for-your-account>
WHERE timestamp > dateadd(hour, -1, current_timestamp())
AND RESOURCE_ATTRIBUTES:"snow.service.name" = <service-name>
AND RECORD_TYPE = 'LOG'
ORDER BY timestamp DESC
LIMIT 10;

이 예에 표시된 것처럼 이벤트 테이블 쿼리의 WHERE 절에 타임스탬프를 포함하는 것이 좋습니다. 다양한 Snowflake 구성 요소에서 생성될 수 있는 데이터의 양 때문에 이 점이 특히 중요합니다. 필터를 적용하면 더 작은 데이터 하위 세트를 검색할 수 있으므로 쿼리 성능이 향상됩니다.

이벤트 테이블에는 다음과 같은 열이 포함되어 있으며, 이 열은 컨테이너에서 Snowflake가 수집한 로그에 관한 유용한 정보를 제공합니다.

• TIMESTAMP: Snowflake가 로그를 수집한 시점을 표시합니다.

• RESOURCE_ATTRIBUTES: 로그 메시지를 생성한 서비스에서 Snowflake 서비스와 컨테이너를 식별하는 JSON 오브젝트를 제공합니다. 예를 들어 서비스가 실행될 때 지정된 서비스 이름, 컨테이너 이름, 컴퓨팅 풀 이름과 같은 세부 정보를 제공합니다.

  {
    "snow.account.name": "SPCSDOCS1",
    "snow.compute_pool.id": 20,
    "snow.compute_pool.name": "TUTORIAL_COMPUTE_POOL",
    "snow.compute_pool.node.id": "a17e8157",
    "snow.compute_pool.node.instance_family": "CPU_X64_XS",
    "snow.database.id": 26,
    "snow.database.name": "TUTORIAL_DB",
    "snow.schema.id": 212,
    "snow.schema.name": "DATA_SCHEMA",
    "snow.service.container.instance": "0",
    "snow.service.container.name": "echo",
    "snow.service.container.run.id": "b30566",
     "snow.service.id": 114,
    "snow.service.name": "ECHO_SERVICE2",
    "snow.service.type": "Service"
  }
  

  Copy

• RECORD_ATTRIBUTES: Snowflake 서비스의 경우 오류 출처(표준 출력 또는 표준 오류)를 식별합니다.

  { "log.iostream": "stdout" }
  

  Copy

• VALUE: 표준 출력과 표준 오류는 줄로 나뉘며, 각 줄은 이벤트 테이블에 레코드를 생성합니다.

  "echo-service [2023-10-23 17:52:27,429] [DEBUG] Sending response: {'data': [[0, 'Joe said hello!']]}"
  

이벤트 테이블 서비스 메트릭에 액세스하기¶

계정에 대해 구성된 이벤트 테이블에 서비스의 메트릭을 기록하려면 서비스 사양에 다음 섹션을 포함합니다.

platformMonitor:
  metricConfig:
    groups:
    - <group 1>
    - <group 2>
    - ...

여기서 각 group N 은 관심 있는 사전 정의된 메트릭 그룹 을 참조합니다(예: system, network 또는 storage). 자세한 내용은 서비스 사양에 대한 설명서에서 spec.platformMonitor 필드 섹션을 참조하십시오.

서비스가 실행되는 동안 Snowflake는 이러한 메트릭을 사용자 계정의 이벤트 테이블에 기록합니다. 이벤트 테이블을 쿼리하여 메트릭을 읽을 수 있습니다. 다음 쿼리는 my_service 서비스에 대해 지난 한 시간 동안 기록된 서비스 메트릭을 검색합니다.

SELECT timestamp, value
  FROM my_event_table_db.my_event_table_schema.my_event_table
  WHERE timestamp > DATEADD(hour, -1, CURRENT_TIMESTAMP())
    AND RESOURCE_ATTRIBUTES:"snow.service.name" = 'MY_SERVICE'
    AND RECORD_TYPE = 'METRIC'
    ORDER BY timestamp DESC
    LIMIT 10;

계정에 대한 활성 이벤트 테이블의 이름을 모르는 경우 SHOW PARAMETERS 명령을 실행하여 계정 수준 EVENT_TABLE 매개 변수의 값을 표시합니다.

SHOW PARAMETERS LIKE 'event_table' IN ACCOUNT;

이벤트 테이블에 대한 자세한 내용은 이벤트 테이블 사용하기 섹션을 참조하십시오.

예

계정에 대해 구성된 이벤트 테이블에 메트릭을 기록하는 예시 서비스를 생성하려면 다음 단계를 따르십시오.

1. 자습서 1 에 따라 한 가지를 변경하여 echo_service 라는 이름의 서비스를 생성합니다. 서비스를 생성하는 3단계에서 다음 CREATE SERVICE 명령을 사용하여 수정된 서비스 사양에 platformMonitor 필드를 추가합니다.

   CREATE SERVICE echo_service
     IN COMPUTE POOL tutorial_compute_pool
     FROM SPECIFICATION $$
       spec:
         containers:
         - name: echo
           image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest
           env:
             SERVER_PORT: 8000
             CHARACTER_NAME: Bob
           readinessProbe:
             port: 8000
             path: /healthcheck
         endpoints:
         - name: echoendpoint
           port: 8000
           public: true
         platformMonitor:
           metricConfig:
             groups:
             - system
             - system_limits
         $$
       MIN_INSTANCES=1
       MAX_INSTANCES=1;
   

   Copy

2. 서비스가 실행된 후 Snowflake는 지정된 메트릭 그룹의 메트릭을 이벤트 테이블에 기록하기 시작하며, 이를 쿼리할 수 있습니다. 다음 쿼리는 Echo 서비스에서 지난 1시간 동안 보고된 메트릭을 검색합니다.

   SELECT timestamp, value
     ROM my_events
     WHERE timestamp > DATEADD(hour, -1, CURRENT_TIMESTAMP())
       AND RESOURCE_ATTRIBUTES:"snow.service.name" = 'ECHO_SERVICE'
       AND RECORD_TYPE = 'METRIC'
       ORDER BY timestamp, group DESC
       LIMIT 10;
   

   Copy

컴퓨팅 풀 메트릭 액세스하기¶

컴퓨팅 풀 메트릭은 컴퓨팅 풀의 노드와 해당 노드에서 실행 중인 서비스에 대한 인사이트를 제공합니다. 각 노드는 컨테이너에 사용 가능한 메모리 양과 같은 노드별 메트릭과 개별 컨테이너의 메모리 사용량과 같은 서비스 메트릭을 보고합니다. 컴퓨팅 풀 메트릭은 노드 관점에서 정보를 제공합니다.

각 노드에는 TCP 포트 9001에서 수신 대기하는 메트릭 게시자가 있습니다. 다른 서비스는 노드에서 포트 9001로 경로 /metrics 를 사용하여 HTTP GET요청을 할 수 있습니다. 노드의 IP 주소를 찾으려면 discover.monitor.compute_pool_name.snowflakecomputing.internal 호스트 이름에 대한 DNS에서 SRV 레코드(또는 A 레코드)를 검색합니다. 그런 다음 계정에서 각 노드를 적극적으로 폴링하여 메트릭을 검색하는 다른 서비스를 생성합니다.

응답의 본문은 다음 예제 메트릭에서와 같이 Prometheus 형식 을 사용하여 메트릭을 제공합니다.

# HELP node_memory_capacity Defines SPCS compute pool resource capacity on the node
# TYPE node_memory_capacity gauge
node_memory_capacity{snow_compute_pool_name="MY_POOL",snow_compute_pool_node_instance_family="CPU_X64_S",snow_compute_pool_node_id="10.244.3.8"} 1
node_cpu_capacity{snow_compute_pool_name="MY_POOL",snow_compute_pool_node_instance_family="CPU_X64_S",snow_compute_pool_node_id="10.244.3.8"} 7.21397383168e+09

다음 사항을 참고하십시오.

• 응답 본문은 메트릭의 간단한 설명과 유형을 제공하는 # HELP 및 # TYPE 으로 시작합니다. 이 예제에서 node_memory_capacity 메트릭은 gauge 유형입니다.

• 그 다음에는 메트릭 이름, 특정 리소스(데이터 요소)를 설명하는 레이블 목록과 해당 값이 표시됩니다. 이 예제에서 메트릭(node_memory_capacity)은 메모리 정보를 제공하며, 노드에 7.2GB의 사용 가능한 메모리가 있음을 나타냅니다. 이 메트릭에는 다음과 같이 레이블 형태의 메타데이터도 포함됩니다.

  snow_compute_pool_name="MY_POOL",
  snow_compute_pool_node_instance_family="CPU_X64_S",snow_compute_pool_node_id="10.244.3.8"
  

이러한 메트릭을 원하는 방식으로 처리할 수 있습니다. 예를 들어, 메트릭을 데이터베이스에 저장하고 UI(예: Grafana 대시보드)를 사용하여 정보를 표시할 수 있습니다.

사용 가능한 컴퓨팅 풀 메트릭 목록은 사용 가능한 플랫폼 메트릭 섹션을 참조하십시오.

예

Prometheus를 구성하여 메트릭에 대한 컴퓨팅 풀을 폴링하는 예는 컴퓨팅 풀 메트릭 자습서 섹션을 참조하십시오.

사용 가능한 플랫폼 메트릭¶

다음은 사용 가능한 플랫폼 메트릭 그룹과 각 그룹 내의 메트릭 목록입니다. 저장소 메트릭은 현재 블록 저장소 볼륨에서만 수집됩니다.