Snowpark Container Services: Serviços de monitoramento¶

Como usar SYSTEM$GET_SERVICE_LOGS¶

Forneça o nome do serviço, a ID da instância, o nome do contêiner e, opcionalmente, o número de linhas de log mais recentes a serem recuperadas. Se apenas uma instância de serviço estiver em execução, a ID da instância de serviço será 0. Por exemplo, o comando de instrução a seguir recupera as 10 linhas finais do log de um contêiner nomeado echo que pertence à instância 0 de um serviço chamado echo_service:

SELECT SYSTEM$GET_SERVICE_LOGS('echo_service', '0', 'echo', 10);

Exemplo de saída:

+--------------------------------------------------------------------------+
| SYSTEM$GET_SERVICE_LOGS                                                  |
|--------------------------------------------------------------------------|
| 10.16.6.163 - - [11/Apr/2023 21:44:03] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:08] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:13] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:18] "GET /healthcheck HTTP/1.1" 200 - |
+--------------------------------------------------------------------------+
1 Row(s) produced. Time Elapsed: 0.878s

Se você não tiver as informações sobre o serviço necessárias para chamar a função (como o ID da instância ou nome do contêiner), é possível primeiro executar o comando SHOW SERVICE CONTAINERS IN SERVICE para obter informações sobre as instâncias do serviço e os contêineres em execução em cada instância.

A função SYSTEM$GET_SERVICE_LOGS tem as seguintes limitações:

• Ele realiza a fusão dos fluxos de saída padrão e de erro padrão. A função não indica de qual fluxo a saída veio.

• Ele relata os dados capturados para um contêiner específico em uma única instância de serviço.

• Ele relata apenas logs de um contêiner em execução. A função não pode buscar logs de um contêiner anterior que foi reiniciado ou de um contêiner de um serviço que foi interrompido ou excluído.

• A função retorna até 100 KB de dados.

Como usar tabela de evento¶

O Snowflake pode capturar logs enviados de contêineres para a saída padrão e fluxos de erro padrão na tabela de evento configurada para sua conta. Para obter mais informações sobre como configurar uma tabela de evento, consulte Registro, rastreamento e métricas.

Você controla quais fluxos são coletados (todos, somente erro padrão ou nenhum) para armazenar em uma tabela de evento, usando o campo spec.logExporters no arquivo de especificação de serviço.

É possível então consultar a tabela de evento para ver os eventos. Por exemplo, a instrução SELECT a seguir recupera eventos de serviço e trabalho do Snowflake registrados na última hora:

SELECT TIMESTAMP, RESOURCE_ATTRIBUTES, RECORD_ATTRIBUTES, VALUE
FROM <current-event-table-for-your-account>
WHERE timestamp > dateadd(hour, -1, current_timestamp())
AND RESOURCE_ATTRIBUTES:"snow.service.name" = <service-name>
AND RECORD_TYPE = 'LOG'
ORDER BY timestamp DESC
LIMIT 10;

Snowflake recomenda incluir um carimbo de data/hora na cláusula WHERE das consultas da tabela de eventos, conforme mostrado neste exemplo. Isso é especialmente importante devido ao volume potencial de dados gerados por vários componentes do Snowflake. Ao aplicar filtros, você pode recuperar um subconjunto menor de dados, o que melhora o desempenho da consulta.

A tabela de evento inclui as seguintes colunas, que fornecem informações úteis sobre os logs coletados pelo Snowflake de seu contêiner:

• TIMESTAMP: mostra quando o Snowflake coletou o log.

• RESOURCE_ATTRIBUTES: Fornece um objeto JSON que identifica o serviço Snowflake e o contêiner no serviço que gerou a mensagem de log. Por exemplo, ele fornece detalhes como o nome do serviço, o nome do contêiner e o nome do pool de computação que foram especificados quando o serviço foi executado.

  {
    "snow.account.name": "SPCSDOCS1",
    "snow.compute_pool.id": 20,
    "snow.compute_pool.name": "TUTORIAL_COMPUTE_POOL",
    "snow.compute_pool.node.id": "a17e8157",
    "snow.compute_pool.node.instance_family": "CPU_X64_XS",
    "snow.database.id": 26,
    "snow.database.name": "TUTORIAL_DB",
    "snow.schema.id": 212,
    "snow.schema.name": "DATA_SCHEMA",
    "snow.service.container.instance": "0",
    "snow.service.container.name": "echo",
    "snow.service.container.run.id": "b30566",
     "snow.service.id": 114,
    "snow.service.name": "ECHO_SERVICE2",
    "snow.service.type": "Service"
  }
  

  Copy

• RECORD_ATTRIBUTES: para um serviço Snowflake, ele identifica uma origem de erro (saída padrão ou erro padrão).

  { "log.iostream": "stdout" }
  

  Copy

• VALUE: a saída padrão e o erro padrão são divididos em linhas e cada linha gera um registro na tabela de eventos.

  "echo-service [2023-10-23 17:52:27,429] [DEBUG] Sending response: {'data': [[0, 'Joe said hello!']]}"
  

Acesso a métricas de serviço de tabela de evento¶

Para registrar as métricas de um serviço na tabela de evento configurada para sua conta, inclua a seguinte seção na especificação do serviço:

platformMonitor:
  metricConfig:
    groups:
    - <group 1>
    - <group 2>
    - ...

Onde cada group N se refere a um grupo de métricas predefinido no qual você está interessado (por exemplo, system, network ou storage). Para obter mais informações, consulte a seção do campo spec.platformMonitor na documentação sobre a especificação do serviço.

Enquanto o serviço estiver em execução, o Snowflake registra essas métricas na tabela de evento de sua conta. É possível consultar a tabela de evento para ler as métricas. A consulta a seguir recupera as métricas de serviço que foram registradas na última hora para o serviço my_service:

SELECT timestamp, value
  FROM my_event_table_db.my_event_table_schema.my_event_table
  WHERE timestamp > DATEADD(hour, -1, CURRENT_TIMESTAMP())
    AND RESOURCE_ATTRIBUTES:"snow.service.name" = 'MY_SERVICE'
    AND RECORD_TYPE = 'METRIC'
    ORDER BY timestamp DESC
    LIMIT 10;

Se você não souber o nome da tabela de evento ativa para a conta, execute o comando SHOW PARAMETERS para exibir o valor do parâmetro EVENT_TABLE no nível da conta:

SHOW PARAMETERS LIKE 'event_table' IN ACCOUNT;

Para obter mais informações sobre tabelas de evento, consulte Como usar tabela de evento.

Exemplo

Siga estas etapas para criar um serviço de exemplo que registre métricas na tabela de evento configurada para sua conta.

1. Siga o Tutorial 1 para criar um serviço nomeado echo_service, com uma alteração. Na etapa 3, onde você cria um serviço, use o seguinte comando CREATE SERVICE para adicionar o campo platformMonitor na especificação de serviço modificada.

   CREATE SERVICE echo_service
     IN COMPUTE POOL tutorial_compute_pool
     FROM SPECIFICATION $$
       spec:
         containers:
         - name: echo
           image: /tutorial_db/data_schema/tutorial_repository/my_echo_service_image:latest
           env:
             SERVER_PORT: 8000
             CHARACTER_NAME: Bob
           readinessProbe:
             port: 8000
             path: /healthcheck
         endpoints:
         - name: echoendpoint
           port: 8000
           public: true
         platformMonitor:
           metricConfig:
             groups:
             - system
             - system_limits
         $$
       MIN_INSTANCES=1
       MAX_INSTANCES=1;
   

   Copy

2. Após a execução do serviço, o Snowflake começa a registrar as métricas nos grupos de métricas especificados na tabela de evento, que você pode consultar. A consulta a seguir recupera métricas relatadas na última hora pelo serviço Echo.

   SELECT timestamp, value
     ROM my_events
     WHERE timestamp > DATEADD(hour, -1, CURRENT_TIMESTAMP())
       AND RESOURCE_ATTRIBUTES:"snow.service.name" = 'ECHO_SERVICE'
       AND RECORD_TYPE = 'METRIC'
       ORDER BY timestamp, group DESC
       LIMIT 10;
   

   Copy

Como acessar as métricas do pool de computação¶

As métricas do pool de computação oferecem insights sobre os nós no pool de computação e os serviços em execução neles. Cada nó relata métricas específicas do nó, como a quantidade de memória disponível para contêineres, bem como métricas de serviço, como o uso de memória por contêineres individuais. As métricas do pool de computação fornecem informações da perspectiva de um nó.

Cada nó tem um publicador de métricas que escuta na porta TCP 9001. Outros serviços podem fazer uma solicitação HTTP GET com o caminho /metrics para a porta 9001 no nó. Para descobrir o endereço IP do nó, recupere os registros SRV (ou registros A) do DNS para o nome de host discover.monitor.compute_pool_name.snowflakecomputing.internal. Em seguida, crie outro serviço na conta que pesquise ativamente cada nó para recuperar as métricas.

O corpo na resposta fornece as métricas usando o formato Prometheus conforme mostrado nas métricas de exemplo a seguir:

# HELP node_memory_capacity Defines SPCS compute pool resource capacity on the node
# TYPE node_memory_capacity gauge
node_memory_capacity{snow_compute_pool_name="MY_POOL",snow_compute_pool_node_instance_family="CPU_X64_S",snow_compute_pool_node_id="10.244.3.8"} 1
node_cpu_capacity{snow_compute_pool_name="MY_POOL",snow_compute_pool_node_instance_family="CPU_X64_S",snow_compute_pool_node_id="10.244.3.8"} 7.21397383168e+09

Observe o seguinte:

• O corpo da resposta começa com # HELP e # TYPE, que fornecem uma breve descrição e o tipo da métrica. Neste exemplo, a métrica node_memory_capacity é do tipo gauge.

• Em seguida, vem o nome da métrica, uma lista de rótulos que descrevem um recurso específico (ponto de dados) e seu valor. Neste exemplo, a métrica (nomeada node_memory_capacity) fornece informações de memória, indicando que o nó tem 7,2 GB de memória disponível. A métrica também inclui metadados na forma de rótulos, conforme mostrado:

  snow_compute_pool_name="MY_POOL",
  snow_compute_pool_node_instance_family="CPU_X64_S",snow_compute_pool_node_id="10.244.3.8"
  

É possível processar essas métricas da maneira que quiser; por exemplo, você pode armazenar métricas em um banco de dados e usar uma UI (como um painel do Grafana) para exibir as informações.

Para obter uma lista de métricas de pool de computação disponíveis, consulte Métricas de plataforma disponíveis.

Exemplo

Para ver um exemplo de configuração do Prometheus para consultar métricas do pool de computação, consulte os tutoriais de métricas do pool de computação.

Métricas de plataforma disponíveis¶

A seguir está uma lista de grupos de métricas de plataforma disponíveis e métricas dentro de cada grupo. Observe que atualmente as métricas de armazenamento são coletadas apenas de volumes de armazenamento em bloco.