Snowpark Container Services: como trabalhar com serviços¶

Criação das várias instâncias de serviço e configuração do dimensionamento automático¶

Por padrão, o Snowflake executa uma instância do serviço no pool de computação especificado. Para gerenciar cargas de trabalho pesadas, você pode executar várias instâncias de serviço definindo as propriedades MIN_INSTANCES e MAX_INSTANCES, que especificam o número mínimo de instâncias do serviço para começar e o número máximo de instâncias para as quais o Snowflake pode escalar quando necessário.

Exemplo

CREATE SERVICE echo_service
   IN COMPUTE POOL tutorial_compute_pool
   FROM @tutorial_stage
   SPECIFICATION_FILE='echo_spec.yaml'
   MIN_INSTANCES=2
   MAX_INSTANCES=4;

Quando várias instâncias de serviço estão em execução, o Snowflake fornece automaticamente um balanceador de carga para distribuir as solicitações recebidas.

Para configurar o Snowflake para dimensionar automaticamente o número de instâncias de serviço em execução, siga estas etapas:

1. Especifique os requisitos de memória e CPU para sua instância de serviço no arquivo de especificação de serviço. Para obter mais informações, consulte a campo container.resources.

   Exemplo

   resources:
     requests:
      memory: <memory-reserved>
      cpu: <cpu-units>
   

   Copy

2. Ao executar o comando CREATE SERVICE, defina os parâmetros MIN_INSTANCES e MAX_INSTANCES. Você também pode usar ALTER SERVICE para alterar esses valores.

O Snowflake começa criando o número mínimo de instâncias de serviço no pool de computação especificado e depois dimensiona automaticamente o número de instâncias conforme necessário. Snowflake usa um limite de 80% (para CPU e memória) para aumentar ou diminuir o número de instâncias de serviço.

A qualquer momento, uma ou mais instâncias de serviço podem estar em execução no pool de computação especificado. O Snowflake monitora continuamente a utilização de recursos (memória ou CPU) no pool de computação, agregando os dados de uso de todas as instâncias de serviço em execução no momento.

Quando o uso de recursos agregados (em todas as instâncias de serviço) ultrapassa 80%, o Snowflake implanta uma instância de serviço adicional no pool de computação. Se o uso de recursos agregados cair abaixo de 80%, o Snowflake reduz a escala removendo uma instância de serviço em execução. Snowflake usa uma janela de estabilização de cinco minutos para evitar o dimensionamento frequente.

Observe os seguintes comportamentos de dimensionamento:

• O dimensionamento das instâncias de serviço é limitada pelos parâmetros MIN_INSTANCES e MAX_INSTANCES configurados para o serviço.

• Se o dimensionamento for necessário e os nós do pool de computação não tiverem a capacidade de recursos necessária para iniciar outra instância de serviço, o escalonamento automático do pool de computação poderá ser acionado. Para obter mais informações, consulte Dimensionamento automático de nós do pool de computação.

• Se você especificar os parâmetros MAX_INSTANCES e MIN_INSTANCES ao criar um serviço, mas não especificar os requisitos de memória e CPU para sua instância de serviço no arquivo de especificação de serviço, nenhum dimensionamento automático ocorrerá; Snowflake começa com o número de instâncias especificado pela propriedade MIN_INSTANCES e não será dimensionado automaticamente.

Como usar SYSTEM$GET_SERVICE_LOGS¶

Forneça o nome do serviço, a ID da instância, o nome do contêiner e, opcionalmente, o número de linhas de log mais recentes a serem recuperadas. Se apenas uma instância de serviço estiver em execução, a ID da instância de serviço será 0. Por exemplo, o comando GET_SERVICE_LOGS a seguir recupera as 10 linhas finais do log de um contêiner chamado echo que pertence à instância 0 de um serviço chamado echo_service:

CALL SYSTEM$GET_SERVICE_LOGS('echo_service', '0', 'echo', 10);

Se você não souber as informações do serviço (como a ID da instância ou o nome do contêiner), primeiro execute GET_SERVICE_STATUS para obter informações sobre as instâncias de serviço e os contêineres em execução em cada instância.

Exemplo de saída:

+--------------------------------------------------------------------------+
| SYSTEM$GET_SERVICE_LOGS                                                  |
|--------------------------------------------------------------------------|
| 10.16.6.163 - - [11/Apr/2023 21:44:03] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:08] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:13] "GET /healthcheck HTTP/1.1" 200 - |
| 10.16.6.163 - - [11/Apr/2023 21:44:18] "GET /healthcheck HTTP/1.1" 200 - |
+--------------------------------------------------------------------------+
1 Row(s) produced. Time Elapsed: 0.878s

A saída SYSTEM$GET_SERVICE_LOGS tem as seguintes limitações:

• Ele simplesmente mescla saída padrão e fluxos de erro padrão, o que torna impossível distinguir entre saída normal e mensagens de erro.

• Ele relata os dados capturados para um contêiner específico em uma única instância de serviço.

• Ele relata apenas logs de um contêiner em execução. A função não pode buscar logs de um contêiner anterior que foi reiniciado ou de um contêiner de um serviço que foi interrompido ou excluído.

• A função retorna até 100 KB de dados.

Como usar uma tabela de eventos¶

O Snowflake pode capturar e registrar resultados padrão e erros padrão de seus contêineres na tabela de eventos configurada para sua conta. Para obter mais informações, consulte Visão geral do registro e do rastreamento.

Por exemplo, a consulta SELECT a seguir recupera eventos de trabalho e serviço do Snowflake registrados na última hora:

SELECT TIMESTAMP, RESOURCE_ATTRIBUTES, RECORD_ATTRIBUTES, VALUE
FROM <current-event-table-for-your-account>
WHERE timestamp > dateadd(hour, -1, current_timestamp())
AND RESOURCE_ATTRIBUTES:"snow.executable.type" = 'SnowparkContainers'
ORDER BY timestamp DESC
LIMIT 10;

Snowflake recomenda incluir um carimbo de data/hora na cláusula WHERE das consultas da tabela de eventos, conforme mostrado neste exemplo. Isso é especialmente importante devido ao volume potencial de dados gerados por vários componentes do Snowflake. Ao aplicar filtros, você pode recuperar um subconjunto menor de dados, o que melhora o desempenho da consulta.

Você controla o nível de logs (todos, apenas erros ou nenhum) que deseja persistir em uma tabela de eventos usando o campo spec.logExporters no arquivo de especificação de serviço.

A tabela de eventos inclui as colunas a seguir, que fornecem informações úteis sobre os logs coletados pelo Snowflake do seu contêiner:

• TIMESTAMP: mostra quando o Snowflake coletou o log.

• RESOURCE_ATTRIBUTES: cada objeto nesta coluna identifica qual serviço Snowflake e contêiner no serviço geraram o log. Por exemplo, ele fornece detalhes como o nome do serviço, o nome do contêiner e o nome do pool de computação que foram especificados quando o serviço foi executado.

  {
  "snow.containers.compute_pool.id": 549816068,
  "snow.containers.compute_pool.name": "TUTORIAL_COMPUTE_POOL",
  "snow.containers.container.name": "echo",
  "snow.containers.instance.name": "0",
  "snow.containers.restart.id": "cd0cf2",
  "snow.database.id": 549816076,
  "snow.database.name": "TUTORIAL_DB",
  "snow.executable.id": 980991015,
  "snow.executable.name": "ECHO_SERVICE",
  "snow.executable.type": "SnowparkContainers",
  "snow.schema.id": 549816076,
  "snow.schema.name": "DATA_SCHEMA"
  }
  

  Copy

• RECORD_ATTRIBUTES: para um serviço Snowflake, ele identifica uma origem de erro (saída padrão ou erro padrão).

  { "log.iostream": "stdout" }
  

  Copy

• VALUE: a saída padrão e o erro padrão são divididos em linhas e cada linha gera um registro na tabela de eventos.

  "echo-service [2023-10-23 17:52:27,429] [DEBUG] Sending response: {'data': [[0, 'Joe said hello!']]}"
  

Funções de serviço: como usar um serviço de uma consulta SQL¶

Uma função de serviço é uma função definida pelo usuário (UDF) que você cria usando CREATE FUNCTION. No entanto, em vez de escrever o código da UDF diretamente, você associa a UDF ao seu serviço. Por exemplo, no Tutorial 1, você cria um serviço chamado echo_service que expõe um ponto de extremidade (ponto de extremidade de eco) conforme definido na especificação do serviço:

spec:
…
  endpoints:
  - name: echoendpoint
    port: 8080

echoendpoint é um nome de ponto de extremidade amigável que representa a porta correspondente (8080). Para se comunicar com esse ponto de extremidade de serviço, crie uma função de serviço fornecendo os parâmetros SERVICE e ENDPOINT conforme mostrado:

CREATE FUNCTION my_echo_udf (text varchar)
   RETURNS varchar
   SERVICE=echo_service
   ENDPOINT=echoendpoint
   AS '/echo';

O parâmetro AS fornece o caminho HTTP para o código de serviço. Você obtém esse valor de caminho do código de serviço (por exemplo, consulte service.py no Tutorial 1).

@app.post("/echo")
def echo():
...

Quando você invoca a função de serviço, o Snowflake direciona a solicitação para o ponto de extremidade do serviço e caminho de serviço associado.

Ao executar várias instâncias do seu serviço, você pode criar uma função de serviço especificando o parâmetro opcional MAX_BATCH_ROWS para limitar o tamanho do lote, o máximo de linhas que o Snowflake envia em um lote para o serviço. Por exemplo, suponha que MAX_BATCH_ROWS seja 10 e você chame a função de serviço my_echo_udf com 100 linhas de entrada. O Snowflake particiona as linhas de entrada em lotes, com cada lote tendo no máximo 10 linhas, e envia uma série de solicitações ao serviço com o lote de linhas no corpo da solicitação. Configurar o tamanho do lote pode ajudar quando o processamento leva um tempo não trivial, e distribuir linhas por todos os servidores disponíveis também pode ajudar.

Você pode usar ALTER FUNCTION para alterar uma função de serviço. O comando ALTER FUNCTION a seguir altera o ponto de extremidade do serviço ao qual ele está associado e o tamanho do lote:

ALTER FUNCTION my_echo_udf(VARCHAR)
   SET SERVICE=other_service
   ENDPOINT=otherendpoint
   MAX_BATCH_ROWS=100

"Alex", "2014-01-01 16:00:00"
"Steve", "2015-01-01 16:00:00"
…

SELECT service_func(col1, col2) FROM input_table;

{
   "data":[
      [
         0,
         "Alex",
         "2014-01-01 16:00:00"
      ],
      [
         1,
         "Steve",
         "2015-01-01 16:00:00"
      ],
      …
      [
         <row_index>,
         "<column1>",
         "<column2>"
      ],
   ]
}

{
   "data":[
      [0, "a"],
      [1, "b"],
      …
      [ row_index,  output_column1]
   ]
}

USE ROLE service_owner;
GRANT USAGE ON service service_db.my_schema.my_service TO ROLE func_owner;

USE ROLE func_owner;
CREATE OR REPLACE test_udf(v VARCHAR)
  RETURNS VARCHAR
  SERVICE=service_db.my_schema.my_service
  ENDPOINT=endpointname1
  AS '/run';

SELECT test_udf(col1) FROM some_table;

ALTER FUNCTION test_udf(VARCHAR) SET
  SERVICE = service_db.other_schema.other_service
  ENDPOINT=anotherendpoint;

GRANT USAGE ON FUNCTION test_udf(varchar) TO ROLE func_user;
USE ROLE func_user;
SELECT my_test_udf('abcd');

Entrada: usando um serviço de fora do Snowflake¶

Um serviço pode expor um ou mais pontos de extremidade como públicos para permitir que os usuários usem o serviço na web pública.

CREATE SECURITY INTEGRATION SNOWSERVICES_INGRESS_OAUTH
TYPE=oauth
OAUTH_CLIENT=snowservices_ingress
ENABLED=true;

Marque o ponto de extremidade como público em seu arquivo de especificação de serviço:

spec
  ...
  endpoints
  - name: <endpoint name>
    port: <port number>
    public: true

Para obter mais informações sobre especificações de serviço, consulte Referência de especificação.

Comunicações serviço a serviço¶

Os serviços podem se comunicar entre si usando o nome DNS que o Snowflake atribui automaticamente a cada serviço. Para obter um exemplo, consulte Tutorial 3.

O formato do nome DNS é:

<service-name>.<schema-name>.<db-name>.snowflakecomputing.internal

Use SHOW SERVICES (ou DESCRIBE SERVICE) para obter o nome DNS de um serviço. O nome DNS anterior é um nome completo. Os serviços criados no mesmo esquema podem se comunicar usando apenas o <nome-do-serviço>. Os serviços que estão no mesmo banco de dados, mas em esquemas diferentes, devem fornecer o nome do esquema, como <nome-do-serviço>.<nome-do-esquema>.

O Snowflake permite comunicações de rede entre serviços criados pela mesma função e bloqueia comunicações de rede entre serviços criados por funções diferentes. Se você quiser evitar que seus serviços se comuniquem entre si (por motivos como segurança), use diferentes funções do Snowflake para criar esses serviços.

Os nomes DNS têm as seguintes limitações:

• Seu banco de dados, esquema ou nomes de serviço devem ser etiquetas DNS válidas. (consulte também https://www.ietf.org/rfc/rfc1035.html#section-2.3.1). Caso contrário, a criação de um serviço falhará.

• Snowflake substitui um sublinhado (_) nos nomes (banco de dados, esquema e nome do serviço) por um traço (-) no nome DNS.

• Após criar um serviço, não altere o banco de dados ou o nome do esquema, pois o Snowflake não atualizará o nome DNS do serviço.

• Um nome DNS é apenas para comunicações internas no Snowflake entre serviços em execução na mesma conta. Não é acessível pela internet.