Como trabalhar com warehouses¶

Como criar um warehouse¶

É possível criar um warehouse usando as seguintes interfaces:

Snowsight:

Selecione Admin » Warehouses » Warehouse

Classic Console:

Selecione Warehouses » Create

SQL:

Execute um comando CREATE WAREHOUSE.

Python:

Use a API WarehouseCollection.create (Como criar um warehouse).

Ao criar um warehouse, você pode especificar se o warehouse é criado inicialmente no estado “Iniciado” (ou seja, em funcionamento) ou “Suspenso”. Se você escolher “Iniciado”, o warehouse começa a consumir créditos quando todos os recursos computados são provisionados para o warehouse.

Início ou retomada de um warehouse¶

Um warehouse pode ser iniciado a qualquer momento, inclusive na criação inicial. Quando um warehouse é criado, retomar seu funcionamento é o mesmo que iniciá-lo.

É possível retomar um warehouse suspenso (ou seja, inativo) usando as seguintes interfaces:

Snowsight:

Selecione Admin » Warehouses » <nome_do_warehouse_suspenso> » » Resume

Classic Console:

Selecione Warehouses » <nome_do_warehouse_suspenso> » Resume

SQL:

Execute um comando ALTER WAREHOUSE com a palavra-chave RESUME.

Python:

Use a API WarehouseResource.resume (Execução de operações do warehouse).

Iniciar um warehouse normalmente leva apenas alguns segundos; contudo, em alguns raros casos, pode levar mais tempo à medida que o Snowflake fornece os recursos computacionais para o warehouse.

Warehouses consomem créditos enquanto funcionam:

• Um warehouse começa a consumir créditos quando todos os recursos computacionais são provisionados para o warehouse.

  • Em um raro caso, quando alguns dos recursos computados não conseguem provisionar, o warehouse só consome créditos para os recursos computados provisionados.

  • Quando os recursos computacionais restantes são provisionados com sucesso, o warehouse começa a consumir créditos para todos os recursos computacionais solicitados.

• Enquanto o início ou a retomada de um warehouse muitas vezes leva apenas alguns segundos, em alguns casos, pode levar mais tempo porque o Snowflake fornece os recursos computacionais para o warehouse.

• O Snowflake não começa a executar instruções SQL enviadas a um warehouse até que todos os recursos computados para o warehouse sejam provisionados com sucesso, a menos que qualquer um dos recursos deixe de provisionar:

  • Se qualquer um dos recursos computados para o warehouse deixar de provisionar durante a inicialização, o Snowflake tentará reparar os recursos falhados.

  • Durante o processo de reparo, o warehouse começa a processar instruções SQL quando 50% ou mais dos recursos computacionais solicitados forem provisionados com sucesso.

Os créditos são faturados por segundo enquanto o warehouse está funcionando, com um mínimo de 1 minuto a cada vez que o warehouse é retomado; entretanto, o consumo de crédito é relatado em incrementos de 60 minutos (ou seja, de hora em hora).

Como suspender um warehouse¶

Um warehouse em execução pode ser suspenso a qualquer momento, mesmo durante a execução de instruções SQL. A suspensão de um warehouse impede que ele consuma créditos quando todos os recursos computacionais tiverem sido encerrados.

É possível suspender um warehouse usando as seguintes interfaces:

Snowsight:

Selecione Admin » Warehouses » <nome_do_warehouse_iniciado> » » Suspend

Classic Console:

Selecione Warehouses » <nome_do_warehouse_iniciado> » Suspend

SQL:

Execute um comando ALTER WAREHOUSE com a palavra-chave SUSPEND.

Python:

Use a API WarehouseResource.suspend (Execução de operações do warehouse).

Ao suspender um warehouse, o Snowflake desliga imediatamente todos os recursos de computação ociosos do warehouse, mas permite que quaisquer recursos de computação que estejam executando instruções continuem até que as instruções sejam concluídas, momento em que os recursos são desligados e o status do warehouse muda para “Suspenso”. Os recursos computacionais à espera de serem desligados são considerados estar em modo “quiesce” (fechado para novas sessões).

Redimensionamento de um warehouse¶

Um warehouse pode ser redimensionado para cima ou para baixo a qualquer momento, inclusive enquanto estiver em funcionamento e processando instruções.

É possível redimensionar um warehouse usando as seguintes interfaces:

Snowsight:

Selecione Admin » Warehouses » <nome_do_warehouse> » » Edit

Classic Console:

Selecione Warehouses » <nome_do_warehouse> » Configure

SQL:

Execute um comando ALTER WAREHOUSE com SET WAREHOUSE_SIZE = ....

Python:

Use a API WarehouseResource.create_or_alter (Criação ou alteração de um warehouse).

Redimensionar um warehouse para um tamanho maior é útil quando as operações que estão sendo realizadas pelo warehouse se beneficiarão de mais recursos computacionais, inclusive:

• Melhorar o desempenho de consultas grandes e complexas em relação a grandes conjuntos de dados.

• Melhorar o desempenho durante o carregamento e descarregamento de quantidades significativas de dados.

Como usar um warehouse¶

Para executar uma consulta ou instrução DML no Snowflake, um warehouse deve estar em funcionamento e deve ser especificado como o warehouse atual para a sessão em que a consulta/instrução é enviada.

Uma sessão do Snowflake só pode ter um warehouse atual de cada vez. O warehouse atual da sessão pode ser especificado ou alterado a qualquer momento por meio do comando SQL USE WAREHOUSE ou da Python API WarehouseResource.use_warehouse.

Quando um warehouse em funcionamento tiver sido definido como o warehouse atual para a sessão, as consultas e instruções DML enviadas dentro da sessão serão processadas pelo warehouse. Nas páginas History e Worksheets no Classic Console, você pode visualizar o warehouse usado para processar cada consulta/instrução.

Como delegar o gerenciamento do warehouse¶

Por padrão, a função ACCOUNTADMIN recebe a capacidade de alterar, suspender, descrever e executar outras operações em todos os warehouses da conta.

Se precisar delegar essas capacidades a uma função personalizada em sua conta, é possível conceder o privilégio MANAGE WAREHOUSES a essa função. A concessão do privilégio MANAGE WAREHOUSES é equivalente a conceder os privilégios MODIFY, MONITOR e OPERATE em todos os warehouses da conta.

Os exemplos a seguir demonstram como você pode delegar a capacidade de gerenciar warehouses a uma função personalizada chamada manage_wh_role. O exemplo usa o manage_wh_role para fazer alterações no warehouse test_wh, que pertence a uma função diferente (create_wh_role).

Crie uma nova função que criará e será proprietária de um novo warehouse e concederá o privilégio CREATE WAREHOUSE para essa função:

CREATE ROLE create_wh_role;
GRANT CREATE WAREHOUSE ON ACCOUNT TO ROLE create_wh_role;
GRANT ROLE create_wh_role TO ROLE SYSADMIN;

from snowflake.core.role import Role, Securable

my_role = Role(name="create_wh_role")
my_role_res = root.roles.create(my_role)

my_role_res.grant_privileges(
  privileges=["CREATE WAREHOUSE"], securable_type="ACCOUNT"
)

root.roles['SYSADMIN'].grant_role(role_type="ROLE", role=Securable(name='create_wh_role'))

Crie uma segunda função que gerencie todos os warehouses da conta e conceda o privilégio MANAGE WAREHOUSES a essa função:

CREATE ROLE manage_wh_role;
GRANT MANAGE WAREHOUSES ON ACCOUNT TO ROLE manage_wh_role;
GRANT ROLE manage_wh_role TO ROLE SYSADMIN;

from snowflake.core.role import Role, Securable

my_role = Role(name="manage_wh_role")
my_role_res = root.roles.create(my_role)

my_role_res.grant_privileges(
  privileges=["MANAGE WAREHOUSES"], securable_type="ACCOUNT"
)

root.roles['SYSADMIN'].grant_role(role_type="ROLE", role=Securable(name='manage_wh_role'))

Usando a função create_wh_role, crie um novo warehouse:

USE ROLE create_wh_role;
CREATE OR REPLACE WAREHOUSE test_wh
    WITH WAREHOUSE_SIZE= XSMALL;

from snowflake.core import CreateMode
from snowflake.core.warehouse import Warehouse

root.session.use_role("create_wh_role")

my_wh = Warehouse(
  name="test_wh",
  warehouse_size="XSMALL"
)
root.warehouses.create(my_wh, mode=CreateMode.or_replace)

Altere a função atual para manage_wh_role:

USE ROLE manage_wh_role;

root.session.use_role("manage_wh_role")

Apesar de manage_wh_role não possuir o test_wh, essa função tem o privilégio MANAGE WAREHOUSES, o que significa que você pode:

• Suspender e retomar o warehouse:

  SQLPython

  ALTER WAREHOUSE test_wh SUSPEND;
  ALTER WAREHOUSE test_wh RESUME;
  

  Copy

• Alterar o tamanho do warehouse:

  SQLPython

  ALTER WAREHOUSE test_wh SET WAREHOUSE_SIZE = SMALL;
  

  Copy

• Descrever o warehouse:

  SQLPython

  DESC WAREHOUSE test_wh;
  

  Copy

Revisão dos detalhes de warehouse no Snowsight¶

Você deve usar a função ACCOUNTADMIN ou uma função que tenha recebido os privilégios de warehouse relevantes.

Para revisar warehouses e gerenciar detalhes de warehouses no Snowsight, conclua as seguintes etapas:

1. Faça login na Snowsight.

2. Selecione Admin » Warehouses.

Você pode então revisar a tabela de warehouses, pesquisar por warehouses ou filtrar a lista de warehouses por status ou tamanho.

Por padrão, você pode ver as seguintes informações sobre cada warehouse:

• Name

• Status, como Started, Resuming ou Suspended.

• Size

• Clusters, indicado por uma barra na coluna. Você pode passar o mouse sobre o valor para ver quantos clusters estão ativos.

• Running, para obter detalhes sobre quantas instruções SQL estão sendo executadas pelo warehouse.

• Queued, para obter detalhes sobre quantas instruções SQL estão enfileiradas para o warehouse.

• Owner, ou a função de proprietário do warehouse.

• Resumed, para ver há quanto tempo o warehouse foi retomado. Passe o mouse sobre o valor para ver a data e o carimbo de data/hora exatos em seu fuso horário local.

Você também pode adicionar colunas para ver detalhes adicionais de cada warehouse na tabela:

• QAS (Scale Factor), para ver o fator de escala do warehouse usado pelo Query Acceleration Service (QAS). Consulte Uso do Query Acceleration Service.

• Scaling Policy, para ver a política de dimensionamento definida para o warehouse. Consulte Como definir a política de escalonamento para um warehouse multicluster.

• Auto Resume, para verificar se a retomada automática está configurada para o warehouse.

• Auto Suspend, para ver o período antes que a suspensão automática ocorra no warehouse.

• Created, para ver quando o warehouse foi criado. Passe o mouse sobre o valor para ver a data e o carimbo de data/hora exatos em seu fuso horário local.

Ao selecionar um warehouse na tabela Warehouses, é possível ver mais detalhes:

• A seção Warehouse Activity fornece um gráfico de carga do warehouse ao longo de um período, o que pode ajudar você a entender por que uma consulta pode estar lenta. Consulte Monitoramento da carga do warehouse para obter mais detalhes.

• A seção Details fornece informações adicionais sobre seu warehouse, inclusive:

  • O status do warehouse.

  • O tamanho do warehouse.

  • Número máximo e mínimo de clusters que o warehouse pode utilizar.

  • A política de escala.

  • O número de tarefas que estão sendo executadas e enfileiradas.

  • O período de ausência de atividade antes do warehouse ser automaticamente suspenso.

  • Caso o warehouse esteja suspenso, se ele deve ser retomado automaticamente quando necessário.

  • A última vez que o warehouse retomou a operação.

• Você pode usar a seção Privileges para visualizar, conceder e revogar privilégios sobre o warehouse.