Monitorar conectores usando o painel de conectores do Openflow¶

Filtrando conectores¶

O painel de conectores do Openflow oferece suporte aos seguintes filtros:

Event table

A tabela de eventos de conectores do Openflow que você deseja monitorar. Este filtro exibe tabelas de eventos associadas a pelo menos uma implantação do Openflow, bem como as tabelas de eventos padrão e da conta. É possível selecionar apenas uma tabela de eventos por vez. Há suporte também para exibições de tabelas de eventos.

A tabela de eventos é definida quando você configura o Openflow.

Dica

Para visualizar a tabela de eventos associada a uma implantação do Openflow, use o comando DESCRIBE OPENFLOW DATA PLANE INTEGRATION. Consulte Configurar o Openflow – Implantação do Snowflake ou Configuração do Openflow - BYOC para obter mais informações sobre a configuração de tabelas de eventos.

Período

Use este filtro para identificar conectores relevantes em um período específico.

Dica

Para obter os resultados mais atualizados sobre a integridade do conector, selecione o período de tempo Last Hour.

Status

Habilita a filtragem para conectores Healthy, Unhealthy ou All.

Source

Habilita a filtragem pelo sistema de origem com base nos conectores implantados conhecidos. O filtro mostra apenas as fontes usadas por seus conectores.

Deployment

Habilita a filtragem por implantações do Snowflake Openflow.

Este filtro exibe nomes de integração de plano de dados, que são compostos do prefixo OPENFLOW_DATAPLANE_ seguido do ID da implantação. Para encontrar o ID da implantação, navegue até o Openflow, selecione a guia Deployments e, depois, View Details.

Runtime

Habilita a filtragem por tempos de execução do Snowflake Openflow.

Este filtro exibe as chaves de tempo de execução. Para corresponder chaves de tempo de execução a nomes de tempo de execução do Openflow na UI, navegue até o Openflow, selecione a guia Runtimes, depois View Details e encontre a chave correspondente.

Type

Habilita a filtragem por tipo de conector: bancos de dados, SaaS, streaming, não estruturado, outro.

Conectores de captura de dados de alteração¶

A página de detalhes mostra as seguintes informações para cada tabela que faz parte da configuração de captura de dados de alteração:

Table replication status

O status de replicação das tabelas pode ser Active ou Failed. O status de replicação é baseado no evento de telemetria mais recente disponível para a tabela. Eventos que causam a falha na replicação de uma tabela resultam imediatamente no status de replicação Failed no painel. Use a mensagem Failure Reason para identificar o problema.

Error distribution

Ajuda a saber quando o conector teve problemas, para que você possa identificar possíveis problemas com os sistemas de origem, a configuração do conector ou o destino do Snowflake.

Table name

Mostra o esquema e os nomes de todas as tabelas configuradas para serem replicadas pelo conector. A lista corresponde aos parâmetros de configuração Included Table Names ou Included Table Regex do conector.

Replication status

Mostra se o status de replicação de cada tabela é Active ou Failed.

Replication phase

Mostra a fase de replicação da tabela atual. Após a configuração no conector, as tabelas entram na fase de replicação New, avançam para a fase Snapshot Load, executam o carregamento inicial e, por fim, entram na fase Incremental Replication, em que os eventos individuais de captura de dados de alteração são processados.

Last Ingested

Mostra o carimbo de data/hora do último registro inserido na tabela de destino durante o período selecionado. Ao analisar esta métrica, considere um pequeno atraso entre os registros que são ingeridos e os eventos que são registrados e estão disponíveis para consulta.

Você pode usar Replication status, Replication phase e os filtros de período para restringir a lista de tabelas.

Todos os conectores¶

Connector status

Mostra o status de integridade do conector: Healthy se nenhuma mensagem de erro foi encontrada durante o período selecionado ou Unhealthy se alguma mensagem de erro foi encontrada.

Error distribution

Mostra uma contagem de quantos erros o conector detectou durante o período selecionado.

Average throughput

Mede a taxa na qual os dados são lidos dos sistemas de origem e ingeridos no Snowflake para o conector selecionado.

• A métrica Average throughput » Ingested mede a rapidez com que o conector selecionado ingere dados no Snowflake.

• A métrica Average throughput » Read mede a rapidez com que o conector selecionado lê os dados nos sistemas de origem.

Total data ingested

Mostra a quantidade de dados que o conector selecionado ingeriu no Snowflake durante o período selecionado. Use essa métrica para identificar rapidamente anomalias de ingestão durante um período específico.

Fluxos personalizados¶

Os fluxos personalizados criados na tela do Openflow também podem ser monitorados no painel, mas somente se forem ativamente controlados por versão em um repositório Git de cliente usando a integração do Git com o Openflow. Os fluxos que não são controlados por versão não aparecem no painel.

Para obter mais informações, consulte Controle de versão para fluxos personalizados.

Visualizando erros do conector¶

Para visualizar todos os erros que um conector encontrou no período selecionado, primeiro navegue até a página de detalhes do conector selecionando » View Details e, em seguida, selecione a guia Issues.

O título do erro informa que tipo de erro o conector encontrou, e o conteúdo mostra todo o stacktrace do erro.

Visualização dos logs do conector¶

Você também pode consultar logs adicionais do conector para entender o contexto de uma mensagem de erro. Para visualizar todos os logs do conector selecionado, selecione » View logs.

Depois de abrir o explorador de logs, você também poderá alterar os filtros para exibir logs de diferentes conectores ou de tempos de execução ou implantações inteiros. O explorador de logs oferece suporte a filtros específicos do Openflow, como ID do plano de dados, chave de tempo de execução e ID do grupo de processos.

Acessando a tela do Openflow¶

Ao identificar um problema do conector, provavelmente você precisará navegar até a tela do Openflow para corrigi-lo; por exemplo, ajustar alguns parâmetros de configuração ou atualizar para uma versão mais recente do conector.

Para navegar até o conector selecionado na tela do Openflow, selecione » Go to canvas.

Selecionar um warehouse maior¶

Use o seletor de warehouse na seção superior direita da tela para escolher um warehouse diferente para executar as consultas.

Configurar clustering na tabela de eventos do Openflow¶

Ao usar chaves de clustering, você pode evitar a verificação desnecessária de micropartições durante as consultas, acelerando significativamente o desempenho das consultas que fazem referência a estas colunas. Para obter mais informações, consulte O que é clustering de dados?.

Execute a consulta a seguir, substituindo os espaços reservados pela tabela de eventos do Openflow:

ALTER TABLE <database>.<schema>.<event_table_name>
  CLUSTER BY (
    DATE_TRUNC('HOUR', timestamp),
    RECORD_TYPE,
    CAST(record_attributes:"metricNameHash" AS STRING)
  );

Reduzir o período consultado¶

A seleção de um período menor no filtro verifica menos dados e acelera o desempenho da consulta. Use o filtro Last Hour para obter o melhor desempenho e a exibição mais atualizada da integridade e do desempenho do conector.