Gerenciamento do conector Kafka¶

Descarte de estágios¶

O conector cria um estágio interno nomeado para cada tópico Kafka. O formato do nome do estágio é:

SNOWFLAKE_KAFKA_CONNECTOR_connector_name_STAGE_table_name

Observe que cada estágio interna armazena não apenas arquivos a serem carregados em tabelas, mas também informações de “estado” que são usadas para garantir a entrega das linhas do Kafka à tabela.

Se um estágio e suas informações de estado estiverem preservados, e se o conector for interrompido e reiniciado, o conector tenta automaticamente retomar do ponto em que parou. Entretanto, se um estágio for removido, o conector não poderá retomar de onde parou.

Para descartar os estágios usados pelo conector Kafka:

1. Encontre os nomes dos estágios executando SHOW STAGES como proprietário dos estágios (ou seja, a função com o privilégio OWNERSHIP sobre os estágios. Esta deve ser a função padrão do usuário definida no arquivo de configuração do Kafka para executar o conector Kafka).

2. Execute DROP STAGE para descartar cada estágio que você deseja remover do sistema.

Descarte de canais¶

O conector cria um canal para cada partição em um tópico Kafka. O formato do nome do canal é:

SNOWFLAKE_KAFKA_CONNECTOR_connector_name_PIPE_table_name_partition_number

Para descartar os canais usados pelo conector Kafka:

1. Encontre os nomes dos canais executando SHOW PIPES como proprietário dos canais (ou seja, a função com o privilégio OWNERSHIP sobre os canais. Esta deve ser a função padrão do usuário definida no arquivo de configuração do Kafka para executar o conector Kafka).

2. Execute DROP PIPE para descartar cada canal que você deseja remover do sistema.

Descarte de tabelas¶

Se os dados carregados em suas tabelas de destino não forem mais necessários, você também pode descartar essas tabelas.

Se você não mapeou os tópicos Kafka para as tabelas usando o parâmetro snowflake.topic2table.map nas Propriedades de configuração do Kafka, o conector Kafka criou novas tabelas usando os nomes dos tópicos. O nome da tabela está em maiúsculas, mas é idêntico ao nome do tópico, desde que o nome do tópico não viole as regras de nomenclatura de objetos Snowflake. Por exemplo, o Snowflake cria um nome de tabela TEMPERATURE_DATA para um tópico Kafka chamado temperature_data.

Para descartar as tabelas usadas pelo conector Kafka:

1. Encontre os nomes das tabelas executando SHOW TABLES como proprietário das tabelas (ou seja, a função com o privilégio OWNERSHIP sobre as tabelas. Esta deve ser a função padrão do usuário definida no arquivo de configuração do Kafka para executar o conector Kafka).

2. Execute DROP TABLE para descartar cada tabela que você deseja remover do sistema.