Escolha dos componentes SDK¶
Os conectores nativos SDK consiste em vários componentes, alguns deles são independentes e outros dependem uns dos outros para funcionar. Esta seção explica como personalizar quais componentes serão ativados no conector. Além disso, cada componente será brevemente descrito e suas dependências serão mencionadas.
Como habilitar/desabilitar componentes¶
Os componentes são habilitados e desabilitados no nível de objetos de banco de dados do Snowflake. Isto significa que o arquivo setup.sql executado é a fonte da verdade sobre o que foi habilitado ou desabilitado. Para os usuários iniciantes, é recomendável usar o arquivo all.sql fornecido pelo SDK. Este arquivo inclui todos os recursos básicos do SDK (exceto Task Reactor).
Para fazer isso, basta colocar a seguinte linha no arquivo do conector setup.sql:
EXECUTE IMMEDIATE FROM 'native-connectors-sdk-components/all.sql';
Para usuários mais experientes, é possível personalizar recursos habilitados e desabilitados. Para fazer isso, adicione e remova instruções EXECUTE IMMEDIATE conforme necessário. Tenha em mente que excluir um arquivo necessário para o recurso irá quebrá-lo.
-- Core connector objects
EXECUTE IMMEDIATE FROM 'core.sql';
-- Connector configuration prerequisites
EXECUTE IMMEDIATE FROM 'prerequisites.sql';
-- Connector configuration flow
EXECUTE IMMEDIATE FROM 'configuration/app_config.sql';
EXECUTE IMMEDIATE FROM 'configuration/connector_configuration.sql';
Componentes¶
As seções abaixo contêm uma lista dos componentes SDK de conectores nativos com descrições curtas e uma lista de outros componentes necessários para cada um deles. Para obter mais informações, consulte A referência do Snowflake Native SDK for Connectors.
Componente principal¶
O componente principal é responsável por criar objetos básicos para o conector, como esquemas, funções e camada de persistência para o status interno do aplicativo.
Dependências¶
Este componente não tem dependências de outros componentes.
Componente de configuração do aplicativo¶
O componente de configuração do aplicativo é uma camada de persistência para armazenar e ler a configuração interna do aplicativo.
Dependências¶
Este componente não tem dependências de outros componentes.
Componente de pré-requisitos¶
Os pré-requisitos são uma parte opcional do assistente. Ele oferece suporte para informar o usuário final sobre configurações e configurações iniciais que precisam ser atendidas, geralmente fora do próprio conector.
Dependências¶
Componente principal
Componente de configuração do conector¶
A configuração do conector é uma etapa do assistente responsável por configurar propriedades comuns do conector, como: banco de dados coletor, função do proprietário dos dados, warehouse etc.
Dependências¶
Componente principal
Componente de configuração do aplicativo
Componente de configuração de conexão¶
A configuração da conexão é uma etapa do assistente responsável por configurar as propriedades relacionadas à comunicação com o sistema de origem externa para o conector, por exemplo, propriedades e métodos de autenticação e autorização.
Dependências¶
Componente principal
Componente de configuração do aplicativo
Componente de finalização de configuração¶
O conector de finalização é uma etapa do assistente responsável por executar verificações finais de conexão com o sistema de origem externa e configurações específicas do conector.
Dependências¶
Componente principal
Recomendado: componente de configuração do aplicativo
Componente de pausa/retomada¶
O componente de pausa/retomada oferece a opção de pausar e retomar o conector sempre que desejado para interromper o consumo de crédito.
Dependências¶
Componente principal
Recomendado: componente de configuração do aplicativo
Recomendado: componente de finalização de configuração
Componente de ingestão¶
O componente de ingestão fornece abstração e persistência para definir os dados que serão colocados no Snowflake a partir do sistema de origem externo.
Dependências¶
Este componente não tem dependências de outros componentes, porém requer múltiplos arquivos sql para ser executado.
Componente do agendador¶
O componente do agendador permite fornecer um mecanismo de acionamento de tarefas dentro de um conector de acordo com a configuração usando tarefas do Snowflake abaixo.
Dependências¶
Componente principal
Componente de configuração do aplicativo
Componente de configuração do conector
Componente de estatísticas do conector¶
O componente de estatísticas do conector fornece exibições úteis para ver os metadados das tarefas de ingestão executadas. É útil monitorar a quantidade de dados que flui pelo conector.
Dependências¶
Componente de ingestão
Componente de status de sincronização¶
O componente de status de sincronização fornece uma exibição para verificar rapidamente quando foi a última sincronização de dados.
Dependências¶
Componente de ingestão
Componente de estatísticas do conector
Componente do reator de tarefas¶
O reator de tarefas é um componente que fornece um mecanismo para enfileirar itens de trabalho e distribuí-los entre várias tarefas de trabalho. O número de trabalhadores pode ser alterado para permitir mais deles quando há grandes cargas de trabalho.
Dependências¶
Este componente não tem dependências de outros componentes.