Sobre a Openflow Connector for Snowflake to Kafka¶
Nota
O conector está sujeito aos termos do conector.
Este tópico descreve os conceitos básicos do Openflow Connector for Snowflake to Kafka e suas limitações.
O conector consome um fluxo do Snowflake e envia os registros consumidos da CDC para um tópico do Kafka. Um objeto Snowflake Stream registra as alterações da linguagem de manipulação de dados (DML) feitas nas tabelas, incluindo inserções, atualizações e exclusões, bem como metadados sobre cada alteração, para que as ações possam ser executadas usando os dados alterados. Esse processo é chamado de captura de dados de alteração (CDC).
Use esse conector se quiser fazer o seguinte:
Replicar tabelas do Snowflake para o Apache Kafka usando CDC para distribuição de insights em tempo real e arquiteturas orientadas por eventos
Fluxo de trabalho¶
Dependendo da configuração do corretor Kafka, que receberá os dados da CDC, o fluxo de trabalho poderá ser ligeiramente diferente.
Um administrador de conta Snowflake executa as seguintes tarefas:
Cria ou identifica o fluxo Snowflake que será a fonte dos dados da CDC.
Designa um warehouse a ser usado pelo conector.
Configura ou identifica o usuário Snowflake usado pelo conector e uma função para esse usuário. O usuário deve ter as permissões apropriadas para o fluxo do Snowflake de origem. No mínimo, o usuário precisa ter o privilégio USAGE no banco de dados e esquema contendo o fluxo Snowflake e o privilégio SELECT no fluxo e na tabela subjacente do fluxo ou objeto de exibição.
Um administrador do Kafka executa as seguintes tarefas.
Cria ou identifica um corretor e um tópico do Kafka que será o destino da CDC apanhada do fluxo Snowflake.
Configura o mecanismo de autenticação para o corretor Kafka, que será usado pelo conector.
Um engenheiro de dados executa as seguintes tarefas:
Instala e configura o conector.
Fornece credenciais e configuração do Snowflake.
Fornece credenciais e configurações do Kafka.
Fornece os parâmetros do conector.
Colunas de metadados de fluxo¶
As colunas de metadados de fluxo METADATA$ROW_ID, METADATA$ISUPDATE e METADATA$ACTION são enviadas ao tópico do Kafka. Os nomes dessas colunas são modificados antes de serem enviados ao Kafka. Na carga útil da mensagem JSON que é enviada, eles se tornam METADATA_ROW_ID, METADATA_ISUPDATE e METADATA_ACTION.
Para obter mais informações, consulte Colunas de fluxo.
Limitações¶
Um único conector só pode apanhar CDCs de um fluxo do Snowflake.
As mensagens são enviadas sem um esquema.
Não há suporte para a evolução do esquema.