Catálogo Snowflake Horizon¶

Quem se beneficia do Snowflake Horizon Catalog?¶

O Snowflake Horizon Catalog oferece uma solução a todos os interessados em governar, descobrir ou agir sobre o conteúdo de uma organização. Essas partes interessadas incluem o seguinte:

Administradores de dados:

Os administradores de dados querem fornecer acesso a dados, aplicativos e modelos e, ao mesmo tempo, garantir que as pessoas certas tenham acesso ao conteúdo. Eles querem identificar dados confidenciais e protegê-los adequadamente. O trabalho deles é determinar quem está usando quais dados e entender a qualidade dos dados.

O Horizon Catalog permite que os administradores de dados administrem efetivamente o conteúdo da organização com uma solução integrada. Eles podem proteger o conteúdo em um nível granular para disponibilizá-lo com segurança a um público mais abrangente; usar ferramentas que monitorem a segurança, a qualidade dos dados e o fluxo de dados confidenciais; e auditar continuamente quem acessou os dados e se esse acesso foi realizado com segurança.

Equipes de dados:

Equipes de analistas, cientistas e engenheiros de dados geralmente têm dificuldade para encontrar os dados, aplicativos ou modelos certos para suas tarefas. Após encontrar um objeto, é difícil dizer se os dados estão atualizados e confiáveis, o que as colunas significam e quem é o proprietário deles. Mesmo quando determinam que os dados estão corretos, obter acesso a eles pode levar dias ou semanas.

O Horizon Catalog ajuda equipes de dados a encontrar e colaborar em conteúdo relevante mais rapidamente. O Horizon Catalog ajuda essas equipes a extrair mais valor do conteúdo, tornando mais fácil encontrar os dados corretos, compreendê-los para garantir que atendam aos requisitos e realizar ações com base nesses dados. As equipes de dados podem aprimorar a colaboração e as decisões orientadas por dados, aproveitando as listagens organizacionais para descobrir e incluir produtos de dados relevantes e atualizados compartilhados por seus colegas de trabalho e preenchidos automaticamente por meio do marketplace interno.

Âmbito do conteúdo de uma organização¶

O Horizon Catalog controla e torna detectável mais do que apenas tabelas e exibições do Snowflake no armazenamento interno de uma conta. Ele abrange uma variedade de conteúdos, incluindo o seguinte:

• Dados, aplicativos e modelos em contas de toda a sua organização, incluindo dados compartilhados usando listagens organizacionais e o marketplace interno.

• Dados de Tabelas Apache Iceberg™ e tabelas externas.

• Dados compartilhados por meio de listagens privadas por parceiros confiáveis.

• Dados disponíveis publicamente e todo Snowflake Native App do Snowflake Marketplace.

• Dados de aplicativos de terceiros e sistemas de dados trazidos ao Snowflake usando conectores.

Conteúdo de governança¶

O Horizon Catalog fornece as ferramentas que um administrador de dados precisa para governar os dados, aplicativos e modelos de uma organização.

Conformidade:

O Horizon Catalog permite que você faça o seguinte:

• Auditar o histórico de acesso e as dependências de objeto do conteúdo.

• Monitorar a qualidade dos dados usando funções de métricas de dados integradas e personalizadas, que permite solucionar problemas e visualizar. Você pode configurar um alerta com base na tabela centralizada para habilitar notificações de qualidade de dados quase em tempo real.

• Visualize a linhagem de dados no Snowsight para entender a linhagem de tabelas e colunas de uma tabela de origem para uma tabela de destino e definir tags em colunas que aparecem em uma tabela downstream ou upstream.

• Obtenha insights de objetos ^[1] usando uma interface de usuário que permite acessar informações sobre tabelas e exibições sem escrever SQL. Você pode determinar quem está acessando os dados, as consultas que acessam os dados com mais frequência, se alguém modificou a postura de governança dos dados, se há dependências upstream ou downstream nos dados e se os dados foram classificados como confidenciais.

• Rastreie dados monitorando tags, que podem ser tags definidas pelo usuário implementadas com marcação de objetos ou tags de classificação (definidas pelo sistema ou personalizadas) atribuídas automaticamente às colunas com base no conteúdo da coluna.

_{[1] Atualmente em versão preliminar privada.}

Segurança:

O Horizon Catalog permite que você faça o seguinte:

• Use o Trust Center para determinar a postura de segurança atual de uma conta, incluindo se ela atende aos parâmetros de comparação definidos pelo Center for Internet Security (CIS).

• Use criptografia de ponta a ponta para impedir que terceiros leiam dados em repouso ou em trânsito de e para o Snowflake, minimizando a superfície de ataque.

• Escolha seu método de autenticação preferido, como OAuth ou autenticação federada.

• Use controles de autorização granulares para controlar o acesso a objetos.

• Defina e aplique políticas de acesso a dados para fornecer proteções ao nível de coluna e ao nível de linha.

Privacidade:

O Horizon Catalog permite que você faça o seguinte:

• Defina e atribua políticas de agregação e políticas de projeção para controlar que tipos de consulta podem ser executados em dados compartilhados. As políticas de agregação exigem que os analistas executem consultas que agreguem dados em vez de recuperar linhas individuais. As políticas de projeção controlam se um analista pode usar uma instrução SELECT para projetar uma coluna específica.

• Abra dados altamente confidenciais para analistas e, ao mesmo tempo, proteja a identidade dos indivíduos. A privacidade diferencial usa matemática rigorosa para proteger contra ataques sofisticados de privacidade em seus dados.

• Facilite a colaboração preservando a privacidade usando uma Snowflake Data Clean Room.

• Amplie quem pode obter insights a partir de dados sensíveis gerando, de forma sintética, dados com características semelhantes, com os quais essas pessoas possam trabalhar diretamente.

Descoberta e ação em relação ao conteúdo¶

As equipes de dados dependem dos dados, aplicativos e modelos de uma organização para fazer seu trabalho. O Horizon Catalog fornece a essas equipes as ferramentas necessárias para descobrir conteúdo para suas tarefas, avaliar esse conteúdo para garantir que seja relevante e confiável, além de realizar ações com base nele.

Descoberta:

O Horizon Catalog permite que você faça o seguinte:

• Use o marketplace interno para descobrir e agir com base nos dados de sua organização. O Internal Marketplace é um site exclusivo da empresa que permite que você descubra listagens organizacionais. As páginas de listagem do tipo wiki, completas com dicionários de dados e exemplos validados em SQL, simplificam a identificação de produtos de dados selecionados por equipes internas. Não é necessária nenhuma configuração adicional – basta copiar o nome da listagem e os dados estarão prontos para uso imediato.

• Pesquise dados, aplicativos e modelos usando Universal Search, uma interface de usuário que permite que você encontre conteúdo dentro e fora da sua organização usando linguagem natural.

• Entenda rapidamente o conteúdo de uma tabela e suas colunas lendo as descrições geradas pela AI. Os proprietários de objetos podem clicar em um único botão no Snowsight para gerar estas descrições, o que aumenta a probabilidade de que objetos e colunas tenham comentários úteis. Estes comentários úteis melhoram a capacidade de descoberta dos objetos por meio do Universal Search.

• Navegue pelos dados disponíveis publicamente no Snowflake Marketplace.

• Avalie a relevância dos dados usando insights de objetos no Snowsight ^[3] para analisar a popularidade, o acesso, a qualidade e as dependências do conteúdo.

_{[3] Atualmente em versão preliminar privada.}

Colaboração:

O Horizon Catalog permite que você faça o seguinte:

• Compartilhe dados dentro de sua organização no marketplace interno e em particular com parceiros de negócios externos usando listagens privadas.

• Compre e venda produtos de dados no Snowflake Marketplace.

• Gerencie suas listagens com uma interface de usuário ou programaticamente usando comandos SQL.

Caso de uso: visualizando o Horizon Catalog em ação¶

Suponha que a BazFin, uma grande empresa de serviços financeiros, precisa garantir a conformidade, a qualidade dos dados e a usabilidade de seu conteúdo, que consiste em 10 PB de dados. O BazFin usa o Horizon Catalog para governar e descobrir conteúdo.

Governança de conteúdo

O diretor de dados (CDO) da BazFin precisa garantir às partes interessadas da empresa que as decisões de negócios são baseadas em dados de alta qualidade. O CDO instrui o administrador de dados a aproveitar funções de métricas de dados personalizadas e definidas pelo sistema para monitorar continuamente a qualidade dos dados em um cronograma regular. Em qualquer dia, o CDO pode visualizar um painel na tabela de eventos para relatar a qualidade dos dados.

Ao retornar ao seu trabalho do dia, o administrador de dados abre o Trust Center para verificar a postura geral de segurança de uma conta Snowflake criada recentemente para uma nova divisão. Em uma interface integrada, ele identifica que alguém esqueceu de definir uma política de redes para proteger a conta do tráfego de rede desconhecido.

Descubra e tome medidas com base no conteúdo

Um analista da BazFin quer criar um novo painel para mostrar os produtos de melhor desempenho. O analista vai até o marketplace interno e encontra a listagem organizacional certa com dados de desempenho publicados pela equipe financeira. O analista navega por um Data Dictionary para visualizar os dados e, em seguida, começa a consultar os dados imediatamente usando o localizador unificado da listagem.

O analista também quer enriquecer os dados da BazFin com dados de terceiros. Ao recorrer à Universal Search, o analista usa o termo de busca em linguagem natural income bands for zipcodes, que retorna um produto de dados do Snowflake Marketplace que eles podem unir aos dados de desempenho do produto da BazFin.