AWS PrivateLink e Snowflake Open Catalog¶

Pré-requisitos¶

• A conta do Snowflake Open Catalog está hospedada na AWS.

• Você tem as permissões necessárias para configurar o serviço DNS da AWS com o URL da conectividade privada da sua conta do Open Catalog. Para obter orientação, consulte Como configurar o serviço DNS da AWS (Route 53) para acessar o Snowflake por PrivateLink na comunidade Snowflake.

Etapa 1: Habilitação do AWS PrivateLink¶

Neste procedimento, você habilita o AWS PrivateLink em sua conta do Open Catalog. Essa configuração permite que o mecanismo de consulta se conecte ao Open Catalog por meio da conectividade privada. Você precisará do identificador de 12 dígitos da sua conta Amazon Web Services (AWS) e o valor do token federado que contém as credenciais de acesso para um usuário federado.

1. Para obter o valor do token federado, execute o seguinte comando usando o AWS CLI e copie o valor em um editor de texto:

   aws sts get-federation-token --name sam
   

   Copy

2. Entre no Snowflake Open Catalog.

3. No menu de navegação, selecione Settings.

4. Selecione Authorize.

5. Na caixa de diálogo Authorize Private Link, habilite a conectividade privada na sua conta:

   1. No campo ID, insira o identificador de 12 dígitos da conta Amazon Web Services (AWS).

   2. Em Federated token, insira o valor do token federado que você copiou para um editor de texto.

   3. Selecione Save.

Etapa 2: Verificação de que a conta está autorizada¶

Para verificar se sua conta do Open Catalog está autorizada para conectividade privada com o serviço Snowflake Open Catalog, siga este procedimento:

1. Entre no Snowflake Open Catalog.

2. No menu de navegação, selecione Settings.

3. Selecione Get.

4. Na caixa de diálogo Get Private Link authorization, verifique sua conta:

   1. No campo ID, insira o identificador de 12 dígitos da conta Amazon Web Services (AWS).

   2. No campo Federated token, insira o valor do token federado. Você recuperou esse valor quando habilitado o AWS PrivateLink.

   3. Selecione Save. Uma mensagem aparece informando se sua conta está autorizada.

Etapa 3: Recuperação das configurações da conta do Open Catalog¶

Recupere essas configurações, que você precisará mais tarde para criar e configurar um ponto de extremidade VPC e sua rede VPC.

1. Entre no Snowflake Open Catalog.

2. No menu de navegação, selecione Settings.

3. Na página Settings, copie os valores das seguintes configurações em um editor de texto:

   • URL da conta PrivateLink

   • URL da conta PrivateLink sem região

   • PrivateLink OCSP URL

   • URL OCSP do PrivateLink sem região

   • ID do serviço VPCE

Você cola esses valores quando criar e configurar um ponto de extremidade VPC (VPCE), configurar sua rede VPC e conectar-se ao Open Catalog por meio do AWS PrivateLink.

Para ver as descrições de cada configuração, consulte Valores de retorno para a função do sistema SYSTEM$GET_PRIVATELINK_CONFIG na documentação do Snowflake. Neste tópico, os nomes das configurações da conta estão no formato JSON.

Etapa 4: Criação e configuração de um ponto de extremidade VPC¶

Neste procedimento, você cria e configura um ponto de extremidade VPC correspondente (VPCE) no ambiente AWS VPC.

Para obter instruções, consulte Criação e configuração de um ponto de extremidade VPC (VPCE) na documentação do Snowflake, começando pela etapa 2.

Etapa 5: Configuração de sua rede VPC¶

Para configurar sua rede VPC, crie registros CNAME em seu serviço DNS para resolver os valores de ponto de extremidade apropriados nas Configurações da conta do Open Catalog para conectividade privada para o nome DNS do seu ponto de extremidade VPC.

Para obter instruções, consulte Configuração da rede VPC na documentação do Snowflake. Lembre-se de que essas instruções são para o Snowflake, portanto, alguns dos recursos mencionados nelas não se aplicam ao Open Catalog. Por exemplo, regionless-snowsight-privatelink-url é para o Snowsight, que não tem suporte no Open Catalog.

Para obter mais ajuda com a configuração de DNS, entre em contato com seu administrador AWS interno.

Etapa 6: Conexão com o Open Catalog por meio do AWS PrivateLink¶

• Para registrar uma conexão de serviço e conectar seu mecanismo de consulta ao Snowflake Open Catalog por meio do AWS PrivateLink, use o código:

  import pyspark
  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName('iceberg_lab') \
    .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
    .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
    .config('spark.sql.defaultCatalog', 'opencatalog') \
    .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
    .config('spark.sql.catalog.opencatalog.type', 'rest') \
    .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
    .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
    .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
    .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
    .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
    .getOrCreate()
  

  Copy

Etapa 7 (opcional): Criação de integração de catálogo para Snowflake¶

Se você usa o Snowflake para consultar tabelas gerenciadas pelo Open Catalog, crie um catálogo para o Snowflake que use um endereço IP privado. Para criar essa integração de catálogo, a conta Snowflake deve estar na mesma implantação que a conta do Open Catalog.

Para ver um exemplo, consulte Exemplo: integração de catálogo que usa um endereço IP privado <https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_ na documentação do Snowflake.