SnowConvert: Migração de dados

Aviso

Para migrar os dados de suas tabelas, você deve ter o seu bucket S3 na mesma região que o cluster Redshift. A migração de dados com buckets S3 em regiões que não sejam os clusters Redshift fornecidos será adicionada no futuro.

Descrição

O SnowConvert migra os dados das tabelas do Redshift, descarregando-os em arquivos PARQUET em um bucket S3 que você deve fornecer. Depois que os arquivos forem criados, o aplicativo copiará os dados diretamente desses arquivos para as tabelas implantadas no Snowflake.

Processo de migração de dados do SnowConvert para Redshift.

Pré-requisitos

Antes de executar a migração de seus dados, você precisa dos seguintes pré-requisitos:

  1. Tenha um bucket S3 na AWS na mesma região que seu cluster Redshift.

  2. Você precisa criar uma função IAM associada ao cluster do Redshift que possa descarregar os dados das tabelas do Redshift no bucket do S3. A função IAM deve ter a seguinte configuração de política (a configuração a seguir pode ser usada por qualquer usuário do banco de dados; para restringir o acesso a essa função, leia este guia):

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::<your_bucket_name>/*",
                "arn:aws:s3:::<your_bucket_name>"
            ]
        }
    ]
}
Copy

  1. Tenha um usuário IAM que possa ler e excluir objetos do seu bucket S3, isso é necessário para ler os dados dos arquivos que foram criados no S3 para as tabelas do Snowflake. Aqui está um exemplo de uma política IAM que pode ser usada para carregar dados dos arquivos S3 nas tabelas de destino do Snowflake:

Aviso

Se você não fornecer as permissões s3:DeleteObject e s3:DeleteObectVersion ao usuário IAM, o processo de migração de dados não falhará, mas os arquivos de dados criados pela ferramenta não serão excluídos do bucket S3.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:DeleteObject", // DeleteObject and DeleteObjectVersion permissions are necessary to purge the data files once they are loaded.
                "s3:DeleteObjectVersion",
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::<your_bucket_name>/*",
                "arn:aws:s3:::<your_bucket_name>"
            ]
        }
    ]
}
Copy

  1. Esteja conectado ao cluster do Redshift e à conta Snowflake em que o código DDL foi implantado.

Execução

Nota

Certifique-se de que o caminho do bucket S3 inserido não tenha nenhum arquivo; o processo falhará se houver arquivos no caminho fornecido.

  1. Clique em Set S3 Bucket Settings para adicionar as seguintes informações:

    1. S3 Bucket URL (Certifique-se de que o URL que você digitou termina com um «/»).

    2. ARN Da função IAM para descarregar dados das tabelas em arquivos PARQUET no bucket S3 URL que você forneceu.

    3. A chave de acesso do usuário IAM que tem permissão para ler e excluir objetos nos objetos do bucket S3.

    4. A chave de acesso secreta do usuário IAM que tem permissão para ler e excluir objetos nos objetos do bucket S3.

    Configurações do bucket S3 para migração de dados

  2. Selecione as tabelas cujos dados você deseja que sejam migrados para o Snowflake.

  3. Clique em Migrate Data, isso iniciará o processo de migração de dados descarregando os dados no bucket do S3 e, em seguida, copiando os dados desses arquivos para as tabelas de destino no Snowflake.

  4. A coluna de migração de dados será atualizada, indicando se cada tabela teve seus dados migrados com sucesso ou não.

Tabelas após o processo de migração de dados

Resultados

  1. Essa página valida o número de linhas movidas das tabelas de origem para as tabelas de destino.

  2. Cada linha contém as seguintes informações sobre a tabela migrada: esquema de origem e nome da tabela, esquema de destino e nome da tabela e o número de linhas carregadas.

  3. Se você quiser executar outro processo de migração de dados para mais tabelas, pode clicar em Go Back to Data Migration.

Resultados do processo de migração de dados

Linguagem: Português