SnowConvert: Datenmigration

Warnung

Um die Daten Ihrer Tabellen zu migrieren, muss sich Ihr S3-Bucket in der gleichen Region befinden wie Ihr Redshift-Cluster. Die Datenmigration mit S3-Buckets in anderen Regionen als den bereitgestellten Redshift-Clustern wird in Zukunft hinzugefügt werden.

Beschreibung

SnowConvert migriert die Daten Ihrer Redshift-Tabellen, indem es sie in PARQUET-Dateien in einem S3-Bucket entlädt, den Sie bereitstellen müssen. Nachdem die Dateien erstellt wurden, kopiert die Anwendung die Daten direkt aus diesen Dateien in die in Snowflake bereitgestellten Tabellen.

SnowConvert for Redshift-Datenmigrationsprozess

Voraussetzungen

Bevor Sie die Migration Ihrer Daten durchführen können, müssen die folgenden Voraussetzungen erfüllt sein:

  1. Sie verfügen Sie über einen S3-Bucket in AWS in derselben Region wie Ihr Redshift-Cluster.

  2. Sie müssen eine IAM-Rolle erstellen, die mit Ihrem Redshift-Cluster verbunden ist und die Daten Ihrer Redshift-Tabellen in Ihren S3-Bucket entladen kann. Die IAM-Rolle muss über die folgende Richtlinienkonfiguration verfügen (die folgende Konfiguration kann von jedem Benutzer der Datenbank verwendet werden; Informationen über das Einschränken des Zugriffs auf diese Rolle finden Sie in dieser Anleitung):

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::<your_bucket_name>/*",
                "arn:aws:s3:::<your_bucket_name>"
            ]
        }
    ]
}
Copy

  1. Sie verfügen über einen IAM-Benutzer, der Objekte Ihres S3-Buckets lesen und löschen kann. Dies ist notwendig, um die Daten aus den Dateien, die im S3-Bucket erstellt wurden, in die Snowflake-Tabellen zu lesen. Hier sehen Sie ein Beispiel für eine IAM-Richtlinie, die zum Laden von Daten aus den S3-Dateien in die Snowflake-Zieltabellen verwendet werden kann:

Warnung

Wenn Sie Ihrem IAM-Benutzer nicht die Berechtigungen s3:DeleteObject und s3:DeleteObectVersion erteilen, schlägt der Datenmigrationsprozess nicht fehl, aber die Datendateien, die vom Tool erstellt wurden, werden nicht aus dem S3-Bucket gelöscht.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:DeleteObject", // DeleteObject and DeleteObjectVersion permissions are necessary to purge the data files once they are loaded.
                "s3:DeleteObjectVersion",
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::<your_bucket_name>/*",
                "arn:aws:s3:::<your_bucket_name>"
            ]
        }
    ]
}
Copy

  1. Sie müssen mit dem Redshift-Cluster und dem Snowflake-Konto verbunden sein, in dem der DDL-Code bereitgestellt wurde.

Ausführung

Bemerkung

Vergewissern Sie sich, dass der von Ihnen angegebene S3-Bucket-Pfad keine Dateien enthält. Der Vorgang schlägt fehl, wenn sich Dateien im angegebenen Pfad befinden.

  1. Klicken Sie auf Set S3 Bucket Settings, um die folgenden Informationen hinzuzufügen:

    1. S3-Bucket-URL (stellen Sie sicher, dass die von Ihnen eingegebene URL mit „/“ endet).

    2. ARN der IAM-Rolle zum Entladen von Daten aus den Tabellen in PARQUET-Dateien unter der von Ihnen angegebenen S3-Bucket-URL.

    3. Der Zugriffsschlüssel des IAM-Benutzers, der die Berechtigung zum Lesen und Löschen von Objekten in den S3-Bucket-Objekten hat.

    4. Der geheime Zugriffsschlüssel des IAM-Benutzers, der die Berechtigung zum Lesen und Löschen von Objekten in den S3-Bucket-Objekten hat.

    S3-Bucket-Einstellungen für die Datenmigration

  2. Wählen Sie die Tabellen aus, deren Daten nach Snowflake migriert werden sollen.

  3. Klicken Sie auf Migrate Data, um den Datenmigrationsprozess zu starten, indem Sie die Daten in den S3-Bucket entladen und dann die Daten aus diesen Dateien in die Zieltabellen in Snowflake kopieren.

  4. Die Spalte „Data Migration“ wird aktualisiert und zeigt an, ob die Daten der einzelnen Tabellen erfolgreich migriert wurden.

Tabellen nach der Datenmigration

Ergebnisse

  1. Auf dieser Seite wird die Anzahl der Zeilen überprüft, die aus den Quelltabellen in die Zieltabellen verschoben wurden.

  2. Jede Zeile enthält die folgenden Informationen über die migrierte Tabelle: Quellschema- und Tabellenname, Zielschema- und Tabellenname sowie die Anzahl der geladenen Zeilen.

  3. Wenn Sie einen weiteren Datenmigrationsprozess für weitere Tabellen durchführen möchten, klicken Sie auf Go Back to Data Migration.

Ergebnisse der Datenmigration

Sprache: Deutsch