Openflow Connector for MySQL について

注釈

コネクタには、 コネクタ利用規約 が適用されます。

このトピックでは、 Openflow Connector for MySQL の基本概念、ワークフロー、および制限事項について説明します。

Openflow Connector for MySQL は、 MySQL データベースインスタンスをSnowflakeに接続し、選択したテーブルのデータをほぼリアルタイムで、または指定したスケジュールで複製します。コネクタは、複製されたテーブルの現在の状態とともに利用可能なすべてのデータ変更のログも作成します。

このコネクタは、以下を実行する場合に使用します。

  • 包括的で一元化されたレポート作成のため、 CDC で MySQL テーブルをSnowflakeに複製する

テーブルの複製方法

テーブルは以下のステージで複製されます。

  1. スキーマのイントロスペクション: コネクタは、列名やタイプを含むソーステーブルの列を検出し、Snowflakeとコネクタの 制限事項 に対してそれらを検証します。検証に失敗するとこのステージは失敗し、サイクルが完了します。このステージが正常に終了すると、コネクタは空の宛先テーブルを作成します。

  2. スナップショットロード: コネクタは、ソーステーブルで利用可能なすべてのデータを宛先テーブルにコピーします。このステージが失敗した場合、それ以上のデータは複製されません。正常に完了すると、ソーステーブルのデータが宛先テーブルで利用可能になります。

  3. 増分ロード: コネクタはソーステーブルの変更を追跡し、その変更を宛先テーブルに適用します。このプロセスはテーブルが複製から削除されるまで続きます。このステージで失敗すると、問題が解決するまでソーステーブルの複製が永久的に停止します。

注釈

一時的な失敗(接続エラーなど)が発生しても、テーブルの複製は妨げられません。しかし、永久的な失敗(サポートされていないデータ型など)が発生すると、テーブルの複製ができなくなります。

永久的な失敗によってテーブルが複製できなくなった場合、複製するテーブルのリストからそのテーブルを削除します。失敗の原因となった問題に対処したら、複製するテーブルのリストに戻すことができます。

ワークフロー

  1. MySQL データベース管理者 は以下のタスクを実行します。

    • MySQL 複製設定を構成する

    • コネクタの認証情報を作成する

    • (オプション) SSL 証明書を提供します。

  2. Snowflakeアカウント管理者 は以下のタスクを実行します。

    1. コネクタのサービスユーザー、コネクタのウェアハウス、複製データの宛先データベースを作成します。

    2. コネクタ定義ファイルをダウンロードしてSnowflake Openflowキャンバスにインポートします。

    3. フローテンプレートに必要なパラメーターを指定します。

    4. フローを実行します。コネクタは、Openflowの実行時に以下のタスクを実行します。

      1. ジャーナルテーブルのスキーマを作成します。

      2. 複製用に構成されたソーステーブルと一致するスキーマと宛先テーブルを作成します。

      3. テーブルの複製を開始します。複製プロセスの詳細については、 テーブルの複製方法 をご参照ください。

サポートされている MySQL バージョン

以下のテーブルに、テスト済みで公式にサポートされている MySQL バージョンを一覧表示します。

8.0

8.4

標準

有り

有り

AWS RDS

有り

Amazon Aurora

有り、バージョン3として

GCP Cloud SQL

有り

有り

Azure Database

無し

制限事項

  • コネクタは、 MySQL バージョン8以降をサポートしています。

  • コネクタは、 MySQL を使用したユーザー名とパスワードによる認証のみをサポートしています。

  • コネクタは、 Snowflakeのタイプ制限 を超えるデータを持つテーブルを複製しません。

  • コネクタは、 GEOMETRY、 GEOMETRYCOLLECTION、 LINESTRING、 MULTILINESTRING、 MULTIPOINT、 MULTIPOLYGON、 POINT、 POLYGON のタイプの列を複製しません。

  • コネクタには、 MySQL のグループ複製制限 があります。これは、1つのトランザクションが4 GB 以下のサイズのバイナリログメッセージに収まらなければならないことを意味します。

  • コネクタでは、複製されるすべてのテーブルに主キーが必要です。

  • コネクタは、主キー定義の変更と数値列の精度やスケールの変更を除いて、ソーステーブルのスキーマ変更をサポートします。

  • コネクタは、マルチクラスタのOpenflowランタイムをサポートしていません。

注釈

特定の列を複製から除外することで、特定のテーブル列に影響する制限を回避できます。

次のステップ

Openflow Connector for MySQL を設定する