Openflow Connector for MySQL について¶
注釈
このコネクタは、 Snowflakeコネクタ規約 に従うものとします。
このトピックでは、 Openflow Connector for MySQL の基本概念、ワークフロー、および制限事項について説明します。
Openflow Connector for MySQL は、 MySQL データベースインスタンスをSnowflakeに接続し、選択したテーブルのデータをほぼリアルタイムで、または指定したスケジュールで複製します。コネクタは、複製されたテーブルの現在の状態とともに利用可能なすべてのデータ変更のログも作成します。
このコネクタは、以下を実行する場合に使用します。
包括的で一元化されたレポート作成のため、 CDC で MySQL テーブルをSnowflakeに複製する
テーブルの複製方法¶
テーブルは以下のステージで複製されます。
スキーマのイントロスペクション: コネクタは、列名やタイプを含むソーステーブルの列を検出し、Snowflakeとコネクタの 制限事項 に対してそれらを検証します。検証に失敗するとこのステージは失敗し、サイクルが完了します。このステージが正常に終了すると、コネクタは空の宛先テーブルを作成します。
スナップショットロード: コネクタは、ソーステーブルで利用可能なすべてのデータを宛先テーブルにコピーします。このステージが失敗した場合、それ以上のデータは複製されません。正常に完了すると、ソーステーブルのデータが宛先テーブルで利用可能になります。
増分ロード: コネクタはソーステーブルの変更を追跡し、その変更を宛先テーブルに適用します。このプロセスはテーブルが複製から削除されるまで続きます。このステージで失敗すると、問題が解決するまでソーステーブルの複製が永久的に停止します。
注釈
This connector can be configured to immediately start replicating incremental changes for newly added tables, bypassing the snapshot load phase. This option is often useful when reinstalling the connector in an account where previously replicated data exists and you want to continue replication without having to re-snapshot tables.
For details on the bypassing snapshot load and using the incremental load process, see Incremental replication.
重要
Interim failures, such as connection errors, do not prevent tables from being replicated. Permanent failures, such as unsupported data types, do prevent tables from being replicated. If a permanent failure prevents a table from being replicated, remove the table from the list of replicated tables. After you address the problem that caused the failure, you can add the table back to the list of replicated tables.
ワークフロー¶
MySQL データベース管理者 は以下のタスクを実行します。
MySQL 複製設定を構成する
コネクタの認証情報を作成する
（オプション） SSL 証明書を提供します。
Snowflakeアカウント管理者 は以下のタスクを実行します。
コネクタのサービスユーザー、コネクタのウェアハウス、複製データの宛先データベースを作成します。
コネクタをインストールします。
フローテンプレートに必要なパラメーターを指定します。
フローを実行します。コネクタは、Openflowの実行時に以下のタスクを実行します。
ジャーナルテーブルのスキーマを作成します。
複製用に構成されたソーステーブルと一致するスキーマと宛先テーブルを作成します。
テーブルの複製を開始します。複製プロセスの詳細については、 テーブルの複製方法 をご参照ください。
サポートされている MySQL バージョン¶
以下のテーブルに、テスト済みで公式にサポートされている MySQL バージョンを一覧表示します。
8.0 |
8.4 |
|
|---|---|---|
有り |
有り |
|
有り |
||
有り、バージョン3として |
||
有り |
有り |
|
有り |
有り |
Openflow要件¶
ランタイムのサイズはM以上である必要があります。大量のデータを複製する場合、特に行サイズが大きい場合は、より大きなランタイムを使用します。
コネクタは、マルチノードのOpenflowランタイムをサポートしていません。このコネクタのランタイムを、 Min nodes および Max nodes を
1に設定して構成します。
制限事項¶
コネクタは、 MySQL バージョン8以降をサポートしています。
コネクタは、 MySQL を使用したユーザー名とパスワードによる認証のみをサポートしています。
Only database tables containing primary keys can be replicated.
コネクタは、 Snowflakeのタイプ制限 を超えるデータを持つテーブルを複製しません。
コネクタは、 GEOMETRY、 GEOMETRYCOLLECTION、 LINESTRING、 MULTILINESTRING、 MULTIPOINT、 MULTIPOLYGON、 POINT、 POLYGON のタイプの列を複製しません。
コネクタには、 MySQL のグループ複製制限 があります。これは、1つのトランザクションが4 GB 以下のサイズのバイナリログメッセージに収まらなければならないことを意味します。
Amazon Auroraリーダーインスタンスは独自のバイナリログを維持しないため、コネクタはAuroraアカウントのリーダーインスタンスからのテーブル複製をサポートしません。
コネクタは、主キー定義の変更と数値列の精度やスケールの変更を除いて、ソーステーブルのスキーマ変更をサポートします。
注釈
特定の列を複製から除外することで、特定のテーブル列に影響する制限を回避できます。