Openflow Connector for MySQL について¶
注釈
コネクタには、 コネクタ利用規約 が適用されます。
このトピックでは、 Openflow Connector for MySQL の基本概念、ワークフロー、および制限事項について説明します。
Openflow Connector for MySQL は、 MySQL データベースインスタンスをSnowflakeに接続し、選択したテーブルのデータをほぼリアルタイムで、または指定したスケジュールで複製します。コネクタは、複製されたテーブルの現在の状態とともに利用可能なすべてのデータ変更のログも作成します。
このコネクタは、以下を実行する場合に使用します。
包括的で一元化されたレポート作成のため、 CDC で MySQL テーブルをSnowflakeに複製する
テーブルの複製方法¶
テーブルは以下のステージで複製されます。
スキーマのイントロスペクション: コネクタは、列名やタイプを含むソーステーブルの列を検出し、Snowflakeとコネクタの 制限事項 に対してそれらを検証します。検証に失敗するとこのステージは失敗し、サイクルが完了します。このステージが正常に終了すると、コネクタは空の宛先テーブルを作成します。
スナップショットロード: コネクタは、ソーステーブルで利用可能なすべてのデータを宛先テーブルにコピーします。このステージが失敗した場合、それ以上のデータは複製されません。正常に完了すると、ソーステーブルのデータが宛先テーブルで利用可能になります。
増分ロード: コネクタはソーステーブルの変更を追跡し、その変更を宛先テーブルに適用します。このプロセスはテーブルが複製から削除されるまで続きます。このステージで失敗すると、問題が解決するまでソーステーブルの複製が永久的に停止します。
注釈
一時的な失敗(接続エラーなど)が発生しても、テーブルの複製は妨げられません。しかし、永久的な失敗(サポートされていないデータ型など)が発生すると、テーブルの複製ができなくなります。
永久的な失敗によってテーブルが複製できなくなった場合、複製するテーブルのリストからそのテーブルを削除します。失敗の原因となった問題に対処したら、複製するテーブルのリストに戻すことができます。
ワークフロー¶
MySQL データベース管理者 は以下のタスクを実行します。
MySQL 複製設定を構成する
コネクタの認証情報を作成する
(オプション) SSL 証明書を提供します。
Snowflakeアカウント管理者 は以下のタスクを実行します。
コネクタのサービスユーザー、コネクタのウェアハウス、複製データの宛先データベースを作成します。
コネクタ定義ファイルをダウンロードしてSnowflake Openflowキャンバスにインポートします。
フローテンプレートに必要なパラメーターを指定します。
フローを実行します。コネクタは、Openflowの実行時に以下のタスクを実行します。
ジャーナルテーブルのスキーマを作成します。
複製用に構成されたソーステーブルと一致するスキーマと宛先テーブルを作成します。
テーブルの複製を開始します。複製プロセスの詳細については、 テーブルの複製方法 をご参照ください。
サポートされている MySQL バージョン¶
以下のテーブルに、テスト済みで公式にサポートされている MySQL バージョンを一覧表示します。
8.0 |
8.4 |
|
---|---|---|
有り |
有り |
|
有り |
||
有り、バージョン3として |
||
有り |
有り |
|
無し |
制限事項¶
コネクタは、 MySQL バージョン8以降をサポートしています。
コネクタは、 MySQL を使用したユーザー名とパスワードによる認証のみをサポートしています。
コネクタは、 Snowflakeのタイプ制限 を超えるデータを持つテーブルを複製しません。
コネクタは、 GEOMETRY、 GEOMETRYCOLLECTION、 LINESTRING、 MULTILINESTRING、 MULTIPOINT、 MULTIPOLYGON、 POINT、 POLYGON のタイプの列を複製しません。
コネクタには、 MySQL のグループ複製制限 があります。これは、1つのトランザクションが4 GB 以下のサイズのバイナリログメッセージに収まらなければならないことを意味します。
コネクタでは、複製されるすべてのテーブルに主キーが必要です。
コネクタは、主キー定義の変更と数値列の精度やスケールの変更を除いて、ソーステーブルのスキーマ変更をサポートします。
コネクタは、マルチクラスタのOpenflowランタイムをサポートしていません。
注釈
特定の列を複製から除外することで、特定のテーブル列に影響する制限を回避できます。