データ統合

一般的に ETL と呼ばれるデータ統合には、次の3つの主要な操作が含まれます。

抽出

指定されたデータソースからデータをエクスポートします。

変換

ルール、マージ、ルックアップテーブルまたはその他の変換方法を使用して、ターゲットに一致するようにソースデータを(必要に応じて)変更します。

読み込み

変換されたデータの結果をターゲットデータベースにインポートします。

用語の最新の使用法は ELT で、特にロード中またはロード後の変換をサポートするSnowflakeなどのシステムでは、プロセスの変換部分を必ずしもロード前に実行する必要がないことを強調しています。

さらに、データ統合の範囲が拡張され、次のような幅広い操作が含まれるようになりました。

  • データ準備。

  • データの移行、移動、および管理。

  • データウェアハウスの自動化。

以下のデータ統合ツールとテクノロジーでは、Snowflakeにネイティブで接続できることが判明しています。

解決策

バージョン / インストール 要件

Ab Initio

Azure Data Factory

  • Azure Data Factory: 要件なし

  • Snowflake: 要件なし

Boomi

  • Boomi: DCP 4.2(またはそれ以上)または2020年7月の統合(またはそれ以上)

  • Snowflake: 要件なし

Datameer

  • Datameer: v7

  • Snowflake: 要件なし

DataVirtuality

  • DataVirtuality: 要件なし

  • Snowflake: 要件なし

dbt

  • dbt: v0.13(またはそれ以上)

  • Snowflake: 要件なし

Denodo

  • Denodo: Denodoプラットフォーム6.0(またはそれ以上)

  • Snowflake: 要件なし

Diyotta

  • Diyotta: 要件なし

  • Snowflake: 要件なし

Etleap

Available in Partner Connect

  • Etleap: 要件なし

  • Snowflake: 要件なし

Etlworks

  • Etlworks: 要件なし

  • Snowflake: 要件なし

Fivetran

Available in Partner Connect

  • Fivetran: 要件なし

  • Snowflake: 要件なし

Google Cloud Data Fusion

  • Google Cloud Data Fusion: Snowflakeプラグイン

  • Snowflake: 要件なし

Google Cloud Dataflow

  • Google Cloud Dataflow: Apache Beam

  • Snowflake: 要件なし

Heap

  • Heap: 接続

  • Snowflake: 要件なし

HVR

Available in Partner Connect

IBM InfoSphere DataStage

Informatica

Available in Partner Connect

  • Informatica Cloud

    • Snowflake用クラウドコネクタ --- Informatica Cloudインターフェイスで直接利用可能

    • Secure Agent --- Informatica Cloudインターフェイスからダウンロードしてインストール

  • Snowflake:

Informatica

Apache Kafka

  • Apache Kafka: 要件なし

  • Kafka Connect: API 2.0.0から2.2.0(他のすべてのバージョンはサポートされていません)

  • Snowflake: Kafka用のSnowflakeコネクタ。 --- Maven からダウンロード

Keboola

  • Keboola: 要件なし

  • Snowflake: 要件なし

Matillion ETL

Available in Partner Connect

  • Matillion Data Loader: 要件なし

  • Snowflake: 要件なし

Matillion ETL

Available in Partner Connect

  • Matillion ETL : 要件なし

  • Snowflake: 要件なし

Pentaho

  • Pentahoデータ統合(PDI):

    • Pentaho 8.3(またはそれ以上):Snowflakeプラグイン --- Pentahoカスタマーポータルからダウンロード(ログインが必要)

    • Pentaho 8.2(またはそれ以下):Pentahoの要件なし。ただし、いくつかのSnowflakeの要件あり

  • Snowflake:

    • Pentaho 8.3(またはそれ以上):要件なし

    • Pentaho 8.2(またはそれ以下): . JDBC ドライバー --- Maven . または . PentahoSnowflakePlugin (サードパーティコネクタ)からダウンロード --- GitHub からダウンロード

Qlik

Available in Partner Connect

Rivery

Available in Partner Connect

  • Rivery: 要件なし

  • Snowflake: 要件なし

SAP Data Services

Segment

  • セグメント: 要件なし

  • Snowflake: 要件なし

SnapLogic

Available in Partner Connect

  • Snaplogic: Snowflake Snap Packで4.7.0(またはそれ以上)

  • Snowflake: JDBC ドライバー --- Maven からダウンロード

Snowplow

  • Snowplow: Snowflake Loader --- GitHub からダウンロード

  • Snowflake: 要件なし

Stitch

Available in Partner Connect

  • Stitch: 要件なし

  • Snowflake: 要件なし

StreamSets

  • StreamSets: 要件なし

  • Snowflake: 要件なし

Striim

Available in Partner Connect

  • Striim: 要件なし

  • Snowflake: 要件なし

Tableau

Talend

Available in Partner Connect

  • Talend:

    • Talend 6.4(またはそれ以上): 要件なし

    • Talend 6.3(またはそれ以下): Snowflakeコンポーネント必須 --- 詳細はTalendに問い合わせ

  • Snowflake: 要件なし

TMMData

  • TMMData: 要件なし

  • Snowflake: 要件なし

Trifacta

  • Trifacta: 要件なし

  • Snowflake: 要件なし

Workato

  • Workato: 要件なし

  • Snowflake: 要件なし

Wherescape

  • Wherescape: 要件なし

  • Snowflake: 要件なし