Intégration des données

Communément appelée processus ETC, l’intégration de données englobe les opérations principales suivantes :

Extraction

Exportation de données à partir de sources de données spécifiées.

Transformation

Modifier les données sources (si nécessaire), en utilisant des règles, des fusions, des tables de recherche ou d’autres méthodes de conversion pour qu’elles correspondent à la cible.

Chargement

Importation des données transformées dans une base de données cible.

Un usage plus récent fait référence au terme ETC, soulignant que la partie transformation du processus n’a pas nécessairement besoin d’être effectuée avant le chargement, en particulier dans les systèmes tels que Snowflake qui prennent en charge la transformation pendant ou après le chargement.

En outre, la définition de l’intégration de données s’est élargie pour inclure un plus large éventail d’opérations, dont :

  • Préparation de données.

  • La migration/mouvement et gestion des données.

  • L’automatisation de l’entrepôt de données.

Snowflake est reconnu pour son interopérabilité avec les outils d’intégration de données suivants :

Solution

Version / Configuration requise pour l’installation 

Ab Initio

Azure Data Factory

  • Azure Data Factory : Aucune exigence

  • Snowflake : aucune exigence

Datameer

  • Datameer : v7

  • Snowflake : aucune exigence

DataVirtuality

  • DataVirtuality : aucune exigence

  • Snowflake : aucune exigence

dbt

  • dbt : version 0.13 (ou supérieure)

  • Snowflake : aucune exigence

Denodo

  • Denodo : Denodo Platform 6.0 (ou supérieur)

  • Snowflake : aucune exigence

Diyotta

  • Diyotta : aucune exigence

  • Snowflake : aucune exigence

Etlworks

  • Etlworks : aucune exigence

  • Snowflake : aucune exigence

Fivetran

Available in Partner Connect

  • Fivetran : aucune exigence

  • Snowflake : aucune exigence

Heap

  • Heap : Connect

  • Snowflake : aucune exigence

HVR

IBM InfoSphere DataStage

  • DataStage : InfoSphere Information Server 11.7.0

  • Snowflake : Pilote JDBC — téléchargement depuis Maven

Informatica

Available in Partner Connect

  • Informatica Cloud :

    • Connecteur Cloud pour Snowflake — disponible directement dans l’interface Cloud d’Informatica

    • Secure Agent — télécharger et installer à partir de l’interface Cloud d’Informatica

  • Snowflake :

Informatica

  • Informatica PowerCenter :

    • PowerCenter 10.2 (ou supérieur)

    • PowerExchange pour Snowflake

  • Snowflake :

Apache Kafka

  • Apache Kafka : aucune exigence

  • Kafka Connect : API 2.0.0 à 2.2.0 (toutes les autres versions ne sont pas prises en charge)

  • Snowflake : Connecteur Snowflake pour Kafka — téléchargement depuis Maven

Keboola

  • Keboola : aucune exigence

  • Snowflake : aucune exigence

Matillion ETL

Available in Partner Connect

  • Chargeur de données Matillion : aucune exigence

  • Snowflake : aucune exigence

Matillion ETL

Available in Partner Connect

  • Matillion ETL : aucune exigence

  • Snowflake : aucune exigence

Pentaho

  • Intégration de données Pentaho (PDI) :

    • Pentaho 8.3 (ou version supérieure) : plugin Snowflake — en téléchargement à partir du portail client Pentaho (nécessite un identifiant de connexion)

    • Pentaho 8.2 (ou version inférieure) : aucune exigence Pentaho mais des exigences Snowflake

  • Snowflake :

    • Pentaho 8.3 (ou version supérieure) : aucune exigence

    • Pentaho 8.2 (ou version inférieure) : . Pilote JDBC — téléchargement depuis Maven . ou . PentahoSnowflakePlugin (connecteur tiers) — téléchargement depuis GitHub

Qlik

Available in Partner Connect

Rivery

Available in Partner Connect

  • Rivery : aucune exigence

  • Snowflake : aucune exigence

SAP Data Services

Segment

  • Segment : aucune exigence

  • Snowflake : aucune exigence

SnapLogic

Available in Partner Connect

  • Snaplogic : 4.7.0 (ou supérieur) avec Snowflake Snap Pack

  • Snowflake : Pilote JDBC — téléchargement depuis Maven

Snowplow

  • Snowplow : Snowflake Loader — téléchargement de GitHub

  • Snowflake : aucune exigence

Stitch

Available in Partner Connect

  • Stitch : aucune exigence

  • Snowflake : aucune exigence

StreamSets

  • StreamSets : aucune exigence

  • Snowflake : aucune exigence

Striim

Available in Partner Connect

  • Striim : aucune exigence

  • Snowflake : aucune exigence

Tableau

Talend

  • Talend :

    • Talend 6.4 (ou version supérieure) : aucune exigence

    • Talend 6.3 (ou version inférieure) : composant Snowflake — contactez Talend pour plus de détails

  • Snowflake : aucune exigence

TMMData

  • TMMData : aucune exigence

  • Snowflake : aucune exigence

Trifacta

  • Trifacta : aucune exigence

  • Snowflake : aucune exigence

Wherescape

  • Wherescape : aucune exigence

  • Snowflake : aucune exigence