Intégration des données

Communément appelée processus ETL, l’intégration des données englobe les trois opérations principales suivantes :

Extraction

Exportation de données à partir de sources de données spécifiées.

Transformation

Modifier les données sources (si nécessaire), en utilisant des règles, des fusions, des tables de recherche ou d’autres méthodes de conversion pour qu’elles correspondent à la cible.

Chargement

Importation des données transformées dans une base de données cible.

L’usage le plus récent du terme est ELT, soulignant que l’opération de transformation n’a pas nécessairement besoin d’être effectuée avant le chargement, en particulier dans des systèmes tels que Snowflake qui prennent en charge la transformation pendant ou après le chargement.

En outre, la portée de l’intégration de données s’est élargie pour inclure un plus large éventail d’opérations, dont :

  • Préparation de données.

  • Migration, circulation et gestion des données.

  • Automatisation de l’entrepôt de données.

Les outils et technologies d’intégration de données suivants sont connus pour fournir une connectivité native à Snowflake :

Solution

Version / Configuration requise pour l’installation 

Ab Initio

Azure Data Factory

  • Azure Data Factory : Aucune exigence

  • Snowflake : aucune exigence

Boomi

  • Boomi : DCP 4.2 (ou supérieur) ou intégration juillet 2020 (ou plus)

  • Snowflake : aucune exigence

Datameer

  • Datameer : v7

  • Snowflake : aucune exigence

DataVirtuality

  • DataVirtuality : aucune exigence

  • Snowflake : aucune exigence

dbt

  • dbt : version 0.13 (ou supérieure)

  • Snowflake : aucune exigence

Denodo

  • Denodo : Denodo Platform 6.0 (ou supérieur)

  • Snowflake : aucune exigence

Diyotta

  • Diyotta : aucune exigence

  • Snowflake : aucune exigence

Etleap

Available in Partner Connect

  • Etleap : aucune exigence

  • Snowflake : aucune exigence

Etlworks

  • Etlworks : aucune exigence

  • Snowflake : aucune exigence

Fivetran

Available in Partner Connect

  • Fivetran : aucune exigence

  • Snowflake : aucune exigence

Google Cloud Data Fusion

  • Google Cloud Data Fusion : plugin Snowflake

  • Snowflake : aucune exigence

Google Cloud Dataflow

  • Google Cloud Dataflow : Apache Beam

  • Snowflake : aucune exigence

Heap

  • Heap : Connect

  • Snowflake : aucune exigence

HVR

Available in Partner Connect

IBM InfoSphere DataStage

  • DataStage : InfoSphere Information Server 11.7.0

  • Snowflake : Pilote JDBC — téléchargement depuis Maven

Informatica

Available in Partner Connect

  • Informatica Cloud :

    • Connecteur Cloud pour Snowflake — disponible directement dans l’interface Cloud d’Informatica

    • Secure Agent — télécharger et installer à partir de l’interface Cloud d’Informatica

  • Snowflake :

Informatica

  • Informatica PowerCenter :

    • PowerCenter 10.2 (ou supérieur)

    • PowerExchange pour Snowflake

  • Snowflake :

Apache Kafka

  • Apache Kafka : aucune exigence

  • Kafka Connect : API 2.0.0 à 2.2.0 (toutes les autres versions ne sont pas prises en charge)

  • Snowflake : Connecteur Snowflake pour Kafka — téléchargement depuis Maven

Keboola

  • Keboola : aucune exigence

  • Snowflake : aucune exigence

Matillion ETL

Available in Partner Connect

  • Chargeur de données Matillion : aucune exigence

  • Snowflake : aucune exigence

Matillion ETL

Available in Partner Connect

  • Matillion ETL : aucune exigence

  • Snowflake : aucune exigence

Pentaho

  • Intégration de données Pentaho (PDI) :

    • Pentaho 8.3 (ou version supérieure) : plugin Snowflake — en téléchargement à partir du portail client Pentaho (nécessite un identifiant de connexion)

    • Pentaho 8.2 (ou version inférieure) : aucune exigence Pentaho mais des exigences Snowflake

  • Snowflake :

    • Pentaho 8.3 (ou version supérieure) : aucune exigence

    • Pentaho 8.2 (ou version inférieure) : . Pilote JDBC — téléchargement depuis Maven . ou . PentahoSnowflakePlugin (connecteur tiers) — téléchargement depuis GitHub

Qlik

Available in Partner Connect

Rivery

Available in Partner Connect

  • Rivery : aucune exigence

  • Snowflake : aucune exigence

SAP Data Services

Segment

  • Segment : aucune exigence

  • Snowflake : aucune exigence

SnapLogic

Available in Partner Connect

  • Snaplogic : 4.7.0 (ou supérieur) avec Snowflake Snap Pack

  • Snowflake : Pilote JDBC — téléchargement depuis Maven

Snowplow

  • Snowplow : Snowflake Loader — téléchargement de GitHub

  • Snowflake : aucune exigence

Stitch

Available in Partner Connect

  • Stitch : aucune exigence

  • Snowflake : aucune exigence

StreamSets

  • StreamSets : aucune exigence

  • Snowflake : aucune exigence

Striim

Available in Partner Connect

  • Striim : aucune exigence

  • Snowflake : aucune exigence

Tableau

Talend

Available in Partner Connect

  • Talend :

    • Talend 6.4 (ou version supérieure) : aucune exigence

    • Talend 6.3 (ou version inférieure) : composant Snowflake requis — contactez Talend pour plus de détails

  • Snowflake : aucune exigence

TMMData

  • TMMData : aucune exigence

  • Snowflake : aucune exigence

Trifacta

  • Trifacta : aucune exigence

  • Snowflake : aucune exigence

Workato

  • Workato : aucune exigence

  • Snowflake : aucune exigence

Wherescape

  • Wherescape : aucune exigence

  • Snowflake : aucune exigence