Datenintegration

Die Datenintegration, die allgemein als ETL bezeichnet wird, umfasst die folgenden primären Operationen:

Extrahieren

Exportieren von Daten aus bestimmten Datenquellen.

Transformieren

Modifizieren der Quelldaten (nach Bedarf), unter Verwendung von Regeln, Zusammenführungen, Lookup-Tabellen oder anderen Konvertierungsmethoden, um dem Ziel zu entsprechen.

Laden

Importieren der resultierenden transformierten Daten in eine Zieldatenbank.

Neuere Verwendungszwecke beziehen sich auf den Begriff ELT und betonen, dass der Transformationsteil des Prozesses nicht unbedingt vor dem Laden durchgeführt werden muss, insbesondere in Systemen wie Snowflake, die eine Transformation während oder nach dem Laden unterstützen.

Darüber hinaus hat sich die Definition des Begriffs Datenintegration auf eine größere Bandbreite von Operationen ausgeweitet, darunter:

  • Datenaufbereitung

  • Datenmigration, -bewegung und -management

  • Data Warehouse-Automatisierung

Snowflake ist dafür bekannt, mit den folgenden Datenintegrationstools kompatibel zu sein:

Lösung

Version / Installationsanforderungen

Ab Initio

Azure Data Factory

  • Azure Data Factory: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Datameer

  • Datameer: v7

  • Snowflake: Keine Anforderungen

DataVirtuality

  • DataVirtuality: Keine Anforderungen

  • Snowflake: Keine Anforderungen

dbt

  • dbt: v0.13 (oder höher)

  • Snowflake: Keine Anforderungen

Denodo

  • Denodo: Denodo Platform 6.0 (oder höher)

  • Snowflake: Keine Anforderungen

Diyotta

  • Diyotta: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Etlworks

  • Etlworks: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Fivetran

Available in Partner Connect

  • Fivetran: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Heap

  • Heap: Connect

  • Snowflake: Keine Anforderungen

HVR

IBM InfoSphere DataStage

  • DataStage: InfoSphere Information Server 11.7.0

  • Snowflake: JDBC-Treiber – Download über Maven

Informatica

Available in Partner Connect

  • Informatica Cloud:

    • Cloudkonnektor für Snowflake – direkt über die Informatica Cloud-Schnittstelle verfügbar

    • Secure Agent – Herunterladen und Installieren über die Informatica Cloud-Schnittstelle

  • Snowflake:

Informatica

  • Informatica PowerCenter:

    • PowerCenter 10.2 (oder höher)

    • PowerExchange for Snowflake

  • Snowflake:

Apache Kafka

  • Apache Kafka: Keine Anforderungen

  • Kafka Connect: API 2.0.0 bis 2.2.0 (alle anderen Versionen werden nicht unterstützt)

  • Snowflake: Snowflake-Konnektor für Kafka – Download über Maven

Keboola

  • Keboola: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Matillion ETL

Available in Partner Connect

  • Matillion Data Loader: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Matillion ETL

Available in Partner Connect

  • Datalytyx ETL: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Pentaho

  • Pentaho Data Integration (PDI):

    • Pentaho 8.3 (oder höher): Snowflake-Plugin – Download über das Pentaho-Kundenportal (Anmeldung erforderlich)

    • Pentaho 8.2 (oder niedriger): Keine Pentaho-Anforderungen, aber einige Snowflake-Anforderungen

  • Snowflake:

    • Pentaho 8.3 (oder höher): Keine Anforderungen

    • Pentaho 8.2 (oder niedriger): . JDBC-Treiber – Download über Maven . oder . PentahoSnowflakePlugin (Konnektor für Drittanbieter) – Download über GitHub

Qlik

Available in Partner Connect

Rivery

Available in Partner Connect

  • Rivery: Keine Anforderungen

  • Snowflake: Keine Anforderungen

SAP Data Services

Segment

  • Segment: Keine Anforderungen

  • Snowflake: Keine Anforderungen

SnapLogic

Available in Partner Connect

  • Snaplogic: 4.7.0 (oder höher) mit Snowflake Snap Pack

  • Snowflake: JDBC-Treiber – Download über Maven

Snowplow

  • Snowplow: Snowflake-Lader – Download von GitHub

  • Snowflake: Keine Anforderungen

Stitch

Available in Partner Connect

  • Stich: Keine Anforderungen

  • Snowflake: Keine Anforderungen

StreamSets

  • StreamSets: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Striim

Available in Partner Connect

  • Striim: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Tableau

Talend

  • Talend:

    • Talend 6.4 (oder höher): Keine Anforderungen

    • Talend 6.3 (oder niedriger): Snowflake-Komponente – Wenden Sie sich für weitere Details an Talend.

  • Snowflake: Keine Anforderungen

TMMData

  • TMMData: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Trifacta

  • Trifacta: Keine Anforderungen

  • Snowflake: Keine Anforderungen

Wherescape

  • Wherescape: Keine Anforderungen

  • Snowflake: Keine Anforderungen