데이터 통합¶
일반적으로 ETL이라고 하는 데이터 통합에는 다음의 3가지 기본 작업이 포함됩니다.
- 추출:
지정된 데이터 소스로부터 데이터를 내보냅니다.
- 변환:
대상과 일치하도록 규칙, 병합, 조회 테이블 또는 기타 변환 방법을 사용하여 소스 데이터를 수정합니다(필요한 경우).
- 로드:
변환된 데이터를 대상 데이터베이스로 가져옵니다.
최근에는 ELT이라는 용어가 더 많이 사용되며, 특히 로드 중 또는 로드 후에 변환을 지원하는 Snowflake와 같은 시스템에서 로드하기 전에 변환 작업을 수행할 필요가 없음을 나타냅니다.
또한, 데이터 통합의 범위가 확장되어 다음과 같은 보다 다양한 작업이 포함됩니다.
데이터 준비.
데이터 마이그레이션, 이동 및 관리.
데이터 웨어하우스 자동화.
Snowflake에 대한 연결을 기본으로 제공하는 데이터 통합 도구 및 기술은 다음과 같습니다.
해결책 |
버전 / 설치 요구 사항 |
참고 |
|
---|---|---|---|
Ab Initio: No requirements — 자세한 내용은 Ab Initio에 문의 |
|||
Agile Data Engine: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|||
Airbyte: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Alteryx Designer Cloud: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Amazon Data Firehose: 요구 사항 없음 Snowflake: 요구 사항 없음 |
추가 리소스: |
||
Ascend.io: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Azure Data Factory: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Boomi: DCP 4.2 이상 또는 2020년 7월 통합 이상 Snowflake: 요구 사항 없음 |
|
||
병합: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
CData Software: 드라이버/커넥터/애플리케이션의 최신 버전 이 항상 권장되지만, 레거시 버전도 라이선스가 있으면 계속 유효합니다. 드라이버 릴리스 이후 Snowflake의 변경 사항은 해당 변경 사항의 구현 방식에 따라 드라이버에서 사용하지 못할 수 있습니다. Snowflake: 요구 사항 없음 |
|
||
Census: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Datameer: v7 Snowflake: 요구 사항 없음 |
|
||
DataVirtuality: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
dbt: v0.13 이상 Snowflake: 요구 사항 없음 |
|
||
Denodo: Denodo Platform 6.0 이상 Snowflake: 요구 사항 없음 |
|
||
Diyotta: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Etleap: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Etlworks: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Fivetran: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Google Cloud Data Fusion: Snowflake 플러그인 Snowflake: 요구 사항 없음 |
|
||
Google Cloud Dataflow: Apache Beam Snowflake: 요구 사항 없음 |
|
||
Heap: 연결 Snowflake: 요구 사항 없음 |
|
||
Hevo Data: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Hightouch: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
HVR: 요구 사항 없음 |
|
||
DataStage: InfoSphere Information Server 11.7 Snowflake: JDBC 드라이버 — Maven Central Repository의 JDBC Driver 페이지 에서 다운로드 |
|
||
Informatica Cloud:
Snowflake: |
|
||
Informatica Data Loader: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Informatica PowerCenter:
Snowflake: |
|
||
Apache Kafka: 요구 사항 없음 Kafka Connect: API 2.0.0 ~ 2.2.0(다른 모든 버전은 지원되지 않음) Snowflake: Kafka용 Snowflake 커넥터 — Maven 에서 다운로드 |
|
||
Keboola: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Knoema: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Matillion Data Loader: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Matillion ETL: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Nexla: 요구 사항 없음 Snowflake: 요구 사항 없음(ODBC, JDBC 및 API 옵션) |
|
||
Pentaho Data Integration(PDI):
Snowflake:
|
|
||
Qlik Replicate: 요구 사항 없음 |
|
||
Rivery: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
SAP Data Services: 4.2 SP12 이상 |
|
||
Segment: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Skyvia: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Solace: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Snaplogic: 4.7.0 이상(Snowflake Snap Pack 포함) Snowflake: JDBC 드라이버 — Maven Central Repository의 JDBC Driver 페이지 에서 다운로드 |
|
||
Snowplow: Snowflake Loader — GitHub 에서 다운로드 Snowflake: 요구 사항 없음 |
|
||
Stitch: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
StreamSets: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Striim: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Supermetrics: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Tableau: Prep 2018.3 이상 |
|
||
Talend:
Snowflake: 요구 사항 없음 |
|
||
TIBCO ActiveMatrix BusinessWorks:
Snowflake: JDBC 드라이버 — Maven Central Repository의 JDBC Driver 페이지 에서 다운로드 |
|
||
TMMData: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|||
Trifacta: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Wherescape: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|
||
Workato: 요구 사항 없음 Snowflake: 요구 사항 없음 |
|