Openflow Connector for Amazon Kinesis Data Streams¶
참고
이 커넥터에는 `Snowflake Connector 약관<https://www.snowflake.com/legal/snowflake-connector-terms/>`_이 적용됩니다.
About¶
이 항목에서는 해당 워크플로 및 제한 사항을 포함하여 |Kinesis|의 기본 개념에 대해 설명합니다.
Amazon Kinesis Data Streams 을 사용하여 실시간으로 대규모 데이터 레코드 스트림을 수집하고 처리할 수 있습니다. 생성자는 지속적으로 데이터를 Kinesis Data Streams에 푸시하고, 컨슈머는 실시간으로 데이터를 처리합니다.
Kinesis 데이터 스트림은 shards 로 구성된 세트입니다. 각 shard에는 데이터 레코드의 시퀀스가 있습니다. 데이터 레코드는 Kinesis 데이터 스트림에 저장된 데이터의 단위입니다. 데이터 레코드는 시퀀스 번호, 파티션 키, 데이터 blob으로 구성되며, 변경이 불가능한 바이트 시퀀스입니다.
Openflow Connector for Amazon Kinesis Data Streams reads data from Kinesis streams and writes it into Snowflake tables using the Snowpipe Streaming architecture.
Use this connector if you’re looking to do the following:
Ingest real-time events from Amazon Kinesis into Snowflake for near real-time analytics
Ingest real-time events from Amazon Kinesis into Snowflake-managed Iceberg™ tables
Accelerate your ingestion even more by combining Openflow speed with the Interactive Tables feature
Use Single Message Transforms to enrich or filter data before it lands in Snowflake.
제한 사항¶
One connector supports only ingestion from a single stream.
The connector does not support schema evolution for Apache Iceberg™ tables.
Autoscaling is not supported. The number of Openflow runtime min and max nodes should be constant for the runtime where Openflow Connector for Amazon Kinesis Data Streams is deployed.
Limitations of fault tolerance with the connector¶
Kinesis Streams can be configured with a retention time. If for any reason the Openflow Connector for Amazon Kinesis Data Streams is not able to ingest data for more than the retention time, then expired records will not be loaded.
Supported data types and authentication methods¶
The connector by default is configured to work with the JSON data type and supports authentication using AWS Credentials: Access Key ID and Secret Access Key. Connector can be customized to work with other data types and authentication methods.