Openflow Connector for Amazon Kinesis Data Streams¶
Note
Ce connecteur est soumis aux conditions d’utilisation de Snowflake Connector.
À propos¶
Cette rubrique décrit les concepts de base de Openflow Connector for Amazon Kinesis Data Streams, son flux de travail et ses limites.
Vous pouvez utiliser Amazon Kinesis Data Streams pour collecter et traiter de grands flux d’enregistrements de données en temps réel. Les producteurs poussent continuellement des données vers les flux de données Kinesis, et les consommateurs traitent les données en temps réel.
Un flux de données Kinesis est un ensemble de fragments. Chaque fragment possède une séquence d’enregistrements de données. Un enregistrement de données est l’unité de données stockée dans un flux de données Kinesis. Les enregistrements de données sont composés d’un numéro de séquence, d’une clé de partition et d’un bloc de données, qui est une séquence immuable d’octets.
Openflow Connector for Amazon Kinesis Data Streams lit les données des flux Kinesis et les écrit dans des tables Snowflake à l’aide de l’architecture Snowpipe Streaming.
Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :
Ingérer des événements en temps réel à partir de Amazon Kinesis dans Snowflake pour une analyse en temps quasi réel
Ingérer des événements en temps réel à partir de Amazon Kinesis dans des tables Iceberg™ gérées par Snowflake
Accélérer encore plus votre ingestion en combinant la vitesse d’Openflow avec la fonctionnalité de tables interactives
Utiliser les transformations de messages uniques pour enrichir ou filtrer les données avant qu’elles n’apparaissent dans Snowflake
Limitations¶
Un connecteur ne prend en charge que l’ingestion à partir d’un seul flux.
Le connecteur ne prend pas en charge l’évolution des schémas pour les tables Apache Iceberg™.
La mise à l’échelle automatique n’est pas prise en charge. Le nombre de nœuds minimum et maximum de l’environnement d’exécution Openflow doit être constant pour l’environnement d’exécution où Openflow Connector for Amazon Kinesis Data Streams est déployé.
Limitations de la tolérance aux pannes avec le connecteur¶
Les flux Kinesis peuvent être configurés avec une durée de conservation. Si pour une raison quelconque, Openflow Connector for Amazon Kinesis Data Streams n’est pas en mesure d’ingérer des données pour une durée supérieure à la durée de conservation, les enregistrements expirés ne seront pas chargés.
Types de données et méthodes d’authentification pris en charge¶
Le connecteur par défaut est configuré pour fonctionner avec le type de données JSON et prend en charge l’authentification à l’aide des identifiants AWS : ID de clé d’accès et clé d’accès secrète. Le connecteur peut être personnalisé pour fonctionner avec d’autres types de données et méthodes d’authentification.