15 novembre 2024 — Tables Apache Iceberg™ : chargement en masse efficace, ingestion continue et flux de données — Disponibilité générale¶

Avec cette version, Snowflake a le plaisir d’annoncer la disponibilité générale des fonctions suivantes, qui prennent en charge le chargement en vrac efficace, l’ingestion continue et les flux de données dans les tables Iceberg gérées par Snowflake.

Vous pouvez désormais utiliser les mêmes fonctions d’ingestion Snowflake essentielles telles que COPY INTO <table>, Snowpipe et Snowpipe Streaming, pour charger des données dans des tables Snowflake et des tables Iceberg standards.

Pour plus d’informations, voir Charger des données dans les tables Apache Iceberg™.

COPY INTO <table> et ingestion de fichiers en continu Snowpipe¶

Vous pouvez utiliser les options LOAD_MODE suivantes avec la commande COPY INTO <table> et le chargement automatisé Snowpipe pour charger des données à partir de fichiers dans une table Iceberg gérée par Snowflake :

FULL_INGEST : charge les données à partir de n’importe quel format de fichier pris en charge, les convertit au format Parquet validé compatible avec Iceberg et vous permet éventuellement de transformer ou de filtrer les données avant le chargement.
ADD_FILES_COPY : charge les données des fichiers de données Parquet compatibles avec Iceberg en effectuant une copie côté serveur des fichiers à l’emplacement de base de la table et en enregistrant rapidement les fichiers dans la table.

Snowpipe Streaming¶

Avec les versions 3.0.0 et ultérieures du SDK Snowflake Ingest, Snowpipe Streaming peut assurer le flux des lignes dans les tables Iceberg gérées par Snowflake. Pour activer cette fonction, définissez la propriété ENABLE_ICEBERG_STREAMING=true dans le fichier profile.json.

Pour plus d’informations, voir Charger des données dans les tables Apache Iceberg™.