Tables Apache Iceberg™ : Prise en charge de Apache Iceberg™ v3 (Prévisualisation)¶

Types de données¶

Les types de données v3 suivants sont pris en charge dans la prévisualisation publique :

• geography

• geometry

• nanosecond

• variant

Pour plus d’informations, voir Types de données Iceberg v3.

Valeurs par défaut¶

Consultez Valeurs par défaut.

Vecteurs de suppression¶

Consultez Vecteurs de suppression.

Lignée de lignes¶

Consultez Lignée de lignes.

Notes sur l’utilisation¶

• Pour modifier le paramètre ICEBERG_VERSION_DEFAULT au niveau du compte, vous devez être un administrateur de compte. En d’autres termes, vous devez être un utilisateur disposant du rôle ACCOUNTADMIN.

• Pour modifier le paramètre ICEBERG_VERSION_DEFAULT au niveau de la base de données ou du schéma, le rôle utilisé pour effectuer l’opération doit disposer du privilège OWNERSHIP sur la base de données ou le schéma respectif.

Exemples¶

Spécifiez que les nouvelles tables Iceberg dans la base de données my_db doivent être créées à l’aide de la v3 :

ALTER DATABASE my_db SET ICEBERG_VERSION_DEFAULT=3;

Créez une nouvelle table Iceberg gérée en externe avec la v3. Les définitions de colonnes incluses avec la commande indiquent qu’une nouvelle table sera créée, ou qu’une table existante sera remplacée, dans le catalogue distant. La table est correctement créée, car il s’agit d’une nouvelle table qui n’a pas de version existante.

CREATE OR REPLACE ICEBERG TABLE my_iceberg_v3_table (
    boolean_col boolean,
    int_col int,
    long_col long,
  )
  CATALOG='my_catalog_integration'
  ICEBERG_VERSION=3;

Créez une table Iceberg gérée en externe avec la v3 depuis une table existante avec des métadonnées Iceberg. L’absence de définitions de colonne ou de version de format dans cet exemple indique que cette table existe déjà et que la spécification de la colonne et la version de format seront déduites des métadonnées Iceberg du catalogue distant. Cet exemple utilise des identifiants de connexion distribués par catalogue, de sorte que le paramètre EXTERNAL_VOLUME est exclu de l’instruction CREATE ICEBERG TABLE :

CREATE OR REPLACE ICEBERG TABLE my_iceberg_v3_table
  CATALOG = 'my_catalog_integration'
  CATALOG_TABLE_NAME = 'my_table'
  AUTO_REFRESH = TRUE;

Fonctionnalités Snowflake non prises en charge¶

Les fonctionnalités suivantes de Snowflake ne sont pas prises en charge dans cette prévisualisation pour Iceberg v3 :

• Flux d’ajout uniquement sur les tables Iceberg gérées en externe

• Projets dbt sur Snowflake

• Inférence de schéma

• Snowpipe Streaming classic architecture

• Régions SnowGov

• Pour les tables qui utilisent un catalogue externe, vous ne pouvez pas créer de tables Iceberg v3 avec des colonnes de type structuré, qui incluent OBJECT, ARRAY ou MAP. Par exemple, vous ne pouvez pas utiliser CREATE ICEBERG TABLE … AS SELECT (CTAS) pour créer une table Iceberg v3 gérée en externe avec des colonnes de type structuré.

  Vous pouvez créer des tables Iceberg v3 gérées par Snowflake avec des colonnes de type structuré.

• Mise à niveau sur place d’une table Iceberg gérée par Snowflake de la v2 vers la v3, qui inclut le clonage d’une table v2, puis la mise à niveau du clone vers la v3

  Important

  Si vous utilisez Apache Spark pour mettre à niveau une table Iceberg gérée en externe de la v2 vers la v3, vous devez utiliser une validation qui crée un nouvel instantané, comme des opérations DML. Dans le cas contraire, si la version de format est mise à jour dans les propriétés de la table sans nouvel instantané, l’actualisation manuelle et automatique de la table échouera jusqu’à ce qu’un nouvel instantané soit créé.

  L’exemple suivant utilise Apache Spark pour mettre à niveau une table Iceberg gérée en externe de la v2 vers la v3 :

  ALTER TABLE table_name SET TBLPROPERTIES('format-version'='3');
  

  Copy

Fonctions Snowflake prises en charge¶

Les fonctionnalités non répertoriées dans la section Fonctionnalités Snowflake non prises en charge sont prises en charge. Les fonctionnalités prises en charge sont les suivantes :

Fonctionnalités Iceberg v3 non prises en charge¶

Les fonctionnalités suivantes de la spécification Iceberg v3 ne sont pas prises en charge :

• Variante imbriquée

• Transformations multi-arguments pour le partitionnement et le tri

• Clés de chiffrement de table

• Type de données UNKNOWN

Créer une table Iceberg v3¶

L’exemple suivant crée une table Apache Iceberg™ gérée par Snowflake conforme à la v3 de la spécification Apache Iceberg™ :

CREATE ICEBERG TABLE my_v3_iceberg_table (
  record VARIANT,
  event_timestamp TIMESTAMP_LTZ(6)
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'my_iceberg_table'
  ICEBERG_VERSION = 3;

L’exemple suivant crée une table Apache Iceberg™ qui utilise un catalogue REST Iceberg distant et est conforme à la v3 de la spécification Apache Iceberg™ :

CREATE ICEBERG TABLE my_v3_iceberg_table
  EXTERNAL_VOLUME = 'my_external_volume'
  CATALOG = 'my_rest_catalog_integration'
  CATALOG_TABLE_NAME = 'my_remote_table'
  AUTO_REFRESH = TRUE;

L’exemple suivant crée une table Iceberg accessible en écriture dans une base de données liée à un catalogue avec des définitions de colonnes et conforme à la v3 de la spécification Apache Iceberg™ :

USE DATABASE my_catalog_linked_db;

USE SCHEMA 'my_namespace';

CREATE OR REPLACE ICEBERG TABLE my_iceberg_table (
  first_name string,
  last_name string,
  amount int,
  create_date date
)
  ICEBERG_VERSION = 3;

Écrire dans une table Iceberg v3¶

Les commandes DML INSERT, UPDATE, DELETE, MERGE, TRUNCATE TABLE et COPY INTO sont prises en charge pour l’écriture sur des tables Iceberg v3 gérées par Snowflake et gérées en externe :

L’exemple suivant insère une ligne dans une table Apache Iceberg™ conforme à la v3 de la spécification de table Apache Iceberg™ :

INSERT INTO my_v3_iceberg_table (id, payload) VALUES (1, PARSE_JSON('{"name": "Alice", "age": 30}'));

L’exemple suivant charge des fichiers dans une table Apache Iceberg™ conforme à la v3 de la spécification de table Apache Iceberg™ :

COPY INTO my_v3_iceberg_table
  FROM @my_json_stage
  FILE_FORMAT = 'my_json_format'
  MATCH_BY_COLUMN_NAME = CASE_SENSITIVE;

Charger des données en utilisant Snowpipe¶

L’exemple suivant charge des données à partir de fichiers pour les tables Iceberg v3, pour les tables gérées par Snowflake et les tables gérées en externe :

CREATE PIPE mypipe
  AUTO_INGEST = TRUE
  INTEGRATION = 'MYINT'
  AS
  COPY INTO snowpipe_db.public.my_v3_iceberg_table
  FROM @snowpipe_db.public.mystage
  FILE_FORMAT = (TYPE = 'JSON');

Créer une table Iceberg dynamique v3¶

L’exemple suivant écrit une table Iceberg v3 gérée par Snowflake comme sortie d’une table dynamique :

CREATE DYNAMIC ICEBERG TABLE my_dynamic_iceberg_v3_table (
    num_orders NUMBER(10,0),
    order_day
  )
  TARGET_LAG = '20 minutes'
  WAREHOUSE = my_warehouse
  EXTERNAL_VOLUME = 'my_external_volume'
  CATALOG = 'SNOWFLAKE'
  BASE_LOCATION = 'my_dynamic_iceberg_v3_table'
  ICEBERG_VERSION = 3
  AS
    SELECT
        COUNT(DISTINCT order_id)
        DATE_TRUNC('DAY', order_timestamp_ns) AS order_day
      FROM staging_v3_iceberg_table;

Interroger une table Iceberg v3¶

L’exemple suivant interroge une table Iceberg v3 gérée par Snowflake ou en externe :

SELECT * FROM MY_DB.MY_SCHEMA.MY_ICEBERG_V3_TABLE;

Copy