Journalisation des erreurs dans Snowpipe Streaming avec architecture hautes performances¶

Vue d’ensemble¶

Lors de l’utilisation de l’architecture hautes performances Snowpipe Streaming, le traitement des données s’effectue côté serveur dans Snowflake. L’architecture hautes performances opère implicitement en mode ON_ERROR = CONTINUE, ce qui signifie que les lignes valides sont ingérées tandis que les lignes problématiques sont ignorées.

Activer la journalisation des erreurs¶

Pour activer la journalisation des erreurs pour Snowpipe Streaming, définissez la propriété ERROR_LOGGING sur la table cible. Pour plus de détails sur l’activation et la configuration de la journalisation des erreurs, voir Configurer la journalisation des erreurs DML d’une table.

-- For a new table:
CREATE TABLE my_streaming_table (...) ERROR_LOGGING = TRUE;

-- For an existing table:
ALTER TABLE my_streaming_table SET ERROR_LOGGING = TRUE;

Lorsque la journalisation des erreurs est activée, la même table d’erreurs capture les erreurs des instructions DML et des charges de travail d’ingestion Snowpipe Streaming.

Interroger les tables d’erreurs¶

Pour interroger la table d’erreurs d’une table de base, utilisez fonction de table ERROR_TABLE. Pour plus de détails sur le schéma de table d’erreurs, le contrôle d’accès et les opérations prises en charge, voir Journalisation des erreurs et tables d’erreurs.

SELECT * FROM ERROR_TABLE(my_streaming_table) ORDER BY timestamp;

Le résultat contient une ligne pour chaque ligne erronée dans le flux d’ingestion.

Champs d’erreur Snowpipe Streaming¶

Les erreurs Snowpipe Streaming sont stockées dans les mêmes colonnes de table d’erreurs comme erreurs DML (timestamp, query_id, error_code, error_metadata, error_data). Les objets error_metadata et error_data incluent des champs supplémentaires pour Snowpipe Streaming, décrits dans les sections suivantes.

SELECT * FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming';

Flux de travail de reprise d’erreur¶

L’exemple suivant montre comment interroger les erreurs, les analyser et réinsérer les données corrigées.

SELECT
    timestamp,
    error_code,
    error_metadata:error_message::STRING AS error_message,
    error_metadata:details:channel_name::STRING AS channel,
    error_metadata:details:pipe_name::STRING AS pipe,
    error_metadata:details:error_data_content_type::STRING AS content_type,
    error_data:"$1"::STRING AS raw_payload
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -1, CURRENT_TIMESTAMP())
ORDER BY timestamp DESC;

SELECT
    error_code,
    error_metadata:error_message::STRING AS error_message,
    COUNT(*) AS error_count
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP())
GROUP BY 1, 2
ORDER BY error_count DESC;

INSERT INTO my_streaming_table (col1, col2, col3)
SELECT
    TRY_CAST(PARSE_JSON(error_data:"$1"):col1 AS NUMBER),
    PARSE_JSON(error_data:"$1"):col2::STRING,
    TRY_CAST(PARSE_JSON(error_data:"$1"):col3 AS TIMESTAMP)
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND error_metadata:details:error_data_content_type = 'json'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP());

TRUNCATE ERROR_TABLE(my_streaming_table);

Facturation¶

L’ingestion de Snowpipe Streaming est facturée au tarif standard de Snowpipe Streaming. L’activation de la journalisation des erreurs ne modifie pas vos coûts d’ingestion. Il n’y a pas de frais d’ingestion supplémentaires pour le routage des lignes ayant échoué vers la table d’erreurs.

Snowflake facture les données stockées dans la table d’erreur au tarif de stockage standard, comme n’importe quelle autre table. La table des erreurs stocke les métadonnées brutes de la charge utile et des erreurs pour chaque ligne ayant échoué.

Pour plus d’informations sur les coûts de Snowpipe Streaming, voir:doc:/user-guide/snowpipe-streaming/snowpipe-streaming-high-performance-cost.

Limitations¶

• Les tables d’erreurs capturent les erreurs qui se produisent pendant le traitement des données côté serveur (analyse et transformation). Les erreurs dans d’autres zones de préparation (validation SDK, défaillances d’API et autres erreurs asynchrones côté serveur) ne sont pas prises en compte dans les tables d’erreurs. Surveillez les erreurs asynchrones côté serveur à l’aide de getChannelStatus ().

• Un taux d’échec élevé des lignes entrantes peut augmenter la latence de traitement en raison de la surcharge du stockage des informations d’erreur.

• Les charges utiles supérieures à 128 MB sont tronquées. Le champ error_data_truncated indique quand la troncation s’est produite.

• Les tables d’erreurs ne sont disponibles que pour l’architecture hautes performances de Snowpipe Streaming. Pour l’architecture classique, la gestion des erreurs est gérée côté client par l’intermédiaire du SDK.