Fehlerprotokollierung in Snowpipe Streaming mit High-Performance-Architektur¶

Übersicht¶

Wenn Sie die leistungsstarke Snowpipe Streaming-Architektur verwenden, erfolgt die Datenverarbeitung serverseitig in Snowflake. Die High-Performance-Architektur arbeitet implizit im ON_ERROR = CONTINUE-Modus, d. h., gültige Zeilen werden aufgenommen, während problematische Zeilen übersprungen werden.

Aktivieren Sie die Fehlerprotokollierung¶

Um die Fehlerprotokollierung für Snowpipe Streaming zu aktivieren, setzen Sie die ERROR_LOGGING-Eigenschaft in der Zieltabelle fest. Vollständige Informationen zum Aktivieren und Konfigurieren der Fehlerprotokollierung finden Sie unter DML-Fehlerprotokollierung für eine Tabelle konfigurieren.

-- For a new table:
CREATE TABLE my_streaming_table (...) ERROR_LOGGING = TRUE;

-- For an existing table:
ALTER TABLE my_streaming_table SET ERROR_LOGGING = TRUE;

Wenn die Fehlerprotokollierung aktiviert ist, erfasst dieselbe Fehler-Tabelle Fehler sowohl aus DML-Statements als auch aus Snowpipe Streaming-Datenaufnahme-Workloads.

Fehlertabellen abfragen¶

Um die Fehlertabelle für eine Basistabelle abzufragen, verwenden Sie die``ERROR_TABLE``-Tabellenfunktion. Vollständige Informationen zum Schema der Fehler-Tabellen, zu Zugriffskontrollen und unterstützten Operationen finden Sie unter Fehlerprotokollierung und Fehlertabellen.

SELECT * FROM ERROR_TABLE(my_streaming_table) ORDER BY timestamp;

Das Ergebnis enthält eine Zeile für jede fehlerhafte Zeile im Erfassungsstream.

Snowpipe Streaming-Fehlerfelder¶

Snowpipe Streaming-Fehler werden in denselben Fehlertabellenspalten wie DML-Fehler (timestamp, query_id, error_code, error_metadata, error_data) gespeichert. Die error_metadata- und``error_data``-Objekte enthalten zusätzliche Felder für Snowpipe Streaming, die in den folgenden Abschnitten beschrieben werden.

SELECT * FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming';

Workflow zur Fehlerbehebung¶

Das folgende Beispiel zeigt, wie Sie Fehler abfragen, analysieren und korrigierte Daten wieder einfügen können.

SELECT
    timestamp,
    error_code,
    error_metadata:error_message::STRING AS error_message,
    error_metadata:details:channel_name::STRING AS channel,
    error_metadata:details:pipe_name::STRING AS pipe,
    error_metadata:details:error_data_content_type::STRING AS content_type,
    error_data:"$1"::STRING AS raw_payload
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -1, CURRENT_TIMESTAMP())
ORDER BY timestamp DESC;

SELECT
    error_code,
    error_metadata:error_message::STRING AS error_message,
    COUNT(*) AS error_count
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP())
GROUP BY 1, 2
ORDER BY error_count DESC;

INSERT INTO my_streaming_table (col1, col2, col3)
SELECT
    TRY_CAST(PARSE_JSON(error_data:"$1"):col1 AS NUMBER),
    PARSE_JSON(error_data:"$1"):col2::STRING,
    TRY_CAST(PARSE_JSON(error_data:"$1"):col3 AS TIMESTAMP)
FROM ERROR_TABLE(my_streaming_table)
WHERE error_metadata:service = 'snowpipe_streaming'
  AND error_metadata:details:error_data_content_type = 'json'
  AND timestamp >= DATEADD(hour, -24, CURRENT_TIMESTAMP());

TRUNCATE ERROR_TABLE(my_streaming_table);

Rechnungsstellung¶

Die Snowpipe Streaming-Datenaufnahme wird zum Standardtarif für Snowpipe Streaming abgerechnet. Das Aktivieren der Fehlerprotokollierung ändert nicht Ihre Kosten für die Datenaufnahme. Es fallen keine zusätzlichen Gebühren für das Routing von fehlgeschlagenen Zeilen an die Fehlertabelle an.

Snowflake berechnet für Daten, die in der Fehlertabelle gespeichert sind, die Standardspeichergebühr, wie für jede andere Tabelle auch. Die Fehlertabelle speichert die rohen Nutzdaten und Fehlermetadaten für jede fehlgeschlagene Zeile.

Weitere Informationen zu den Kosten von Snowpipe Streaming finden Sie unter:doc:/user-guide/snowpipe-streaming/snowpipe-streaming-high-performance-cost.

Einschränkungen¶

• Fehlertabellen erfassen Fehler, die bei der serverseitigen Datenverarbeitung (Parsen und Transformieren) auftreten. Fehler von anderen Stagingbereichen (SDK-Validierung, API-Fehler und andere serverseitige asynchrone Fehler) werden nicht in Fehlertabellen erfasst. Überwachen Sie serverseitige asynchrone Fehler mit getChannelStatus ().

• Eine hohe Fehlerrate bei eingehenden Zeilen kann die Verarbeitungslatenz aufgrund des Aufwands für das Speichern von Fehlerinformationen erhöhen.

• Nutzlasten größer als 128 MB werden abgeschnitten. Das error_data_truncated-Feld zeigt an, wann eine Kürzung vorgenommen wurde.

• Fehlertabellen sind nur für die leistungsstarke Snowpipe Streaming-Architektur verfügbar. Bei der klassischen Architektur wird die Fehlerbehandlung clientseitig über das SDK verwaltet.