15. November 2024 – Apache Iceberg™-Tabellen: Effizientes Laden von Massendaten, kontinuierliche Aufnahme und Daten-Streaming – Allgemeine Verfügbarkeit¶
Mit diesem Release gibt Snowflake die allgemeine Verfügbarkeit der folgenden Features bekannt, die effizientes Laden von Massendaten, kontinuierliche Aufnahme und Daten-Streaming in von Snowflake verwaltete Iceberg-Tabellen unterstützen.
Sie können jetzt dieselben zentralen Snowflake-Aufnahmefeatures wie COPY INTO <table>, Snowpipe und Snowpipe Streaming verwenden, um Daten sowohl in Standard-Snowflake-Tabellen als auch in Iceberg-Tabellen zu laden.
Weitere Informationen dazu finden Sie unter Laden von Daten in Apache Iceberg™-Tabellen.
COPY INTO <table> und Snowpipe kontinuierliche Dateiaufnahme¶
Sie können die folgenden LOAD_MODE-Optionen mit dem Befehl COPY INTO <Tabelle> und automatisiertes Laden mit Snowpipe verwenden, um Daten aus Dateien in eine von Snowflake verwaltete Iceberg-Tabelle zu laden:
FULL_INGEST: Lädt Daten aus jedem unterstützten Dateiformat, konvertiert sie in ein validiertes Iceberg-kompatibles Parquet und lässt Sie optional die Daten vor dem Laden transformieren oder filtern.ADD_FILES_COPY: Lädt Daten aus Iceberg-kompatiblen Parquet-Datendateien, indem es eine serverseitige Kopie der Dateien in den Basisspeicher der Tabelle durchführt und die Dateien schnell in der Tabelle registriert.
Snowpipe Streaming¶
Mit Snowflake Ingest SDK Version 3.0.0 und höher kann Snowpipe Streaming Zeilen in von Snowflake verwaltete Iceberg-Tabellen streamen. Um dieses Feature zu aktivieren, setzen Sie die Eigenschaft ENABLE_ICEBERG_STREAMING=true in der Datei profile.json.
Weitere Informationen dazu finden Sie unter Laden von Daten in Apache Iceberg™-Tabellen.