06. November 2024 — Cortex-Funktion SPLIT_TEXT_RECURSIVE_CHARACTER — Vorschau¶

Snowflake stellt eine Vorschau der Funktion SPLIT_TEXT_RECURSIVE_CHARACTER bereit. Diese Funktion teilt eine Zeichenfolge rekursiv in kleinere Blöcke auf, damit der Text an Einbettungs- oder Suchindizierungsfunktionen übergeben werden kann. Da viele Sprachmodelle eine Grenze für die Anzahl der Token haben, die sie verarbeiten können, ist diese Funktion für die Verarbeitung von Text unerlässlich, der größer als die Tokengrenze ist.

Weitere Informationen dazu finden Sie unter SPLIT_TEXT_RECURSIVE_CHARACTER (SNOWFLAKE.CORTEX).