Vektoreinbettungen¶

Beispiele¶

Die folgenden Beispiele verwenden die Vektorähnlichkeitsfunktionen.

Das folgende SQL-Beispiel verwendet die Funktion VECTOR_INNER_PRODUCT, um zu ermitteln, welche Vektoren in der Tabelle zwischen den Spalten a und b am nächsten beieinander liegen:

CREATE TABLE vectors (a VECTOR(float, 3), b VECTOR(float, 3));
INSERT INTO vectors SELECT [1.1,2.2,3]::VECTOR(FLOAT,3), [1,1,1]::VECTOR(FLOAT,3);
INSERT INTO vectors SELECT [1,2.2,3]::VECTOR(FLOAT,3), [4,6,8]::VECTOR(FLOAT,3);

-- Compute the pairwise inner product between columns a and b
SELECT VECTOR_INNER_PRODUCT(a, b) FROM vectors;

+------+
| 6.3  |
|------|
| 41.2 |
+------+

Das folgende SQL-Beispiel ruft die Funktion VECTOR_COSINE_SIMILARITY auf, um den Vektor zu finden, der [1,2,3] am nächsten kommt:

SELECT a, VECTOR_COSINE_SIMILARITY(a, [1,2,3]::VECTOR(FLOAT, 3)) AS similarity
    FROM vectors
ORDER BY similarity DESC
LIMIT 1;

+-------------------------+
| [1, 2.2, 3] | 0.9990... |
+-------------------------+

import snowflake.connector

conn = ... # Set up connection
cur = conn.cursor()

# Create a table and insert some vectors
cur.execute("CREATE OR REPLACE TABLE vectors (a VECTOR(FLOAT, 3), b VECTOR(FLOAT, 3))")
values = [([1.1, 2.2, 3], [1, 1, 1]), ([1, 2.2, 3], [4, 6, 8])]
for row in values:
        cur.execute(f"""
            INSERT INTO vectors(a, b)
                SELECT {row[0]}::VECTOR(FLOAT,3), {row[1]}::VECTOR(FLOAT,3)
        """)

# Compute the pairwise inner product between columns a and b
cur.execute("SELECT VECTOR_INNER_PRODUCT(a, b) FROM vectors")
print(cur.fetchall())

[(6.30...,), (41.2...,)]

# Find the closest vector to [1,2,3]
cur.execute(f"""
    SELECT a, VECTOR_COSINE_SIMILARITY(a, {[1,2,3]}::VECTOR(FLOAT, 3))
        AS similarity
        FROM vectors
        ORDER BY similarity DESC
        LIMIT 1;
""")
print(cur.fetchall())

[([1.0, 2.2..., 3.0], 0.9990...)]

from snowflake.snowpark import Session, Row
session = ... # Set up session
from snowflake.snowpark.types import VectorType, StructType, StructField
from snowflake.snowpark.functions import col, lit, vector_l2_distance
schema = StructType([StructField("vec", VectorType(int, 3))])
data = [Row([1, 2, 3]), Row([4, 5, 6]), Row([7, 8, 9])]
df = session.create_dataframe(data, schema)
df.select(
    "vec",
    vector_l2_distance(df.vec, lit([1, 2, 2]).cast(VectorType(int, 3))).as_("dist"),
).sort("dist").limit(1).show()

----------------------
|"VEC"      |"DIST"  |
----------------------
|[1, 2, 3]  |1.0     |
----------------------

Vektorähnlichkeitssuche¶

Um eine Suche nach semantisch ähnlichen Dokumenten zu implementieren, speichern Sie zunächst die Einbettungen für die zu durchsuchenden Dokumente. Halten Sie die Einbettungen auf dem neuesten Stand, wenn Dokumente hinzugefügt oder bearbeitet werden.

In diesem Beispiel handelt es sich bei den Dokumenten um Call-Center-Probleme, die von Support-Mitarbeitern protokolliert wurden. Die Ausgabe wird in einer Spalte namens issue_text der Tabelle issues gespeichert. Der folgende SQL-Code erstellt eine neue Vektorspalte, die die Einbettungen der Probleme enthält.

ALTER TABLE issues ADD COLUMN issue_vec VECTOR(FLOAT, 768);

UPDATE issues
  SET issue_vec = SNOWFLAKE.CORTEX.EMBED_TEXT_768('snowflake-arctic-embed-m', issue_text);

Um eine Suche durchzuführen, erstellen Sie eine Einbettung des Suchbegriffs oder des Zieldokuments und verwenden dann eine Vektorähnlichkeitsfunktion, um Dokumente mit ähnlichen Einbettungen zu finden. Verwenden Sie die ORDER BY- und LIMIT-Klauseln, um die besten k übereinstimmenden Dokumente auszuwählen, und verwenden Sie optional eine WHERE-Bedingung, um eine Mindestähnlichkeit anzugeben.

Im Allgemeinen sollte der Aufruf der Vektorähnlichkeitsfunktion in der SELECT-Klausel erfolgen, nicht in der WHERE-Klausel. Auf diese Weise wird die Funktion nur für die Zeilen aufgerufen, die in der WHERE-Klausel angegeben sind, die die Abfrage auf der Grundlage anderer Kriterien einschränken kann, anstatt über alle Zeilen der Tabelle zu operieren. Um einen Ähnlichkeitswert in der WHERE-Klausel zu testen, definieren Sie einen Spaltenalias für den VECTOR_COSINE_SIMILARITY-Aufruf in der SELECT-Klausel und verwenden diesen Alias in einer Bedingung in der WHERE-Klausel.

Dieses Beispiel findet bis zu fünf Ausgaben aus den letzten 90 Tagen, die dem Suchbegriff entsprechen, vorausgesetzt, die Cosinus-Ähnlichkeit mit dem Suchbegriff beträgt mindestens 0,7.

SELECT
  issue,
  VECTOR_COSINE_SIMILARITY(
    issue_vec,
    SNOWFLAKE.CORTEX.EMBED_TEXT_768('snowflake-arctic-embed-m', 'User could not install Facebook app on his phone')
  ) AS similarity
FROM issues
ORDER BY similarity DESC
LIMIT 5
WHERE DATEDIFF(day, CURRENT_DATE(), issue_date) < 90 AND similarity > 0.7;

Retrieval-Augmented Generation (RAG)¶

Bei der Retrieval-Augmented Generation (RAG) wird die Abfrage eines Benutzers verwendet, um mithilfe der Vektorähnlichkeit ähnliche Dokumente zu finden. Das oberste/beste Dokument wird dann zusammen mit der Abfrage des Benutzers an ein großes Sprachmodell (LLM) weitergeleitet, das den Kontext für die generative Antwort (Completion) liefert. Dies kann die Brauchbarkeit der Antwort erheblich verbessern.

Im folgenden Beispiel ist wiki eine Tabelle mit einer Textspalte content und query ist eine einzeilige Tabelle mit einer Textspalte text.

-- Create embedding vectors for wiki articles (only do once)
ALTER TABLE wiki ADD COLUMN vec VECTOR(FLOAT, 768);
UPDATE wiki SET vec = SNOWFLAKE.CORTEX.EMBED_TEXT_768('snowflake-arctic-embed-m', content);

-- Embed incoming query
SET query = 'in which year was Snowflake Computing founded?';
CREATE OR REPLACE TABLE query_table (query_vec VECTOR(FLOAT, 768));
INSERT INTO query_table SELECT SNOWFLAKE.CORTEX.EMBED_TEXT_768('snowflake-arctic-embed-m', $query);

-- Do a semantic search to find the relevant wiki for the query
WITH result AS (
    SELECT
        w.content,
        $query AS query_text,
        VECTOR_COSINE_SIMILARITY(w.vec, q.query_vec) AS similarity
    FROM wiki w, query_table q
    ORDER BY similarity DESC
    LIMIT 1
)

-- Pass to large language model as context
SELECT SNOWFLAKE.CORTEX.COMPLETE('mistral-7b',
    CONCAT('Answer this question: ', query_text, ' using this text: ', content)) FROM result;