Cortex LLM Playground¶
Mit dem Cortex LLM Playground können Sie Textvervollständigungen über mehrere große Sprachmodelle hinweg vergleichen, die in Cortex AI verfügbar sind. Sie können die Reaktionen des Sprachmodells auf verschiedene Eingabeaufforderungen und Modelleinstellungen testen und die Ergebnisse des Modells Seite an Seite vergleichen. Mit ein paar Klicks können Sie das Modell auch mit einer Snowflake-Tabelle verbinden, um direkt mit Ihren Daten zu experimentieren. Der Cortex LLM Playground wurde speziell dafür entwickelt, dass Sie auf einfache Weise testen können, wie verschiedene Sprachmodelle für Ihren Anwendungsfall funktionieren, bevor Sie sich für ein Modell entscheiden, das in der Produktion eingesetzt werden soll.
Der Cortex LLM Playground unterstützt alle für die Funktion COMPLETE verfügbaren Modelle, die in der Region Ihres Kontos verfügbar sind. Die vollständige Liste der Modelle finden Sie unter Modellverfügbarkeit.
Erforderliche Berechtigungen¶
Der Cortex LLM Playground erfordert die Datenbankrolle CORTEX_USER, die die Berechtigungen zum Aufrufen der Snowflake Cortex LLM-Funktionen beinhaltet. Weitere Informationen dazu finden Sie unter Erforderliche Berechtigungen.
Starten Sie mit dem Cortex LLM Playground¶
Der Cortex LLM Playground ist über das Snowflake AI & ML Studio zugänglich. Sie können das Studio von der Snowsight aus wie folgt erreichen:
Melden Sie sich bei Snowsight an.
Wählen Sie im Navigationsmenü die Option AI & ML » Studio aus. Der Cortex LLM Playground erscheint neben den anderen Studio-Funktionen.
Um den Playground zu öffnen, wählen Sie Try.
Testen Sie Ihre Eingabe mit einem Sprachmodell¶
Verwenden Sie den Cortex LLM Playground, um Eingaben für verschiedene Sprachmodelle zu testen.
Wählen Sie ein Warehouse aus. Dieses Warehouse wird verwendet, um den SQL-Befehl auszuführen, der die Funktion COMPLETE aufruft.
Wählen Sie ein Modell aus dem Dropdown-Menü oben aus. Das Dropdown-Menü enthält nur die Modelle, die in der Region des verwendeten Kontos verfügbar sind.
Geben Sie Ihre Eingabe in das Eingabefeld ein, und wählen Sie Enter.
Die Modellausgabe erscheint über dem Eingabefeld. Sie können View Code wählen, um den SQL-Befehl anzuzeigen und zu kopieren, der zur Verarbeitung Ihrer Eingabeaufforderung verwendet wird.
Um eine andere Eingabe oder ein anderes Modell auszuprobieren, wählen Sie das gewünschte Modell und geben Sie eine neue Eingabe in das Eingabefeld ein. Wählen Sie dann Enter.
Modellausgaben vergleichen¶
Um die Ausgabe Ihrer Eingaben zwischen zwei verschiedenen Modellen oder zwei verschiedenen Einstellungen des gleichen Modells zu vergleichen, verwenden Sie das Feature Compare.
Vergleichen Sie zwei Modelle¶
Wählen Sie Compare in der oberen rechten Ecke.
Wählen Sie über das Dropdown-Menü auf jeder Seite unterschiedliche Modelle für die beiden Bereiche aus.
Öffnen Sie den Einstellungsbereich, indem Sie Change settings
neben Compare wählen.Wählen Sie den Schalter Sync, um die gleichen Einstellungen für beide Modelle zu verwenden.
Geben Sie Ihre Eingabe ein, und wählen Sie Enter. Die Ausgabe der von Ihnen ausgewählten Modelle erscheint auf jeder Seite.
Einstellungen für ein Modell vergleichen¶
Wählen Sie Compare in der oberen rechten Ecke.
Wählen Sie für die beiden Bereiche das gleiche Modell.
Öffnen Sie den Einstellungsbereich, indem Sie Change settings
neben Compare wählen.Wählen Sie für jede Registerkarte unterschiedliche Einstellungen für temperature, top_p oder max_tokens, um zu vergleichen, wie sich die Reaktion des Sprachmodells bei unterschiedlichen Modelleinstellungen verändert. Weitere Einzelheiten zu diesen Parametern finden Sie unter COMPLETE (SNOWFLAKE.CORTEX).
Sie können auch Enable Cortex Guard überprüfen, um Schutzmaßnahmen zu implementieren, die potenziell unangemessene oder unsichere Antworten des Large Language Model (LLM) herausfiltern. Weitere Einzelheiten zu Cortex Guard finden Sie unter Cortex Guard.
Geben Sie Ihre Eingabe ein, und wählen Sie Enter. Die Ausgabe des Modells für jeden Satz von Einstellungen erscheint auf jeder Seite.
Mit Snowflake-Tabellen verbinden¶
Sie können das Modell mit einer Snowflake-Tabelle mit Textdaten verbinden, die Sie mit der Textvervollständigung testen möchten.
Bemerkung
Sie können nur eine Spalte auswählen. Der Cortex LLM Playground liefert maximal 100 Zeilen.
Wählen Sie die Schaltfläche + Connect your data im Eingabefeld.
Wählen Sie Ihre Snowflake-Datenquelle aus dem Dropdown-Menü.
Wählen Sie die Spalte mit den Textdaten aus, die Sie testen möchten.
Wählen Sie eine Spalte aus, die Sie als Filter verwenden möchten. Sie können diese Spalte verwenden, um einen Datensatz aus Ihrer Datenquelle auszuwählen.
Wählen Sie Done aus.
Wählen Sie einen Datensatz aus Ihrer Datenquelle, indem Sie das Feld Select <filter column> im Eingabefeld verwenden. Sie können einen Datensatz durch Scrollen oder durch die Suche nach einem Begriff in den Textdaten auswählen. Um zu suchen, geben Sie einen Begriff in das Suchfeld ein. Das folgende Beispiel zeigt eine Filterspalte mit dem Namen ID. In diesem Beispiel könnten Sie nach einer bestimmten ID-Nummer suchen oder eine Zeichenfolge eingeben, die mit den Textdaten übereinstimmt.
Geben Sie System Prompt ein und wählen Sie Enter, um die Antwort des Modells zu sehen. Eine Systemabfrage gibt dem Modell Anweisungen, wie es den eingegebenen Text verarbeiten soll. Sie könnten zum Beispiel wollen, dass das Modell den ausgewählten Text zusammenfasst oder Schlüsselwörter daraus herauszieht.
Einstellungen kontrollieren¶
Sie können die Modelleinstellungen anpassen, um zu vergleichen, wie sich die Reaktion des Sprachmodells ändert, wenn es mit verschiedenen temperature-, top_p- und max_tokens-Einstellungen versehen ist. Um Schutzmaßnahmen zu implementieren, die potenziell unangemessene oder unsichere Antworten herausfiltern, wählen Sie Enable Cortex Guard im Einstellungsbereich.
Mehr darüber, wie sich diese Einstellungen auf die Reaktionen des Sprachmodells auswirken können, erfahren Sie auf der Seite Steuern von Modelltemperatur und Token.
Wählen Sie Change settings
, um das Einstellungsmenü in der oberen rechten Ecke zu öffnen.Markieren Sie das Kästchen für die Einstellung, um ihren Wert anzupassen.
Probieren Sie Eingaben mit verschiedenen Einstellungen aus.
Exportieren einer SQL-Abfrage¶
Um eine SQL-Abfrage zu erhalten, die die Einstellungen, wie z. B. die Temperatur, enthält, die Sie im Cortex LLM Playground definiert haben, wählen Sie View Code nach jeder Modellantwort. Der angezeigte Code kann von einem Arbeitsblatt oder Notebook aus ausgeführt werden oder für die kontinuierliche Ausführung mit Streams und Aufgaben automatisiert werden. Sie können diesen Code auch mit einer dynamischen Tabelle verwenden.
Bemerkung
Dynamische Tabellen unterstützen keine inkrementelle Aktualisierung mit COMPLETE.
Die folgenden Bilder zeigen Beispiele für das Dialogfeld View SQL.
Beispiel 1: Exportieren von Code, wenn Sie das Modell mit einer Snowflake-Tabelle verbinden¶
Beispiel 2: Code exportieren, wenn Sie das Modell nicht mit einer Snowflake-Tabelle verbinden¶