Service Management und Skalierung¶

Funktionsweise der automatischen Skalierung¶

Der Dienst wird mit der in „min_instances“ angegebenen Anzahl von Knoten initialisiert und dynamisch innerhalb Ihres definierten Bereichs skaliert, der auf dem Echtzeit-Datenverkehr und der Hardware-Auslastung basiert.

Skalierung auf Null (automatisches Anhalten): Wenn „min_instances“ auf 0 (Standard) gesetzt ist, wird der Dienst automatisch ausgesetzt, wenn 30 Minuten lang kein Datenverkehr festgestellt wird.

Skalierungslatenz: Skalierungstrigger werden normalerweise nach einer Minute aktiviert, nachdem die erforderliche Bedingung erfüllt ist. Beachten Sie, dass die gesamte Einrichtungszeit diese Trigger-Periode zuzüglich der Zeit enthält, die für die Bereitstellung und Initialisierung neuer Dienstinstanzen benötigt wird.

Best Practices für die Konfiguration¶

In Snowsight¶

Sie können Modellbereitstellungsdienste in Snowsight überwachen:

1. Wählen Sie im Navigationsmenü Monitoring » Services & jobs aus.

2. Wählen Sie auf der Registerkarte Services Ihren Dienst aus, um die Seite mit den Dienstdetails anzuzeigen.

3. Auf der Registerkarte Overview werden Informationen zum Dienst angezeigt, darunter Computepool, Endpunkte und die Anzahl der Instanzen.

4. Die Registerkarten Logs, Metrics und Events bieten Protokolle, Leistungsmetriken und Dienstereignisse (z. B. Bereitstellung von Instanzen und Herunterfahren). Filtern Sie die Ergebnisse wie erforderlich nach Instanz und Containername.

Zugreifen auf Dienstprotokolle¶

Sie können mit einer der folgenden Methoden auf die Protokolle Ihres Modells zugreifen, das Dienste bereitstellt:

-- Retrieve logs using the service helper function
SELECT * FROM TABLE(mydb.myschema.my_model_service!SPCS_GET_LOGS())
WHERE
timestamp > dateadd(hour, -1, current_timestamp())
AND instance_id = 0  -- choose all instances or one particular
AND container_name = 'model-inference';

-- Find the event table for your account
SHOW PARAMETERS LIKE 'event_table' IN ACCOUNT;

-- Query the event table for model service logs
SELECT TIMESTAMP, RESOURCE_ATTRIBUTES, RECORD_ATTRIBUTES, VALUE
FROM <current_event_table_for_your_account>
WHERE timestamp > dateadd(hour, -1, current_timestamp())
    AND RESOURCE_ATTRIBUTES:"snow.service.name" = '<model_service_name>'
    AND RECORD_TYPE = 'LOG'
    AND RESOURCE_ATTRIBUTES:"snow.service.container.instance" = '0'  -- choose all instances or one particular
    AND RESOURCE_ATTRIBUTES:"snow.service.container.name" = 'model-inference'
ORDER BY timestamp DESC
LIMIT 10;

-- Retrieve logs from a specific service instance
SELECT SYSTEM$GET_SERVICE_LOGS('model_service_name', '0', 'model-inference', 10);

Zugreifen auf Dienstmetriken¶

Modellbereitstellungsdienste geben Kennzahlen zu Leistung und Integrität aus, mit denen Sie die Auslastung von Ressourcen, die Anforderungsraten, die Latenz und andere operative Eigenschaften überwachen können. Diese Metriken werden in der Ereignistabelle erfasst und können abgefragt werden, um die Leistung des Dienstes im Laufe der Zeit zu analysieren.

Weitere Informationen zu SPCS-Dienstmetriken finden Sie unter Zugriff auf Ereignistabelle für Dienstmetriken.

-- Retrieve metrics using the service helper function
SELECT *
FROM TABLE(mydb.myschema.my_model_service!SPCS_GET_METRICS())
WHERE
timestamp > dateadd(hour, -1, current_timestamp())
AND instance_id = 0  -- choose all instances or one particular
AND container_name = 'model-inference';

-- Find the event table for your account
SHOW PARAMETERS LIKE 'event_table' IN ACCOUNT;

-- Query the event table for model service metrics
SELECT
    timestamp,
    RESOURCE_ATTRIBUTES:"snow.service.container.instance" as instance,
    RESOURCE_ATTRIBUTES:"snow.service.container.name" as container,
    RECORD:metric:"name" as metric,
    value
FROM my_event_table_db.my_event_table_schema.my_event_table
WHERE timestamp > DATEADD(hour, -1, CURRENT_TIMESTAMP())
    AND RESOURCE_ATTRIBUTES:"snow.service.name" = '<model_service_name>'
    AND RECORD_TYPE = 'METRIC'
    AND RESOURCE_ATTRIBUTES:"snow.service.container.instance" = '0'  -- choose all instances or one particular
    AND RESOURCE_ATTRIBUTES:"snow.service.container.name" = 'model-inference'
ORDER BY timestamp DESC
LIMIT 100;

Ausfallsicherheit gegenüber Knotenfehlern¶

Um Standard-Knotenausfälle zu tolerieren, empfiehlt Snowflake eine Überbereitstellung von 50 % oder die Beibehaltung von mindestens 3 Instanzen (je nachdem, welcher Wert höher ist).

Beispiel: Wenn Sie 4 Instanzen benötigen, um Spitzenlasten zu unterstützen, sollten Sie 6 Instanzen bereitstellen

Ausfallsicherheit gegenüber Zonenfehlern¶

Für geschäftskritische Workloads, die Ausfallsicherheit gegen einen vollständigen Zonenausfall erfordern, können Sie einen verteilten Computepool beim Erstellen eines Dienstes verwenden. Verteilte Computepools werden mit dem Parameter PLACEMENT_GROUP erstellt, der auf DISTRIBUTED gesetzt ist. Weitere Informationen zu verteilten Computepools finden Sie unter Platzierung des Computepools.

Konfigurationsanleitung¶

ALTER COMPUTE POOL my_pool SUSPEND;

ALTER COMPUTE POOL my_pool
  SET PLACEMENT_GROUP = 'DISTRIBUTED';

ALTER COMPUTE POOL my_pool RESUME;

ALTER COMPUTE POOL my_pool SUSPEND;

ALTER COMPUTE POOL my_pool
  UNSET PLACEMENT_GROUP;

ALTER COMPUTE POOL my_pool RESUME;

DESCRIBE COMPUTE POOL my_service_pool;