Einführung in Aufgaben¶

Serverlose Aufgaben¶

Bei diesem Modell werden die Aufgaben auf von Snowflake verwalteten Rechnern ausgeführt. Snowflake passt die Größe der Ressourcen automatisch an die jeweilige Arbeitslast an. Snowflake bestimmt die ideale Größe der Computeressourcen für eine bestimmte Ausführung auf der Grundlage einer dynamischen Analyse der Statistiken für die letzten Ausführungen derselben Aufgabe.

Dieses Modell wird für Aufgaben empfohlen, die regelmäßig oder halb regelmäßig ausgeführt werden, wie z. B. die folgenden:

• Aufgaben, die immer zur gleichen Zeit beginnen.

• Aufgaben, die nur ausgeführt werden, wenn neue Daten eintreffen. (Weitere Informationen dazu finden Sie unter Getriggerte Aufgaben.)

Wie Snowflake serverlose Computeressourcen schätzt¶

Snowflake schätzt automatisch die für eine Aufgabe benötigten Computeressourcen auf der Grundlage des Zielzeitrahmens und der Leistung früherer Aufgabenläufe.

Sie können den Zielzeitrahmen mit TARGET_COMPLETION_INTERVAL festlegen. Wenn dieser Wert nicht festgelegt ist, passt Snowflake die Größe der serverlosen Computeressourcen so an, dass sie vor der nächsten geplanten Ausführungszeit abgeschlossen sind.

Nachdem eine Aufgabe abgeschlossen ist, schätzt Snowflake den Bedarf an Computeressourcen wie folgt:

• Wenn Aufgaben zu schnell abgeschlossen werden (innerhalb eines Zeitrahmens, der um einen Faktor kleiner ist als der Zielzeitrahmen), reduziert Snowflake die Ressourcen in den nachfolgenden Läufen um eine Warehouse-Größe, bis hinunter zur SERVERLESS_TASK_MIN_STATEMENT_SIZE.

• Wenn die Aufgaben zu langsam abgeschlossen werden (innerhalb eines Zeitrahmens, der um einen Faktor größer ist als der Zielzeitrahmen), erhöht Snowflake die Ressourcen in den nachfolgenden Läufen um eine Warehouse-Größe. Wenn SERVERLESS_TASK_MAX_STATEMENT_SIZE erreicht ist, werden die Aufgaben fortgesetzt (wobei die Zielzeit möglicherweise überschritten wird), bis sie abgeschlossen sind oder ein Timeout eintritt.

CREATE TASK SCHEDULED_T1
  SCHEDULE='60 MINUTES'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T1",
        definition="SELECT 1",
        schedule=timedelta(minutes=60),),
    ),
)

CREATE TASK SCHEDULED_T2
  SCHEDULE='USING CRON 0 * * * * America/Los_Angeles'
  TARGET_COMPLETION_INTERVAL='120 MINUTE'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T2",
        definition="SELECT 1",
        schedule=Cron("0 * * * *", "America/Los_Angeles"),
        target_completion_interval=timedelta(minutes=120),
        serverless_task_max_statement_size="LARGE",
    ),
)

CREATE TASK SCHEDULED_T3
  SCHEDULE='USING CRON 0 0 * * * UTC'
  TARGET_COMPLETION_INTERVAL='180 M'
  SERVERLESS_TASK_MIN_STATEMENT_SIZE='MEDIUM'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T3",
        definition="SELECT 1",
        schedule=Cron("0 0 * * *", "UTC"),
        target_completion_interval=timedelta(minutes=180),
        serverless_task_min_statement_size="MEDIUM",
        serverless_task_max_statement_size="LARGE",
    ),
)

CREATE TASK SCHEDULED_T4
  SCHEDULE='10 SECONDS'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T4",
        definition="SELECT 1",
        schedule=timedelta(seconds=10),
        serverless_task_max_statement_size="LARGE",
    ),
)

Vom Benutzer verwaltetes virtuelles Warehouse-Modell¶

Bei diesem Modell haben Sie die volle Kontrolle über die für jede Arbeitslast verwendeten Computeressourcen.

Dieses Modell wird empfohlen, wenn Sie unvorhersehbare Auslastungen von Computeressourcen manuell verwalten möchten. Warehouses mit mehreren Clustern mit automatischem Anhalten und automatischem Fortsetzen können ebenfalls dazu beitragen, Ihren Credit-Verbrauch zu reduzieren.

Empfehlungen zur Auswahl des Computemodells¶

In der folgenden Tabelle werden verschiedene Faktoren beschrieben, die Ihnen bei der Entscheidung helfen können, ob Sie serverlose Aufgaben oder benutzerverwaltete Aufgaben verwenden sollten:

Die maximale Größe einer serverlosen Aufgabenausführung entspricht einem XXLARGE-Warehouse. Wenn der Workload einer Aufgabe ein größeres Warehouse erfordert, erstellen Sie eine benutzerverwaltete Aufgabe mit einem Warehouse der erforderlichen Größe.

Eine Aufgabe nach einem festen Zeitplan ausführen¶

Um Aufgaben nach einem festen Zeitplan auszuführen, definieren Sie den Zeitplan beim Erstellen oder Ändern der Aufgabe mit CREATE TASK oder ALTER TASK oder durch Bearbeiten der Aufgabe in Snowsight unter Verwendung des Parameters SCHEDULE.

Snowflake stellt sicher, dass jeweils immer nur eine Instanz einer Aufgabe mit einem Zeitplan ausgeführt wird. Wenn eine Aufgabe zum Zeitpunkt der nächsten geplanten Ausführung noch immer ausgeführt wird, wird diese geplante Zeit übersprungen.

Das folgende Beispiel erstellt eine Aufgabe, die alle 10 Sekunden ausgeführt wird:

CREATE TASK task_runs_every_10_seconds
  SCHEDULE='10 SECONDS'
  AS SELECT 1;

Um einen Zeitplan auf der Grundlage einer bestimmten Uhrzeit oder eines bestimmten Tages zu definieren, verwenden Sie den Parameter SCHEDULE =‘USING CRON. ..‘.

Das folgende Beispiel erstellt eine Aufgabe, die jeden Sonntag um 3 Uhr nachts in der Zeitzone Americas/Los_Angeles ausgeführt wird.

CREATE TASK task_sunday_3_am_pacific_time_zone
  SCHEDULE='USING CRON 0 3 * * SUN America/Los_Angeles'
AS SELECT 1;

Weitere Informationen dazu finden Sie unter CREATETASK … SCHEDULE.

Eine Aufgabe ausführen, sobald ein Stream neue Daten enthält¶

Verwenden Sie Getriggerte Aufgaben, um Aufgaben auszuführen, wenn ein definierter Stream neue Daten enthält, z. B. in Workflows zum Extrahieren, Laden und Transformieren (ELT). Damit entfällt die Notwendigkeit, eine Quelle häufig abzufragen, wenn die Verfügbarkeit neuer Daten unvorhersehbar ist. Außerdem wird die Latenzzeit verringert, da die Daten sofort verarbeitet werden. Beispiel:

CREATE TASK triggered_task_stream
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  AS
    INSERT INTO completed_promotions
    SELECT order_id, order_total, order_time, promotion_id
    FROM orders_stream;

Weitere Informationen dazu finden Sie unter Getriggerte Aufgaben.

Nach einem Zeitplan ausführen, aber nur, wenn ein Stream neue Daten enthält¶

Sie können eine geplante Aufgabe mit einer getriggerten Aufgabe kombinieren. Sie können zum Beispiel eine Aufgabe so einstellen, dass sie jede Stunde ausgeführt wird, aber nur, wenn der Stream neue Daten enthält. Beispiel:

CREATE TASK triggered_task_stream
  SCHEDULE = '1 HOUR'
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  AS SELECT 1;

Aufgaben nach fehlgeschlagenen Ausführungen automatisch anhalten¶

Aufgaben können optional nach einer bestimmten Anzahl von aufeinanderfolgenden Ausführungen, die entweder fehlschlagen oder ein Zeitlimit überschreiten, automatisch angehalten werden. Dieses Feature sorgt für eine Senkung der Kosten, indem Aufgaben angehalten werden, die Snowflake-Credits verbrauchen, aber nicht zu Ende ausgeführt wurden.

Setzen Sie den Parameter SUSPEND_TASK_AFTER_NUM_FAILURES = num auf eine Aufgabe. Wenn der Parameter auf einen Wert größer als 0 gesetzt wird, werden Aufgaben automatisch angehalten, falls die angegebene Anzahl aufeinanderfolgender Aufgabenausführungen entweder fehlschlägt oder eine Zeitüberschreitung verursacht.

Der Parameter kann beim Erstellen einer Aufgabe mit CREATE TASK oder später mit ALTER TASK festgelegt werden. Sie können diesen Wert auch in Snowsight ändern.

Der Parameter SUSPEND_TASK_AFTER_NUM_FAILURES kann auch auf Konto-, Datenbank- und Schemaebene festgelegt werden. Die Einstellung gilt für alle im geänderten Objekt enthaltenen Aufgaben. Beachten Sie, dass das explizite Einstellen des Parameters auf einer niedrigeren (d. h. detaillierteren) Ebene den auf einer höheren Ebene eingestellten Parameterwert überschreibt.

Fehlgeschlagene Aufgabenausführungen automatisch wiederholen¶

Wenn eine Aufgabe mit dem Status FAILED endet, kann Snowflake die Ausführung der Aufgabe automatisch erneut versuchen. Die automatische Aufgabenwiederholung ist standardmäßig deaktiviert. Um dieses Feature zu aktivieren, setzen Sie TASK_AUTO_RETRY_ATTEMPTS auf einen Wert größer als 0.

Aufgaben, die Fehlerbenachrichtigungen verwenden, senden Benachrichtigungen für jeden fehlgeschlagenen Wiederholungsversuch. Weitere Informationen dazu finden Sie unter Konfigurieren einer Aufgabe zum Senden von Fehlerbenachrichtigungen.

Wenn Sie den Parameterwert von TASK_AUTO_RETRY_ATTEMPTS auf Konto-, Datenbank- oder Schemaebene festlegen, wird die Änderung bei der nächsten geplanten Ausführung der im geänderten Objekt enthaltenen Aufgaben wirksam.

Eine Aufgabe manuell ausführen¶

Nachdem Sie mit CREATE TASK oder ALTER TASK eine neue Aufgabe und ihre Parameter eingerichtet haben, können Sie mit EXECUTE TASK einen einzelnen Lauf der Aufgabe starten. Dieser Befehl ist nützlich, um neue oder geänderte Aufgaben zu testen.

Versionieren von Aufgabenausführungen¶

Wenn eine eigenständige Aufgabe zum ersten Mal fortgesetzt oder manuell ausgeführt wird, wird eine Startversion der Aufgabe festgelegt. Die eigenständige Aufgabe wird mit dieser Version ausgeführt. Nachdem eine Aufgabe angehalten und geändert wurde, wird beim Fortsetzen oder manuellen Ausführen der eigenständigen Aufgabe eine neue Version festgelegt.

Wenn die Aufgabe angehalten wird, werden alle zukünftigen geplanten Ausführungen der Aufgabe abgebrochen. In Ausführung befindliche Aufgaben werden jedoch weiterhin mit der aktuellen Version ausgeführt.

Angenommen, die Aufgabe wird angehalten, aber eine geplante Ausführung dieser Aufgabe hat bereits begonnen. Der Eigentümer der Aufgabe ändert den SQL-Code, der von der Aufgabe aufgerufen wird, während die Aufgabe noch ausgeführt wird. Die Aufgabe wird ausgeführt und führt den SQL-Code in ihrer Definition aus, wobei die Version der Aufgabe verwendet wird, die aktuell war, als die Ausführung der Aufgabe gestartet wurde. Wenn die Aufgabe fortgesetzt oder manuell ausgeführt wird, wird eine neue Version der Aufgabe festgelegt. Diese neue Version enthält die an der Aufgabe vorgenommenen Änderungen.

Um den Versionsverlauf der Aufgabenversionen abzurufen, fragen Sie die Account Usage-Ansicht TASK_VERSIONS (in der freigegebenen SNOWFLAKE-Datenbank) ab.

Timeouts¶

Wenn die Ausführung einer Aufgabe die geplante Zeit oder das Zielintervall für die Fertigstellung überschreitet, wird die Aufgabe standardmäßig weiter ausgeführt, bis sie abgeschlossen ist, eine Zeitüberschreitung eintritt oder sie fehlschlägt.

Wenn sowohl STATEMENT_TIMEOUT_IN_SECONDS als auch label-user_task_timeout_ms gesetzt sind, ist das Timeout der niedrigste Nicht-Null-Wert der beiden Parameter.

Wenn sowohl STATEMENT_QUEUED_TIMEOUT_IN_SECONDS als auch USER_TASK_TIMEOUT_MS eingestellt sind, hat der Wert von USER_TASK_TIMEOUT_MS Vorrang.

Informationen über Timeouts bei Task-Graphen finden Sie unter Timeouts im Task-Graphen.

Hinweise¶

• Bei serverlosen Aufgaben skaliert Snowflake automatisch die Ressourcen, um sicherzustellen, dass die Aufgaben innerhalb eines Zielintervalls abgeschlossen werden, einschließlich der Zeit für die Warteschlangenbildung.

• Bei vom Benutzer verwalteten Aufgaben sind längere Wartezeiten üblich, wenn die Aufgaben in einem gemeinsam genutzten oder stark frequentierten Warehouse ausgeführt werden sollen.

Zugriffssteuerungsrechte¶

Kundenspezifische Rollen zur Verwaltung von Aufgabenberechtigungen erstellen¶

Mit kundenspezifischen Rollen können Sie die Berechtigungen für jedes Konto oder jede Rolle in Snowflake einfach verwalten. Um Änderungen an den Berechtigungen für alle Konten oder Rollen vorzunehmen, die die kundenspezifische Rolle verwenden, aktualisieren Sie die kundenspezifische Rolle. Oder Sie entziehen die Berechtigungen, indem Sie die kundenspezifische Rolle entfernen.

USE SYSADMIN;

CREATE ROLE warehouse_task_creation
  COMMENT = 'This role can create user-managed tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="warehouse_task_creation",
    comment="This role can create user-managed tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT USAGE
  ON WAREHOUSE warehouse1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["USAGE"], securable_type="warehouse", securable=Securable(name='warehouse1')
)

USE SYSADMIN;

CREATE ROLE serverless_task_creation
  COMMENT = 'This role can create serverless tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="serverless_task_creation",
    comment="This role can create serverless tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE serverless_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT EXECUTE MANAGED TASK ON ACCOUNT
  TO ROLE serverless_task_creation;

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["EXECUTE MANAGED TASK"], securable_type="account"
)

USE ROLE securityadmin;

CREATE ROLE taskadmin;

from snowflake.core.role import Role

root.session.use_role("securityadmin")

root.roles.create(Role(name="taskadmin"))

USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

root.session.use_role("accountadmin")

root.roles['taskadmin'].grant_privileges(
    privileges=["EXECUTE TASK", "EXECUTE MANAGED TASK"], securable_type="account"
)

USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

from snowflake.core.role import Securable

root.session.use_role("securityadmin")

root.roles['myrole'].grant_role(role_type="ROLE", role=Securable(name='taskadmin'))

Aufgabeneigentümerrolle löschen¶

Wenn Sie die Eigentümerrolle einer Aufgabe löschen, geht die Eigentümerschaft der Aufgabe an die Rolle über, die die Eigentümerrolle gelöscht hat. Wenn die Eigentümerschaft einer Aufgabe wechselt, wird die Aufgabe automatisch angehalten, und neue Ausführungen werden erst geplant, wenn der neue Eigentümer die Aufgabe fortsetzt.

Wenn Sie die Rolle löschen, während die Aufgabe ausgeführt wird, wird die Aufgabenausführung unter der gelöschten Rolle abgeschlossen.

Ausführung von Systemdienstaufgaben¶

Snowflake führt Aufgaben mit den Berechtigungen des Aufgabeneigentümer aus, aber die Aufgabenausführungen sind keinem Benutzer zugeordnet. Stattdessen wird jede Ausführung von einem Systemdienst ausgeführt. Aufgaben werden von bestimmten Benutzern entkoppelt, um Komplikationen zu vermeiden, die auftreten können, wenn Benutzer gelöscht oder aufgrund von Authentifizierungsproblemen gesperrt werden oder wenn Rollen entfernt werden.

Da Aufgabenausführungen von einem Benutzer entkoppelt sind, wird der Abfrageverlauf von Aufgabenausführungen dem Systemdienst zugeordnet. Daher gibt es keine Benutzeranmeldeinformationen für diesen Dienst, und keine Person kann seine Identität übernehmen. Die Aktivität für den Systemdienst ist auf Ihr Konto beschränkt. Der Dienst bietet dieselben Verschlüsselungsschutz- und weitere Sicherheitsprotokolle, wie sie auch für andere Operationen erzwungen werden.