Profiling von Handlern für gespeicherte Snowpark (Python)-Prozeduren¶

Erforderliche Berechtigungen¶

Wenn eine gespeicherte Prozedur nach dem Aufruf der Funktion StoredProcedureProfiler.set_active_profiler ausgeführt wird, überprüft Snowflake die folgenden Berechtigungen für den Benutzer, der die Prozedur ausführt:

• Sie müssen Lese- und Schreibberechtigungen für den Stagingbereich haben.

• Wenn es sich bei der profilierten gespeicherten Prozedur um eine gespeicherte Prozedur mit den Aufruferrechten handelt, müssen Sie eine Rolle mit der Berechtigung USAGE für die gespeicherte Prozedur verwenden.

• Wenn es sich bei der profilierten gespeicherten Prozedur um eine gespeicherte Prozedur mit Eigentümerreichten handelt, müssen Sie eine Rolle mit der Berechtigung OWNERSHIP für die gespeicherte Prozedur verwenden.

Einschränkungen¶

• Es werden nur gespeicherte Prozeduren unterstützt. UDFs-Unterstützung ist noch nicht verfügbar.

• Rekursive Profilerstellung wird nicht unterstützt. Nur Funktionen der obersten Ebene der angegebenen Module werden profiliert, während Funktionen, die innerhalb von Funktionen definiert sind, nicht profiliert werden.

• Das Profiling von gespeicherten Prozeduren, die auf der Client-Seite über die snowflake.snowpark API erstellt wurden, wird nicht unterstützt.

• Python-Funktionen, die parallel über joblib laufen, werden nicht profiliert.

• Systemdefinierte gespeicherte Prozeduren können nicht profiliert werden. Sie produzieren keine Ausgabe.

• Die Profiling-API muss in demselben Thread verwendet werden, von dem aus die Prozedur aufgerufen wurde.

Verwendung¶

Sobald Sie den Profiler für die Verwendung eingerichtet haben, können Sie ihn verwenden, indem Sie einfach die gespeicherte Prozedur aufrufen, um die Profiler-Ausgabe zu generieren. Nachdem die Prozedur beendet ist, wird die Profiler-Ausgabe in eine Datei im Stagingbereich geschrieben, den Sie angeben. Sie können die Profiler-Ausgabe mit einer Systemfunktion abrufen, wie unten beschrieben.

Folgen Sie diesen Schritten in Ihrem Code, um den Profiler einzurichten und zu verwenden:

1. Erwerben Sie ein Profiler-Objekt aus dem Session-Objekt.

2. Geben Sie den Snowflake Stagingbereich an, in den die Profilausgabe geschrieben werden soll.

3. Aktivieren Sie den Profiler und legen Sie fest, worauf sich der Profilbericht konzentrieren soll.

4. Rufen Sie die gespeicherte Prozedur auf.

5. Profiling-Ausgabe ansehen.

# Create your sesssion
session = Session.builder.configs(CONNECTION_PARAMETERS).create()

# Acquire profiler object
profiler = session.stored_procedure_profiler()

profiler.set_target_stage("mydb.myschema.profiler_output")

session.call("my_stored_procedure")

profiler.get_output()

Einschließlich zusätzlicher Module für die Profilerstellung¶

Beim Profiling können Sie Module einbeziehen, die standardmäßig nicht enthalten sind.

Standardmäßig werden die in Ihrem Modul definierten Methoden profiliert. Dazu gehören die folgenden Methoden:

• Der Methoden-Handler

• Im Modul definierte Methoden

• Aus Paketen oder anderen Modulen importierte Methoden

Um zusätzliche Module für das Profiling einzubeziehen, verwenden Sie die Funktion StoredProcedureProfiler.register_modules und geben dabei die Module an, die Sie einbeziehen möchten.

Der Code im folgenden Beispiel registriert die Module module_A und module_B für das Profiling.

profiler.register_modules(["module_A", "module_B"])

Um die Registrierung von Modulen aufzuheben, verwenden Sie register_modules ohne Argumente, wie im folgenden Beispiel.

profiler.register_modules()

Beispiel¶

Die folgenden Beispiele zeigen, wie Sie den Profiler verwenden, um einen Bericht über die Zeilennutzung zu erstellen und abzurufen.

Der Code in diesem Beispiel erstellt eine Prozedur profiler_test_proc.

CREATE OR REPLACE PROCEDURE profiler_test_proc()
RETURNS NUMBER
LANGUAGE PYTHON
RUNTIME_VERSION = 3.8
PACKAGES = ('snowflake-snowpark-python')
HANDLER = 'main'
AS
$$
from snowflake.snowpark.functions import col, udf

def main(session):
  df = session.sql("select 1")
  return df.collect()[0][0]
$$;

Der Code im folgenden Beispiel richtet einen Profiler ein und erstellt dann ein Profil für die Prozedur profiler_test_proc.

profiler = profiler_session.stored_procedure_profiler
profiler.register_modules(["profiler_test_proc"])
profiler.set_target_stage(
  f"{db_parameters['database']}.{db_parameters['schema']}.{tmp_stage_name}"
)

profiler.set_active_profiler("LINE")

profiler_session.call("profiler_test_proc")
res = profiler.get_output()
print(res)

profiler.disable()
profiler.register_modules([])

Die generierte Ausgabe des Zeilen-Profilers sieht wie folgt aus:

Handler Name: main
Python Runtime Version: 3.8
Modules Profiled: ['main_module']
Timer Unit: 0.001 s

Total Time: 0.0619571 s
File: _udf_code.py
Function: main at line 4

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     4                                           def main(session):
     5         1          0.4      0.4      0.6      df = session.sql("select 1")
     6         1         61.6     61.6     99.4      return df.collect()[0][0]