Snowpark Submit installieren

Sie können Snowpark Submit zur Ausführung von Batch-orientierten Spark-Workloads direkt in der Snowflake-Infrastruktur installieren.

Führen Sie zum Installieren von Snowpark Submit die folgenden Schritte aus:

  1. Installieren Sie Snowpark Submit durch Verwendung von pip.

    pip install snowpark-submit

  2. Fügen Sie in einer connection.toml-Datei für die Snowflake-Authentifizierung eine Snowflake-Verbindung hinzu. Wenn Sie bereits über eine Snowflake-Verbindung verfügen, können Sie diese Verbindung verwenden.

    Wenn Sie noch keine connections.toml-Datei haben, erstellen Sie sie wie in Verbinden mit der Datei connections.toml beschrieben.

    Sobald Sie eine :ref:` connection.toml<label-python_connection_toml>`-Datei haben, können Sie eine Snowflake-Verbindung hinzufügen. Um beispielsweise eine Snowflake-Verbindung mit dem Namen``snowpark-submit`` hinzuzufügen, fügen Sie die folgenden Zeilen zur Konfigurationsdatei hinzu:

    [snowpark-submit]
host = "<account>.snowflakecomputing.com"
port = 443
account = "<account>"
user = "test_user"
role = "test_role"
password = "<password for user>"
protocol = "https"
warehouse = "test_warehouse"
database = "test_db"
schema = "test_schema"
compute_pool = "test_compute_pool"

  3. Überprüfen Sie, ob Sie von Ihrem Client-Computer aus eine Verbindung zu Snowflake herstellen können.

    Um zu überprüfen, ob die Verbindung von Ihrem Client-Computer aus funktioniert, erstellen Sie eine .py-Datei mit Code zum Herstellen einer Verbindung zu Snowflake.

    1. Erstellen Sie eine connection_test.py-Datei, und fügen Sie dann den folgenden Code hinzu:

      # connection_test.py code

import sys
import snowflake.connector

conn_name = sys.argv[1]

print(f"Trying connection named {conn_name}..")
conn = snowflake.connector.connect(connection_name=conn_name)
print("Connected.")

cursor = conn.cursor()
cursor.execute("SELECT 'Connection successful'")
for col in cursor:
    print(col)

print("\nListing first 5 tables:\n")
cursor = conn.cursor()
cursor.execute('show tables limit 5')
for col in cursor:
    print(col)
print("\nDone")

    2. Führen Sie in Ihrer aktiven virtuellen Python-Umgebung den folgenden Befehl aus, und geben Sie dabei den Namen der Verbindung an, die Sie Ihrer connections.toml-Datei hinzugefügt haben.

      python connection_test.py snowpark-submit

Sobald Sie überprüft haben, dass Sie von Ihrem Client-Computer aus eine Verbindung zu Snowflake herstellen können, können Sie Snowpark Submit zur Ausführung von Batch-orientierten Spark-Workloads direkt in der Snowflake-Infrastruktur verwenden. Unter Snowpark Submit-Referenz finden Sie die Snowpark Submit-Befehlszeilenreferenz bzw. unter Snowpark Submit-Beispiele Beispiele für die Verwendung von Snowpark Submit.