Snowpark API¶

Sparkコネクタと比較した場合のメリット¶

Spark用Snowflakeコネクター を使用する場合と比較して、Snowparkでの開発には次のメリットがあります。

• パフォーマンスや機能を犠牲にすることなく、さまざまな言語用に構築されたライブラリとパターンを使用して、Snowflake内のデータを操作するためのサポート。

• Jupyter、 VS コード、または IntelliJ などのローカルツールを使用したSnowparkコードの作成のサポート。

• Snowflake UDFs を含むすべての操作のプッシュダウンをサポートしています。これは、Snowparkがすべてのデータ変換と手間のかかる作業をSnowflakeデータクラウドにプッシュすることを意味し、あらゆるサイズのデータを効率的に操作できるようにします。

• コンピューティングのためにSnowflakeの外部に別のクラスターを用意する必要はありません。すべての計算はSnowflake内で行われます。スケールとコンピューティングの管理は、Snowflakeによって処理されます。

ネイティブコンストラクトを使用して SQL ステートメントをビルドする機能¶

Snowpark API は、 SQL ステートメントを構築するためのプログラミング言語構造を提供します。たとえば、 API は、 'select column_name' を文字列として記述するのではなく、返す列名を指定するために使用できる select メソッドを提供します。

文字列を使用して実行する SQL ステートメントを指定することもできますが、Snowparkが提供するネイティブ言語構造を使用すると、 インテリジェントコード補完 や型チェックなどの機能を利用できます。

>>> # Import the col function from the functions module.
>>> from snowflake.snowpark.functions import col

>>> # Create a DataFrame that contains the id, name, and serial_number
>>> # columns in the "sample_product_data" table.
>>> df = session.table("sample_product_data").select(col("id"), col("name"), col("serial_number"))
>>> df.show()

データ転送の削減¶

Snowpark操作はサーバー上で遅延して実行されます。つまり、ライブラリを使用して、パイプラインのできるだけ後半まで実行中のデータ変換を遅らせながら、多くの操作を1つの操作にまとめることができます。これにより、クライアントとSnowflakeデータベース間で転送されるデータの量が削減されます。また、パフォーマンスも向上します。

Snowparkのコア抽象化は DataFrame です。これはデータのセットを表し、そのデータを操作するためのメソッドを提供します。クライアントコードでは、オブジェクトを作成し、 DataFrame 使用するデータ（たとえば、データを含む列、行に適用するフィルターなど）を取得するように設定します。

DataFrame オブジェクトを構築するときには、データは取得されません。代わりに、データを取得する準備ができたら、 DataFrame オブジェクトを評価し、対応する SQL ステートメントをSnowflakeデータベースに送信して実行するアクションを実行できます。

>>> # Create a DataFrame with the "id" and "name" columns from the "sample_product_data" table.
>>> # This does not execute the query.
>>> df = session.table("sample_product_data").select(col("id"), col("name"))

>>> # Send the query to the server for execution and
>>> # return a list of Rows containing the results.
>>> results = df.collect()

UDFs をインラインで作成する機能¶

Snowparkアプリ内でインラインのユーザー定義関数（UDFs）を作成できます。Snowparkはコードをサーバーにプッシュでき、コードによりデータを大規模に操作することができます。これは、ループまたはバッチ機能を UDF として作成することで、コードが多数あるロジックをSnowflakeが大規模にSnowflake内で並列化して適用することができる場合に役に立ちます。

クライアントコードの記述に使用するのと同じ言語で関数を記述できます（例えば、Scalaで無名関数を使用するか、またはPythonでラムダを使用することにより）。これらの関数を使用してSnowflakeデータベースのデータを処理するには、カスタムコードでユーザー定義関数（UDFs）を定義して呼び出します。

Snowparkは、 UDFs のカスタムコードをSnowflakeエンジンに自動的にプッシュします。クライアントコードで UDF を呼び出すと、カスタムコードがサーバー（データのある場所）で実行されます。データに対して関数を実行するために、データをクライアントに転送する必要はありません。

>>> from snowflake.snowpark.types import IntegerType
>>> add_one = udf(lambda x: x+1, return_type=IntegerType(), input_types=[IntegerType()], name="my_udf", replace=True)