Snowpark Connect for Spark 속성¶

주석¶

:doc:`Snowflake 공통 테이블 식(CTEs)</user-guide/queries-cte>`을 활성화하는 구성입니다. 이 구성은 반복적인 코드 블록이 많은 Snowflake 쿼리를 최적화합니다. 이 수정으로 쿼리 컴파일과 실행 성능이 모두 향상됩니다.

주석¶

:code:`true`로 설정하는 경우 특정 작업의 동작을 변경합니다.

• bit_get/getbit — :doc:`Snowflake getbit 함수</sql-reference/functions/getbit>`의 명시적 사용

• hash — :doc:`Snowflake 해시 함수</sql-reference/functions/hash>`의 명시적 사용

• md5 — :doc:`Snowflake md5 함수</sql-reference/functions/md5>`의 명시적 사용

• 테이블 열 이름 바꾸기 — 테이블 열을 변경할 수 있습니다.

주석¶

기본적으로, |spconnect|는 모든 정수 유형을 Long`으로 처리합니다. 이는 :ref:`Snowflake에서 숫자가 표시되는<label-data_type_number> 방식으로 인해 발생합니다. 통합 유형 에뮬레이션을 사용하면 데이터 소스에서 읽을 때 Snowpark 유형과 Spark 유형 간의 정확한 매핑이 가능합니다.

기본 옵션인 :code:`client_default`는 스크립트가 Scala 클라이언트에서 실행될 때만 에뮬레이션을 활성화합니다. 적분 유형은 다음 전체 자릿수를 기반으로 매핑됩니다.

다른 전체 자릿수가 발견되면 최종 유형이 `DecimalType`에 매핑됩니다.

주석¶

제공된 디렉터리에서 분할된 파일의 정확한 하위 세트만 읽으려면 추가 구성이 필요합니다. 이 기능은 :doc:`외부 스테이지</sql-reference/sql/create-stage>`에 저장된 파일에만 사용할 수 있습니다. 읽은 파일을 정리하기 위해 |spconnect|는 :doc:`외부 테이블</sql-reference/sql/create-external-table>`을 사용합니다.

이 기능은 :code:`snowpark.connect.sql.partition.external_table_location`이 설정된 경우에 활성화됩니다. 외부 테이블이 생성될 기존 데이터베이스 및 스키마 이름을 포함해야 합니다.

외부 스테이지에 저장된 Parquet 파일을 읽으면 외부 테이블이 생성됩니다. 내부 스테이지에 있는 파일의 경우 생성되지 않습니다. 스키마를 제공하면 실행 시간이 단축되어 소스에서 스키마를 추론하는 비용이 제거됩니다.

최상의 성능을 얻으려면 :ref:`Snowflake 외부 테이블 필터링 제한 사항<label-tables_external_intro_filtering_records_in_parquet_files>`에 따라 필터링하세요.

spark.conf.set("snowpark.connect.sql.partition.external_table_location", "<database-name>.<schema-name>")

spark.read.parquet("@external-stage/example").filter(col("x") > lit(1)).show()

schema = StructType([StructField("x",IntegerType()),StructField("y",DoubleType())])

spark.read.schema(schema).parquet("@external-stage/example").filter(col("x") > lit(1)).show()

주석¶

이 구성은 :code:`snowpark.connect.udf.python.imports`와 매우 유사하게 작동합니다. 이를 통해 `registerJavaFunction<https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.UDFRegistration.registerJavaFunction.html>`_을 사용하여 생성된 Java UDFs용 외부 라이브러리 및 파일을 지정할 수 있습니다. 불필요한 종속성 혼합을 방지하기 위해 구성은 상호 배타적입니다.

외부 라이브러리 및 파일을 포함하려면 파일에 대한 스테이지 경로를 구성 설정 :code:`snowpark.connect.udf.java.imports`의 값으로 제공합니다. 구성 값은 파일에 대한 스테이지 경로의 배열이어야 하며, 경로는 쉼표로 구분됩니다.

# Files need to be previously staged

spark.conf.set("snowpark.connect.udf.java.imports", "[@stage/library.jar]")

spark.registerJavaFunction("javaFunction", "com.example.ExampleFunction")

spark.sql("SELECT javaFunction('arg')").show()

주석¶

이를 사용하여 Python UDFs에서 사용할 수 있는 추가 패키지를 정의할 수 있습니다. 값은 쉼표로 구분된 종속성 목록입니다.

Snowflake에서 다음 SQL을 실행하여 지원되는 패키지 목록을 검색할 수 있습니다.

SELECT * FROM INFORMATION_SCHEMA.PACKAGES WHERE LANGUAGE = 'python';

spark.conf.set("snowpark.connect.udf.packages", "[numpy]")

@udtf(returnType="val: int")

class Powers:

  def eval(self, x: int):
      import numpy as np

      for v in np.power(np.array([x, x, x]), [0, 1, 2]):
          yield (int(v),)

spark.udtf.register(name="powers", f=Powers)

spark.sql("SELECT * FROM powers(10)").show()

주석¶

이 속성은 UDTFs가 Spark 호환 가능 동작을 사용할지 또는 기본 Snowpark 동작을 사용할지 여부를 결정합니다. :code:`true`로 설정하는 경우 Spark의 출력 유형 강제 변환 및 오류 처리 패턴을 모방하는 호환성 래퍼를 적용합니다.

활성화되는 경우 UDTFs는 Spark 스타일 자동 형식 강제 변환(예: 문자열 “true”을 부울로, 부울을 정수로) 및 오류 처리를 적용하는 호환성 래퍼를 사용합니다. 또한 래퍼는 위치 및 명명된 액세스 모두에 대해 테이블 인자를 행과 유사한 오브젝트로 변환하고 Spark의 동작 패턴과 일치하는 SQL null 값을 제대로 처리합니다.

주석¶

Snowflake는 중복 열 이름을 지원하지 않습니다.

df = spark.createDataFrame([
(1, 1),
(2, 2)
], ["foo", "foo"])

df.show() # works

df.createTempView("df_view") # Fails with SQL compilation error: duplicate column name 'foo'

주석¶

이 구성은 :code:`snowpark.connect.udf.python.imports`와 매우 유사하게 작동합니다. 이를 사용하여 `registerJavaFunction<https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.UDFRegistration.registerJavaFunction.html>`_을 통해 생성된 Java UDFs용 외부 라이브러리 및 파일을 지정할 수 있습니다. 불필요한 종속성 혼합을 방지하기 위해 구성은 상호 배타적입니다.

외부 라이브러리 및 파일을 포함하려면 파일에 대한 스테이지 경로를 구성 설정 :code:`snowpark.connect.udf.java.imports`의 값으로 제공합니다. 값은 파일에 대한 스테이지 경로의 배열이며, 경로는 쉼표로 구분됩니다.

# Files need to be previously staged

spark.conf.set("snowpark.connect.udf.java.imports", "[@stage/library.jar]")

spark.registerJavaFunction("javaFunction", "com.example.ExampleFunction")

spark.sql("SELECT javaFunction('arg')").show()

주석¶

구성을 통해 Python UDFs에서 사용 가능한 추가 패키지를 정의할 수 있습니다. 값은 쉼표로 구분된 종속성 목록입니다.

Snowflake에서 다음 SQL을 실행하여 지원되는 패키지 목록을 검색할 수 있습니다.

SELECT * FROM INFORMATION_SCHEMA.PACKAGES WHERE LANGUAGE = 'python';

spark.conf.set("snowpark.connect.udf.packages", "[numpy]")

@udtf(returnType="val: int")

class Powers:

  def eval(self, x: int):
      import numpy as np

      for v in np.power(np.array([x, x, x]), [0, 1, 2]):
          yield (int(v),)

spark.udtf.register(name="powers", f=Powers)

spark.sql("SELECT * FROM powers(10)").show()

주석¶

이 구성은 UDTFs가 Spark 호환 가능 동작을 사용할지 또는 기본 Snowpark 동작을 사용할지 여부를 결정합니다. :code:`true`가 활성화되는 경우 Spark의 출력 유형 강제 변환 및 오류 처리 패턴을 모방하는 호환성 래퍼를 적용합니다.

활성화되는 경우 UDTFs는 Spark 스타일 자동 형식 강제 변환(예: 문자열 “true”을 부울로, 부울을 정수로) 및 오류 처리를 적용하는 호환성 래퍼를 사용합니다. 또한 래퍼는 위치 및 명명된 액세스 모두에 대해 테이블 인자를 행과 유사한 오브젝트로 변환하고 Spark의 동작 패턴과 일치하는 SQL null 값을 제대로 처리합니다.