스칼라 Scala UDF에서 전역 상태 제어하기¶

JVM 전체에 걸쳐 병렬 처리하기¶

Snowflake는 웨어하우스 의 작업자 전체에 걸쳐 병렬 처리를 합니다. 각 작업자는 하나 이상의 JVM을 실행합니다. 이는 전역 공유 상태가 없음을 의미합니다. 기껏해야 단일 JVM 내에서만 상태를 공유할 수 있습니다.

JVM 내에서 병렬 처리하기¶

• 각 JVM은 동일한 인스턴스의 핸들러 메서드를 병렬로 호출할 수 있는 여러 스레드를 실행할 수 있습니다. 이는 각 핸들러 메서드가 스레드로부터 안전해야 함을 의미합니다.

• UDF가 IMMUTABLE이고 SQL 문이 동일 행에 대해 동일 인자를 사용하여 UDF를 두 번 이상 호출하는 경우, UDF는 해당 행의 각 호출에 대해 동일 값을 반환합니다.

  예를 들어, UDF가 IMMUTABLE인 경우 다음은 각 행에 대해 동일 값을 두 번 반환합니다.

  SELECT my_scala_udf(42), my_scala_udf(42) FROM table1;
  

  Copy

  동일 인자가 전달된 경우에도 여러 호출이 독립 값을 반환하고 함수 VOLATILE을 선언하지 않으려면 여러 개별 UDF를 동일 핸들러 메서드에 바인딩하십시오.

  다음 단계에 따라 이 작업을 수행할 수 있습니다.

  1. 다음 코드를 사용하여 @udf_libs/rand.jar 라는 JAR 파일을 만듭니다.

     class MyClass {
     
         var x: Double = 0.0
     
         // Constructor
         def this() = {
             x = Math.random()
         }
     
         // Handler
         def myHandler(): Double = x
     }
     

     Copy

  2. 아래와 같이 Scala UDF를 만듭니다.

     이러한 UDF는 이름이 다르지만, 동일 JAR 파일을 사용하며, 해당 JAR 파일 내에서 동일 핸들러를 사용합니다.

     CREATE FUNCTION my_scala_udf_1()
       RETURNS DOUBLE
       LANGUAGE SCALA
       IMPORTS = ('@udf_libs/rand.jar')
       HANDLER = 'MyClass.myHandler';
     
     CREATE FUNCTION my_scala_udf_2()
       RETURNS DOUBLE
       LANGUAGE SCALA
       IMPORTS = ('@udf_libs/rand.jar')
       HANDLER = 'MyClass.myHandler';
     

     Copy

  3. 다음 코드를 사용하여 두 UDF를 모두 호출합니다.

     UDF는 동일한 JAR 파일 및 핸들러를 가리킵니다. 이러한 호출은 동일한 클래스의 두 인스턴스를 만듭니다. 각 인스턴스는 독립적인 값을 반환하므로 아래 예에서는 동일 값을 두 번 반환하는 대신 두 개의 독립적인 값을 반환합니다.

     SELECT my_scala_udf_1(), my_scala_udf_2() FROM table1;
     

     Copy