Contrôler l’état global dans des UDFs scalaires Scala¶

Parallélisme à travers des JVMs¶

Snowflake effectue la parallélisation entre les processus Worker dans un entrepôt. Chaque Worker exécute un (ou plusieurs) JVMs. Cela signifie qu’il n’y a pas d’état partagé global. Au maximum, l’état ne peut être partagé qu’au sein d’un seul JVM.

Parallélisme au sein des JVMs¶

• Chaque JVM peut exécuter plusieurs threads qui peuvent appeler la méthode du handler de la même instance en parallèle. Cela signifie que chaque méthode du handler doit être à l’abri des fils.

• Si une IMMUTABLE est SQL et qu’une instruction UDF appelle la même UDF plusieurs fois avec les mêmes arguments pour la même ligne, alors l’UDF renvoie la même valeur pour chaque appel pour cette ligne.

  Par exemple, la commande suivante renvoie deux fois la même valeur si l’UDF est IMMUTABLE :

  SELECT my_scala_udf(42), my_scala_udf(42) FROM table1;
  

  Copy

  Si vous souhaitez que plusieurs appels renvoient des valeurs indépendantes même s’ils reçoivent les mêmes arguments, et si vous ne souhaitez pas déclarer la fonction VOLATILE, liez plusieurs UDFs distinctes à la même méthode de traitement.

  Pour ce faire, vous pouvez suivre ces étapes.

  1. Créez un fichier JAR nommé @udf_libs/rand.jar avec le code suivant :

     class MyClass {
     
         var x: Double = 0.0
     
         // Constructor
         def this() = {
             x = Math.random()
         }
     
         // Handler
         def myHandler(): Double = x
     }
     

     Copy

  2. Créez des UDFs Scala comme indiqué ci-dessous.

     Ces UDFs portent des noms différents, mais utilisent le même fichier JAR et le même handler dans ce fichier JAR.

     CREATE FUNCTION my_scala_udf_1()
       RETURNS DOUBLE
       LANGUAGE SCALA
       IMPORTS = ('@udf_libs/rand.jar')
       HANDLER = 'MyClass.myHandler';
     
     CREATE FUNCTION my_scala_udf_2()
       RETURNS DOUBLE
       LANGUAGE SCALA
       IMPORTS = ('@udf_libs/rand.jar')
       HANDLER = 'MyClass.myHandler';
     

     Copy

  3. Utilisez le code suivant pour appeler les deux UDFs.

     Les UDFs pointent vers le même fichier JAR et le même handler. Ces appels créent deux instances de la même classe. Chaque instance renvoie une valeur indépendante, de sorte que l’exemple ci-dessous renvoie deux valeurs indépendantes, plutôt que de renvoyer deux fois la même valeur :

     SELECT my_scala_udf_1(), my_scala_udf_2() FROM table1;
     

     Copy