Snowpark Migration Accelerator: Códigos de problema para Spark - Scala¶

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo de um elemento Spark que não é compatível com o Snowpark e, portanto, gera este EWI.

val df = session.range(10)
val result = df.isLocal

Saída

O SMA adiciona o EWI SPRKSCL1112 ao código de saída para que você saiba que esse elemento não é compatível com o Snowpark.

val df = session.range(10)
/*EWI: SPRKSCL1112 => org.apache.spark.sql.Dataset.isLocal is not supported*/
val result = df.isLocal

Correção recomendada

Como esse é um código de erro genérico que se aplica a uma série de funções sem suporte, não há uma correção única e específica. A ação apropriada dependerá do elemento específico em uso.

Observe que, mesmo que o elemento não seja compatível, isso não significa necessariamente que não seja possível encontrar uma solução ou solução alternativa. Isso significa apenas que o próprio SMA não consegue encontrar a solução.

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Recomendações adicionais¶

• É improvável que isso seja um erro no próprio código-fonte, mas sim um erro na forma como o SMA processa o código-fonte. A melhor solução seria publicar um problema no SMA.

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.max, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(10, 12, 20, 15, 18).toDF("value")
val result1 = df.select(max("value"))
val result2 = df.select(max(col("value")))

Saída

O SMA adiciona o EWI SPRKSCL1153 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(10, 12, 20, 15, 18).toDF("value")
/*EWI: SPRKSCL1153 => org.apache.spark.sql.functions.max has a workaround, see documentation for more info*/
val result1 = df.select(max("value"))
/*EWI: SPRKSCL1153 => org.apache.spark.sql.functions.max has a workaround, see documentation for more info*/
val result2 = df.select(max(col("value")))

Correção recomendada

O Snowpark tem uma função equivalente max que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(10, 12, 20, 15, 18).toDF("value")
val result1 = df.select(max(col("value")))
val result2 = df.select(max(col("value")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.explode usada para obter as informações consolidadas dos campos de matriz do conjunto de dados.

    val explodeData = Seq(
      Row("Cat", Array("Gato","Chat")),
      Row("Dog", Array("Perro","Chien")),
      Row("Bird", Array("Ave","Oiseau"))
    )

    val explodeSchema = StructType(
      List(
        StructField("Animal", StringType),
        StructField("Translation", ArrayType(StringType))
      )
    )

    val rddExplode = session.sparkContext.parallelize(explodeData)

    val dfExplode = session.createDataFrame(rddExplode, explodeSchema)

    dfExplode.select(explode(dfExplode("Translation").alias("exploded")))

Saída

O SMA adiciona o EWI SPRKSCL1102 ao código de saída para que você saiba que essa função não é suportada no Snowpark.

    val explodeData = Seq(
      Row("Cat", Array("Gato","Chat")),
      Row("Dog", Array("Perro","Chien")),
      Row("Bird", Array("Ave","Oiseau"))
    )

    val explodeSchema = StructType(
      List(
        StructField("Animal", StringType),
        StructField("Translation", ArrayType(StringType))
      )
    )

    val rddExplode = session.sparkContext.parallelize(explodeData)

    val dfExplode = session.createDataFrame(rddExplode, explodeSchema)

    /*EWI: SPRKSCL1102 => Explode is not supported */
    dfExplode.select(explode(dfExplode("Translation").alias("exploded")))

Correção recomendada

Como o explode não é compatível com o Snowpark, a função flatten pode ser usada como substituta.

A correção a seguir cria o achatamento do dataframe dfExplode e, em seguida, faz a consulta para replicar o resultado no Spark.

    val explodeData = Seq(
      Row("Cat", Array("Gato","Chat")),
      Row("Dog", Array("Perro","Chien")),
      Row("Bird", Array("Ave","Oiseau"))
    )

    val explodeSchema = StructType(
      List(
        StructField("Animal", StringType),
        StructField("Translation", ArrayType(StringType))
      )
    )

    val rddExplode = session.sparkContext.parallelize(explodeData)

    val dfExplode = session.createDataFrame(rddExplode, explodeSchema)

     var dfFlatten = dfExplode.flatten(col("Translation")).alias("exploded")
                              .select(col("exploded.value").alias("Translation"))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.min, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(1, 3, 10, 1, 3).toDF("value")
val result1 = df.select(min("value"))
val result2 = df.select(min(col("value")))

Saída

O SMA adiciona o EWI SPRKSCL1136 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(1, 3, 10, 1, 3).toDF("value")
/*EWI: SPRKSCL1136 => org.apache.spark.sql.functions.min has a workaround, see documentation for more info*/
val result1 = df.select(min("value"))
/*EWI: SPRKSCL1136 => org.apache.spark.sql.functions.min has a workaround, see documentation for more info*/
val result2 = df.select(min(col("value")))

Correção recomendada

O Snowpark tem uma função equivalente min que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(1, 3, 10, 1, 3).toDF("value")
val result1 = df.select(min(col("value")))
val result2 = df.select(min(col("value")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Recomendações adicionais¶

• Inclua um arquivo de projeto de configuração na pasta de entrada.

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.tanh, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(-1.0, 0.5, 1.0, 2.0).toDF("value")
val result1 = df.withColumn("tanh_value", tanh("value"))
val result2 = df.withColumn("tanh_value", tanh(col("value")))

Saída

O SMA adiciona o EWI SPRKSCL1147 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(-1.0, 0.5, 1.0, 2.0).toDF("value")
/*EWI: SPRKSCL1147 => org.apache.spark.sql.functions.tanh has a workaround, see documentation for more info*/
val result1 = df.withColumn("tanh_value", tanh("value"))
/*EWI: SPRKSCL1147 => org.apache.spark.sql.functions.tanh has a workaround, see documentation for more info*/
val result2 = df.withColumn("tanh_value", tanh(col("value")))

Correção recomendada

O Snowpark tem uma função equivalente tanh que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(-1.0, 0.5, 1.0, 2.0).toDF("value")
val result1 = df.withColumn("tanh_value", tanh(col("value")))
val result2 = df.withColumn("tanh_value", tanh(col("value")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Veja a seguir um exemplo da função org.apache.spark.sql.functions.split que gera esse EWI.

val df = Seq("apple,banana,orange", "grape,lemon,lime", "cherry,blueberry,strawberry").toDF("values")
val result1 = df.withColumn("split_values", split(col("values"), ","))
val result2 = df.withColumn("split_values", split(col("values"), ",", 0))

Saída

O SMA adiciona o EWI SPRKSCL1116 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq("apple,banana,orange", "grape,lemon,lime", "cherry,blueberry,strawberry").toDF("values")
/*EWI: SPRKSCL1116 => org.apache.spark.sql.functions.split has a workaround, see documentation for more info*/
val result1 = df.withColumn("split_values", split(col("values"), ","))
/*EWI: SPRKSCL1116 => org.apache.spark.sql.functions.split has a workaround, see documentation for more info*/
val result2 = df.withColumn("split_values", split(col("values"), ",", 0))

Correção recomendada

Para a sobrecarga do Spark que recebe dois argumentos, você pode converter o segundo argumento em um objeto de coluna usando a função com.snowflake.snowpark.functions.lit como uma solução alternativa.

A sobrecarga que recebe três argumentos ainda não é compatível com o Snowpark e não há solução alternativa.

val df = Seq("apple,banana,orange", "grape,lemon,lime", "cherry,blueberry,strawberry").toDF("values")
val result1 = df.withColumn("split_values", split(col("values"), lit(",")))
val result2 = df.withColumn("split_values", split(col("values"), ",", 0)) // This overload is not supported yet

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.corr, usada primeiro com nomes de coluna como argumentos e depois com objetos de coluna.

val df = Seq(
  (10.0, 20.0),
  (20.0, 40.0),
  (30.0, 60.0)
).toDF("col1", "col2")

val result1 = df.select(corr("col1", "col2"))
val result2 = df.select(corr(col("col1"), col("col2")))

Saída

O SMA adiciona o EWI SPRKSCL1122 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(
  (10.0, 20.0),
  (20.0, 40.0),
  (30.0, 60.0)
).toDF("col1", "col2")

/*EWI: SPRKSCL1122 => org.apache.spark.sql.functions.corr has a workaround, see documentation for more info*/
val result1 = df.select(corr("col1", "col2"))
/*EWI: SPRKSCL1122 => org.apache.spark.sql.functions.corr has a workaround, see documentation for more info*/
val result2 = df.select(corr(col("col1"), col("col2")))

Correção recomendada

O Snowpark tem uma função equivalente corr que recebe dois objetos de coluna como argumentos. Por esse motivo, a sobrecarga do Spark que recebe objetos de coluna como argumentos é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe dois argumentos de cadeia de caracteres, você pode converter as cadeias de caracteres em objetos de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(
  (10.0, 20.0),
  (20.0, 40.0),
  (30.0, 60.0)
).toDF("col1", "col2")

val result1 = df.select(corr(col("col1"), col("col2")))
val result2 = df.select(corr(col("col1"), col("col2")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo de um código SQL incorporado que não pode ser processado.

spark.sql("CREATE VIEW IF EXISTS My View" + "AS Select * From my Table WHERE date < current_date()")

Saída

O SMA adiciona o EWI SPRKSCL1173 ao código de saída para informar que o código SQL incorporado não pode ser processado.

/*EWI: SPRKSCL1173 => SQL embedded code cannot be processed.*/
spark.sql("CREATE VIEW IF EXISTS My View" + "AS Select * From my Table WHERE date < current_date()")

Correção recomendada

Certifique-se de que o código SQL incorporado seja uma cadeia de caracteres sem interpolações, variáveis ou concatenações de cadeia de caracteres.

Recomendações adicionais¶

• Você pode encontrar mais informações sobre SQL incorporado aqui.

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Veja a seguir um exemplo de quando o elemento a ser processado não é um literal e não pode ser avaliado pelo SMA.

val format_type = "csv"
spark.read.format(format_type).load(path)

Saída

O SMA adiciona o EWI SPRKSCL1163 ao código de saída para que você saiba que o parâmetro format_type não é um literal e não pode ser avaliado pelo SMA.

/*EWI: SPRKSCL1163 => format_type is not a literal and can't be evaluated*/
val format_type = "csv"
spark.read.format(format_type).load(path)

Correção recomendada

• Certifique-se de que o valor da variável seja válido para evitar comportamentos inesperados.

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.grouping_id, usada primeiro com o nome de várias colunas como argumentos e depois com objetos de coluna.

val df = Seq(
  ("Store1", "Product1", 100),
  ("Store1", "Product2", 150),
  ("Store2", "Product1", 200),
  ("Store2", "Product2", 250)
).toDF("store", "product", "amount")

val result1 = df.cube("store", "product").agg(sum("amount"), grouping_id("store", "product"))
val result2 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))

Saída

O SMA adiciona o EWI SPRKSCL1132 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(
  ("Store1", "Product1", 100),
  ("Store1", "Product2", 150),
  ("Store2", "Product1", 200),
  ("Store2", "Product2", 250)
).toDF("store", "product", "amount")

/*EWI: SPRKSCL1132 => org.apache.spark.sql.functions.grouping_id has a workaround, see documentation for more info*/
val result1 = df.cube("store", "product").agg(sum("amount"), grouping_id("store", "product"))
/*EWI: SPRKSCL1132 => org.apache.spark.sql.functions.grouping_id has a workaround, see documentation for more info*/
val result2 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))

Correção recomendada

O Snowpark tem uma função equivalente grouping_id que recebe vários objetos de coluna como argumentos. Por esse motivo, a sobrecarga do Spark que recebe vários objetos de coluna como argumentos é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe vários argumentos de cadeia de caracteres, você pode converter as cadeias de caracteres em objetos de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(
  ("Store1", "Product1", 100),
  ("Store1", "Product2", 150),
  ("Store2", "Product1", 200),
  ("Store2", "Product2", 250)
).toDF("store", "product", "amount")

val result1 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))
val result2 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo do org.apache.spark.sql.DataFrameWriter.option usado para adicionar opções a uma instrução writer.

df.write.format("net.snowflake.spark.snowflake").option("dbtable", tablename)

Saída

O SMA adiciona o EWI SPRKSCL1106 ao código de saída para que você saiba que o método option não é compatível com o Snowpark.

df.write.saveAsTable(tablename)
/*EWI: SPRKSCL1106 => Writer option is not supported .option("dbtable", tablename)*/

Correção recomendada

Não há nenhuma correção recomendada para esse cenário

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.kurtosis que gera essa EWI. Neste exemplo, a função kurtosis é usada para calcular a curtose da coluna selecionada.

val df = Seq("1", "2", "3").toDF("elements")
val result1 = kurtosis(col("elements"))
val result2 = kurtosis("elements")

Saída

O SMA adiciona o EWI SPRKSCL1157 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq("1", "2", "3").toDF("elements")
/*EWI: SPRKSCL1157 => org.apache.spark.sql.functions.kurtosis has a workaround, see documentation for more info*/
val result1 = kurtosis(col("elements"))
/*EWI: SPRKSCL1157 => org.apache.spark.sql.functions.kurtosis has a workaround, see documentation for more info*/
val result2 = kurtosis("elements")

Correção recomendada

O Snowpark tem uma função equivalente kurtosis que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq("1", "2", "3").toDF("elements")
val result1 = kurtosis(col("elements"))
val result2 = kurtosis(col("elements"))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.tan, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(math.Pi / 4, math.Pi / 3, math.Pi / 6).toDF("angle")
val result1 = df.withColumn("tan_value", tan("angle"))
val result2 = df.withColumn("tan_value", tan(col("angle")))

Saída

O SMA adiciona o EWI SPRKSCL1146 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(math.Pi / 4, math.Pi / 3, math.Pi / 6).toDF("angle")
/*EWI: SPRKSCL1146 => org.apache.spark.sql.functions.tan has a workaround, see documentation for more info*/
val result1 = df.withColumn("tan_value", tan("angle"))
/*EWI: SPRKSCL1146 => org.apache.spark.sql.functions.tan has a workaround, see documentation for more info*/
val result2 = df.withColumn("tan_value", tan(col("angle")))

Correção recomendada

O Snowpark tem uma função equivalente tan que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(math.Pi / 4, math.Pi / 3, math.Pi / 6).toDF("angle")
val result1 = df.withColumn("tan_value", tan(col("angle")))
val result2 = df.withColumn("tan_value", tan(col("angle")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.translate que gera este EWI. Neste exemplo, a função translate é usada para substituir os caracteres “a”, “e” e “o” em cada palavra por “1”, “2” e “3”, respectivamente.

val df = Seq("hello", "world", "scala").toDF("word")
val result = df.withColumn("translated_word", translate(col("word"), "aeo", "123"))

Saída

O SMA adiciona o EWI SPRKSCL1117 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq("hello", "world", "scala").toDF("word")
/*EWI: SPRKSCL1117 => org.apache.spark.sql.functions.translate has a workaround, see documentation for more info*/
val result = df.withColumn("translated_word", translate(col("word"), "aeo", "123"))

Correção recomendada

Como solução alternativa, você pode converter o segundo e o terceiro argumentos em um objeto de coluna usando a função com.snowflake.snowpark.functions.lit.

val df = Seq("hello", "world", "scala").toDF("word")
val result = df.withColumn("translated_word", translate(col("word"), lit("aeo"), lit("123")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.cos, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(0.0, Math.PI / 4, Math.PI / 2, Math.PI).toDF("angle_radians")
val result1 = df.withColumn("cosine_value", cos("angle_radians"))
val result2 = df.withColumn("cosine_value", cos(col("angle_radians")))

Saída

O SMA adiciona o EWI SPRKSCL1123 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(0.0, Math.PI / 4, Math.PI / 2, Math.PI).toDF("angle_radians")
/*EWI: SPRKSCL1123 => org.apache.spark.sql.functions.cos has a workaround, see documentation for more info*/
val result1 = df.withColumn("cosine_value", cos("angle_radians"))
/*EWI: SPRKSCL1123 => org.apache.spark.sql.functions.cos has a workaround, see documentation for more info*/
val result2 = df.withColumn("cosine_value", cos(col("angle_radians")))

Correção recomendada

O Snowpark tem uma função equivalente cos que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(0.0, Math.PI / 4, Math.PI / 2, Math.PI).toDF("angle_radians")
val result1 = df.withColumn("cosine_value", cos(col("angle_radians")))
val result2 = df.withColumn("cosine_value", cos(col("angle_radians")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Veja a seguir um exemplo da função org.apache.spark.sql.types.StructField.apply que gera este EWI. Neste exemplo, a função apply é usada para gerar uma instância de StructField.

val result = StructField("f1", StringType(), True, metadata)

Saída

O SMA adiciona o EWI SPRKSCL1172 ao código de saída para que você saiba que o parâmetro de metadados não é compatível com o Snowflake.

/*EWI: SPRKSCL1172 => Snowpark does not support StructFiled with metadata parameter.*/
val result = StructField("f1", StringType(), True, metadata)

Correção recomendada

O Snowpark tem uma função equivalente com.snowflake.snowpark.types.StructField.apply que recebe três parâmetros. Então, como solução alternativa, você pode tentar remover o argumento de metadados.

val result = StructField("f1", StringType(), True, metadata)

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Recomendações adicionais¶

• Como solução alternativa, você pode verificar o tamanho do arquivo se ele for muito pesado para ser processado. Além disso, analise se a ferramenta pode acessá-la para evitar problemas de acesso.

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.least, usada primeiro com o nome de várias colunas como argumentos e depois com objetos de coluna.

val df = Seq((10, 20, 5), (15, 25, 30), (7, 14, 3)).toDF("value1", "value2", "value3")
val result1 = df.withColumn("least", least("value1", "value2", "value3"))
val result2 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))

Saída

O SMA adiciona o EWI SPRKSCL1133 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq((10, 20, 5), (15, 25, 30), (7, 14, 3)).toDF("value1", "value2", "value3")
/*EWI: SPRKSCL1133 => org.apache.spark.sql.functions.least has a workaround, see documentation for more info*/
val result1 = df.withColumn("least", least("value1", "value2", "value3"))
/*EWI: SPRKSCL1133 => org.apache.spark.sql.functions.least has a workaround, see documentation for more info*/
val result2 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))

Correção recomendada

O Snowpark tem uma função equivalente least que recebe vários objetos de coluna como argumentos. Por esse motivo, a sobrecarga do Spark que recebe vários objetos de coluna como argumentos é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe vários argumentos de cadeia de caracteres, você pode converter as cadeias de caracteres em objetos de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq((10, 20, 5), (15, 25, 30), (7, 14, 3)).toDF("value1", "value2", "value3")
val result1 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))
val result2 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo do org.apache.spark.sql.DataFrameWriter.save usado para salvar o conteúdo de DataFrame.

df.write.format("net.snowflake.spark.snowflake").save()

Saída

O SMA adiciona o EWI SPRKSCL1107 ao código de saída para que você saiba que o método de salvamento não é compatível com o Snowpark.

df.write.saveAsTable(tablename)
/*EWI: SPRKSCL1107 => Writer method is not supported .save()*/

Correção recomendada

Não há nenhuma correção recomendada para esse cenário

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.degrees, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(math.Pi, math.Pi / 2, math.Pi / 4, math.Pi / 6).toDF("radians")
val result1 = df.withColumn("degrees", degrees("radians"))
val result2 = df.withColumn("degrees", degrees(col("radians")))

Saída

O SMA adiciona o EWI SPRKSCL1156 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(math.Pi, math.Pi / 2, math.Pi / 4, math.Pi / 6).toDF("radians")
/*EWI: SPRKSCL1156 => org.apache.spark.sql.functions.degrees has a workaround, see documentation for more info*/
val result1 = df.withColumn("degrees", degrees("radians"))
/*EWI: SPRKSCL1156 => org.apache.spark.sql.functions.degrees has a workaround, see documentation for more info*/
val result2 = df.withColumn("degrees", degrees(col("radians")))

Correção recomendada

O Snowpark tem uma função equivalente degrees que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(math.Pi, math.Pi / 2, math.Pi / 4, math.Pi / 6).toDF("radians")
val result1 = df.withColumn("degrees", degrees(col("radians")))
val result2 = df.withColumn("degrees", degrees(col("radians")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.covar_samp, usada primeiro com nomes de colunas como argumentos e depois com objetos de colunas.

val df = Seq(
  (10.0, 20.0),
  (15.0, 25.0),
  (20.0, 30.0),
  (25.0, 35.0),
  (30.0, 40.0)
).toDF("value1", "value2")

val result1 = df.select(covar_samp("value1", "value2").as("sample_covariance"))
val result2 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))

Saída

O SMA adiciona o EWI SPRKSCL1127 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(
  (10.0, 20.0),
  (15.0, 25.0),
  (20.0, 30.0),
  (25.0, 35.0),
  (30.0, 40.0)
).toDF("value1", "value2")

/*EWI: SPRKSCL1127 => org.apache.spark.sql.functions.covar_samp has a workaround, see documentation for more info*/
val result1 = df.select(covar_samp("value1", "value2").as("sample_covariance"))
/*EWI: SPRKSCL1127 => org.apache.spark.sql.functions.covar_samp has a workaround, see documentation for more info*/
val result2 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))

Correção recomendada

O Snowpark tem uma função equivalente covar_samp que recebe dois objetos de coluna como argumentos. Por esse motivo, a sobrecarga do Spark que recebe dois objetos de coluna como argumentos é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe dois argumentos de cadeia de caracteres, você pode converter as cadeias de caracteres em objetos de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(
  (10.0, 20.0),
  (15.0, 25.0),
  (20.0, 30.0),
  (25.0, 35.0),
  (30.0, 40.0)
).toDF("value1", "value2")

val result1 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))
val result2 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.next_day, usada primeiro com uma cadeia de caracteres como segundo argumento e depois com um objeto de coluna.

val df = Seq("2024-11-06", "2024-11-13", "2024-11-20").toDF("date")
val result1 = df.withColumn("next_monday", next_day(col("date"), "Mon"))
val result2 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))

Saída

O SMA adiciona o EWI SPRKSCL1113 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq("2024-11-06", "2024-11-13", "2024-11-20").toDF("date")
/*EWI: SPRKSCL1113 => org.apache.spark.sql.functions.next_day has a workaround, see documentation for more info*/
val result1 = df.withColumn("next_monday", next_day(col("date"), "Mon"))
/*EWI: SPRKSCL1113 => org.apache.spark.sql.functions.next_day has a workaround, see documentation for more info*/
val result2 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))

Correção recomendada

O Snowpark tem uma função equivalente next_day que recebe dois objetos de coluna como argumentos. Por esse motivo, a sobrecarga do Spark que recebe dois objetos de coluna como argumentos é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um objeto de coluna e uma cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.lit como solução alternativa.

val df = Seq("2024-11-06", "2024-11-13", "2024-11-20").toDF("date")
val result1 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))
val result2 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo de código Scala inválido em que o SMA pode se recuperar.

Class myClass {

    def function1() & = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Saída

O SMA adiciona o EWI SPRKSCL1002 ao código de saída para que você saiba que o código do arquivo tem erros de análise, mas o SMA pode se recuperar desse erro e continuar analisando o código do arquivo.

class myClass {

    def function1();//EWI: SPRKSCL1002 => Unexpected end of declaration. Failed token: '&' @(3,21).
    & = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Correção recomendada

Como a mensagem aponta o erro na instrução, você pode tentar identificar a sintaxe inválida e removê-la ou comentar essa instrução para evitar o erro de análise.

Class myClass {

    def function1() = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Class myClass {

    // def function1() & = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Recomendações adicionais¶

• Verifique se o código do arquivo é um código Scala válido.

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo de uma função para a qual o SMA não conseguiu determinar um status de mapeamento apropriado e, portanto, gerou este EWI. Nesse caso, presuma que notDefinedFunction() é uma função Spark válida e o código é executado.

val df = session.range(10)
val result = df.notDefinedFunction()

Saída

O SMA adiciona o EWI SPRKSCL1142 ao código de saída para informar que esse elemento não está definido.

val df = session.range(10)
/*EWI: SPRKSCL1142 => org.apache.spark.sql.DataFrame.notDefinedFunction is not defined*/
val result = df.notDefinedFunction()

Correção recomendada

Para tentar identificar o problema, você pode realizar as seguintes validações:

• Verifique se é um elemento Spark válido.

• Verifique se o elemento tem a sintaxe correta e se está escrito corretamente.

• Verifique se está usando uma versão do Spark compatível com o SMA.

Se esse for um elemento válido do Spark, informe que encontrou um erro de conversão nesse elemento específico usando a opção de Relatar um prolema do SMA e inclua qualquer informação adicional que considere útil.

Observe que, se um elemento não for definido pelo SMA, isso não significa necessariamente que ele não seja compatível com o Snowpark. Consulte a documentação do Snowpark para verificar se existe um elemento equivalente.

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.variance, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(10, 20, 30, 40, 50).toDF("value")
val result1 = df.select(variance("value"))
val result2 = df.select(variance(col("value")))

Saída

O SMA adiciona o EWI SPRKSCL1152 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(10, 20, 30, 40, 50).toDF("value")
/*EWI: SPRKSCL1152 => org.apache.spark.sql.functions.variance has a workaround, see documentation for more info*/
val result1 = df.select(variance("value"))
/*EWI: SPRKSCL1152 => org.apache.spark.sql.functions.variance has a workaround, see documentation for more info*/
val result2 = df.select(variance(col("value")))

Correção recomendada

O Snowpark tem uma função equivalente variance que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(10, 20, 30, 40, 50).toDF("value")
val result1 = df.select(variance(col("value")))
val result2 = df.select(variance(col("value")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo de um encadeamento de métodos SparkBuilder com muitos métodos que não são compatíveis com o Snowflake.

val spark = SparkSession.builder()
           .master("local")
           .appName("testApp")
           .config("spark.sql.broadcastTimeout", "3600")
           .enableHiveSupport()
           .getOrCreate()

Saída

O SMA adiciona o EWI SPRKSCL1103 ao código de saída para que você saiba que os métodos master, appName e enableHiveSupport não são compatíveis com o Snowpark. Então, isso pode afetar a migração da instrução Spark Session.

val spark = Session.builder.configFile("connection.properties")
/*EWI: SPRKSCL1103 => SparkBuilder Method is not supported .master("local")*/
/*EWI: SPRKSCL1103 => SparkBuilder Method is not supported .appName("testApp")*/
/*EWI: SPRKSCL1103 => SparkBuilder method is not supported .enableHiveSupport()*/
.create

Correção recomendada

Para criar a sessão, é necessário adicionar a configuração adequada do Snowflake Snowpark.

Neste exemplo, é usada uma variável configs.

    val configs = Map (
      "URL" -> "https://<myAccount>.snowflakecomputing.com:<port>",
      "USER" -> <myUserName>,
      "PASSWORD" -> <myPassword>,
      "ROLE" -> <myRole>,
      "WAREHOUSE" -> <myWarehouse>,
      "DB" -> <myDatabase>,
      "SCHEMA" -> <mySchema>
    )
    val session = Session.builder.configs(configs).create

Também é recomendado o uso de um configFile (profile.properties) com as informações de conexão:

## profile.properties file (a text file)
URL = https://<account_identifier>.snowflakecomputing.com
USER = <username>
PRIVATEKEY = <unencrypted_private_key_from_the_private_key_file>
ROLE = <role_name>
WAREHOUSE = <warehouse_name>
DB = <database_name>
SCHEMA = <schema_name>

E com o Session.builder.configFile, a sessão pode ser criada:

val session = Session.builder.configFile("/path/to/properties/file").create

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.sin, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(Math.PI / 2, Math.PI, Math.PI / 6).toDF("angle")
val result1 = df.withColumn("sin_value", sin("angle"))
val result2 = df.withColumn("sin_value", sin(col("angle")))

Saída

O SMA adiciona o EWI SPRKSCL1137 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(Math.PI / 2, Math.PI, Math.PI / 6).toDF("angle")
/*EWI: SPRKSCL1137 => org.apache.spark.sql.functions.sin has a workaround, see documentation for more info*/
val result1 = df.withColumn("sin_value", sin("angle"))
/*EWI: SPRKSCL1137 => org.apache.spark.sql.functions.sin has a workaround, see documentation for more info*/
val result2 = df.withColumn("sin_value", sin(col("angle")))

Correção recomendada

O Snowpark tem uma função equivalente sin que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq(Math.PI / 2, Math.PI, Math.PI / 6).toDF("angle")
val result1 = df.withColumn("sin_value", sin(col("angle")))
val result2 = df.withColumn("sin_value", sin(col("angle")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenários¶

Há alguns cenários, dependendo do tipo de formato que você está tentando carregar. Pode ser um formato suportado ou não suportado.

spark.read.format("csv").load(path)

spark.read.csv(path)

spark.read.format("net.snowflake.spark.snowflake").load(path)

/*EWI: SPRKSCL1166 => The parameter net.snowflake.spark.snowflake is not supported for org.apache.spark.sql.DataFrameReader.format
  EWI: SPRKSCL1112 => org.apache.spark.sql.DataFrameReader.load(scala.String) is not supported*/
spark.read.format("net.snowflake.spark.snowflake").load(path)

val myFormat = "csv"
spark.read.format(myFormat).load(path)

/*EWI: SPRKSCL1163 => myFormat is not a literal and can't be evaluated
  EWI: SPRKSCL1112 => org.apache.spark.sql.DataFrameReader.load(scala.String) is not supported*/
spark.read.format(myFormat).load(path)

Recomendações adicionais¶

• O local do Snowpark só aceita locais de nuvem usando um estágio de snowflake.

• A documentação dos métodos suportados pelo Snowpark pode ser encontrada na documentação

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.trunc que gera esse EWI.

val df = Seq(
  Date.valueOf("2024-10-28"),
  Date.valueOf("2023-05-15"),
  Date.valueOf("2022-11-20"),
).toDF("date")

val result = df.withColumn("truncated", trunc(col("date"), "month"))

Saída

O SMA adiciona o EWI SPRKSCL1118 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(
  Date.valueOf("2024-10-28"),
  Date.valueOf("2023-05-15"),
  Date.valueOf("2022-11-20"),
).toDF("date")

/*EWI: SPRKSCL1118 => org.apache.spark.sql.functions.trunc has a workaround, see documentation for more info*/
val result = df.withColumn("truncated", trunc(col("date"), "month"))

Correção recomendada

Como solução alternativa, você pode converter o segundo argumento em um objeto de coluna usando a função com.snowflake.snowpark.functions.lit.

val df = Seq(
  Date.valueOf("2024-10-28"),
  Date.valueOf("2023-05-15"),
  Date.valueOf("2022-11-20"),
).toDF("date")

val result = df.withColumn("truncated", trunc(col("date"), lit("month")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.toRadians, usada primeiro com um nome de coluna como argumento e depois com um objeto de coluna.

val df = Seq(0, 45, 90, 180, 270).toDF("degrees")
val result1 = df.withColumn("radians", toRadians("degrees"))
val result2 = df.withColumn("radians", toRadians(col("degrees")))

Saída

O SMA adiciona o EWI SPRKSCL1149 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq(0, 45, 90, 180, 270).toDF("degrees")
/*EWI: SPRKSCL1149 => org.apache.spark.sql.functions.toRadians has a workaround, see documentation for more info*/
val result1 = df.withColumn("radians", toRadians("degrees"))
/*EWI: SPRKSCL1149 => org.apache.spark.sql.functions.toRadians has a workaround, see documentation for more info*/
val result2 = df.withColumn("radians", toRadians(col("degrees")))

Correção recomendada

Como solução alternativa, o senhor pode usar a função radians. Para a sobrecarga do Spark que recebe um argumento de cadeia de caracteres, você também precisa converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col.

val df = Seq(0, 45, 90, 180, 270).toDF("degrees")
val result1 = df.withColumn("radians", radians(col("degrees")))
val result2 = df.withColumn("radians", radians(col("degrees")))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenário¶

Entrada

Abaixo está um exemplo da função org.apache.spark.sql.functions.stddev_samp que gera esse EWI. Neste exemplo, a função stddev_samp é usada para calcular o desvio padrão de amostra da coluna selecionada.

val df = Seq("1.7", "2.1", "3.0", "4.4", "5.2").toDF("elements")
val result1 = stddev_samp(col("elements"))
val result2 = stddev_samp("elements")

Saída

O SMA adiciona o EWI SPRKSCL1159 ao código de saída para que você saiba que essa função não é totalmente compatível com o Snowpark, mas que há uma solução alternativa.

val df = Seq("1.7", "2.1", "3.0", "4.4", "5.2").toDF("elements")
/*EWI: SPRKSCL1159 => org.apache.spark.sql.functions.stddev_samp has a workaround, see documentation for more info*/
val result1 = stddev_samp(col("elements"))
/*EWI: SPRKSCL1159 => org.apache.spark.sql.functions.stddev_samp has a workaround, see documentation for more info*/
val result2 = stddev_samp("elements")

Correção recomendada

O Snowpark tem uma função equivalente stddev_samp que recebe um objeto de coluna como argumento. Por esse motivo, a sobrecarga do Spark que recebe um objeto de coluna como argumento é diretamente suportada pelo Snowpark e não exige nenhuma alteração.

Para a sobrecarga que recebe um argumento de cadeia de caracteres, você pode converter a cadeia de caracteres em um objeto de coluna usando a função com.snowflake.snowpark.functions.col como solução alternativa.

val df = Seq("1.7", "2.1", "3.0", "4.4", "5.2").toDF("elements")
val result1 = stddev_samp(col("elements"))
val result2 = stddev_samp(col("elements"))

Recomendações adicionais¶

• Para obter mais suporte, envie um e-mail para sma-support@snowflake.com ou publique um problema no SMA.

Cenários¶

Há alguns cenários, dependendo do tipo de formato que você está tentando carregar. Pode ser um formato suportado ou não suportado.

spark.read.format("csv").load(path)

spark.read.csv(path)

spark.read.format("net.snowflake.spark.snowflake").load(path)

/*EWI: SPRKSCL1108 => The parameter net.snowflake.spark.snowflake is not supported for org.apache.spark.sql.DataFrameReader.format
  EWI: SPRKSCL1112 => org.apache.spark.sql.DataFrameReader.load(scala.String) is not supported*/
spark.read.format("net.snowflake.spark.snowflake").load(path)