Snowpark Migration Accelerator: Problemcodes für Spark - Scala¶

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für ein Spark-Element, das von Snowpark nicht unterstützt wird und daher diese EWI erzeugt.

val df = session.range(10)
val result = df.isLocal

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1112 hinzu, um Sie darauf hinzuweisen, dass dieses Element von Snowpark nicht unterstützt wird.

val df = session.range(10)
/*EWI: SPRKSCL1112 => org.apache.spark.sql.Dataset.isLocal is not supported*/
val result = df.isLocal

Empfohlene Korrektur

Da es sich um einen allgemeinen Fehlercode handelt, der für eine Reihe von nicht unterstützten Funktionen gilt, gibt es keine einzelne und spezifische Korrektur. Die geeignete Aktion hängt von dem jeweiligen Element ab, das verwendet wird.

Bitte beachten Sie, dass, auch wenn das Element nicht unterstützt wird, dies nicht unbedingt bedeutet, dass keine Lösung oder Problemumgehung gefunden werden kann. Es bedeutet nur, dass die SMA selbst keine Lösung finden kann.

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Zusätzliche Empfehlungen¶

• Es ist unwahrscheinlich, dass es sich um einen Fehler im Quellcode selbst handelt, sondern eher um einen Fehler bei der Verarbeitung des Quellcodes durch SMA. Die beste Lösung wäre, ein Problem in der SMA zu melden.

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.max-Funktion, die zunächst mit einem Spaltennamen als Argument und anschließend mit einem Spaltenobjekt verwendet wird.

val df = Seq(10, 12, 20, 15, 18).toDF("value")
val result1 = df.select(max("value"))
val result2 = df.select(max(col("value")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1153 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(10, 12, 20, 15, 18).toDF("value")
/*EWI: SPRKSCL1153 => org.apache.spark.sql.functions.max has a workaround, see documentation for more info*/
val result1 = df.select(max("value"))
/*EWI: SPRKSCL1153 => org.apache.spark.sql.functions.max has a workaround, see documentation for more info*/
val result2 = df.select(max(col("value")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente max-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(10, 12, 20, 15, 18).toDF("value")
val result1 = df.select(max(col("value")))
val result2 = df.select(max(col("value")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für die org.apache.spark.sql.functions.explode-Funktion, mit der Sie die konsolidierten Informationen der Array-Felder des Datensatzes erhalten.

    val explodeData = Seq(
      Row("Cat", Array("Gato","Chat")),
      Row("Dog", Array("Perro","Chien")),
      Row("Bird", Array("Ave","Oiseau"))
    )

    val explodeSchema = StructType(
      List(
        StructField("Animal", StringType),
        StructField("Translation", ArrayType(StringType))
      )
    )

    val rddExplode = session.sparkContext.parallelize(explodeData)

    val dfExplode = session.createDataFrame(rddExplode, explodeSchema)

    dfExplode.select(explode(dfExplode("Translation").alias("exploded")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1102 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht unterstützt wird.

    val explodeData = Seq(
      Row("Cat", Array("Gato","Chat")),
      Row("Dog", Array("Perro","Chien")),
      Row("Bird", Array("Ave","Oiseau"))
    )

    val explodeSchema = StructType(
      List(
        StructField("Animal", StringType),
        StructField("Translation", ArrayType(StringType))
      )
    )

    val rddExplode = session.sparkContext.parallelize(explodeData)

    val dfExplode = session.createDataFrame(rddExplode, explodeSchema)

    /*EWI: SPRKSCL1102 => Explode is not supported */
    dfExplode.select(explode(dfExplode("Translation").alias("exploded")))

Empfohlene Korrektur

Da Explode von Snowpark nicht unterstützt wird, kann die flatten-Funktion als Ersatz verwendet werden.

Die folgende Korrektur vereinfacht den dfExplode-Datenframe und führt dann die Abfrage durch, um das Ergebnis in Spark zu replizieren.

    val explodeData = Seq(
      Row("Cat", Array("Gato","Chat")),
      Row("Dog", Array("Perro","Chien")),
      Row("Bird", Array("Ave","Oiseau"))
    )

    val explodeSchema = StructType(
      List(
        StructField("Animal", StringType),
        StructField("Translation", ArrayType(StringType))
      )
    )

    val rddExplode = session.sparkContext.parallelize(explodeData)

    val dfExplode = session.createDataFrame(rddExplode, explodeSchema)

     var dfFlatten = dfExplode.flatten(col("Translation")).alias("exploded")
                              .select(col("exploded.value").alias("Translation"))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.min-Funktion, die zunächst mit einem Spaltennamen als Argument und anschließend mit einem Spaltenobjekt verwendet wird.

val df = Seq(1, 3, 10, 1, 3).toDF("value")
val result1 = df.select(min("value"))
val result2 = df.select(min(col("value")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1136 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(1, 3, 10, 1, 3).toDF("value")
/*EWI: SPRKSCL1136 => org.apache.spark.sql.functions.min has a workaround, see documentation for more info*/
val result1 = df.select(min("value"))
/*EWI: SPRKSCL1136 => org.apache.spark.sql.functions.min has a workaround, see documentation for more info*/
val result2 = df.select(min(col("value")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente min-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung mit einem Zeichenfolgeargument können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(1, 3, 10, 1, 3).toDF("value")
val result1 = df.select(min(col("value")))
val result2 = df.select(min(col("value")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Zusätzliche Empfehlungen¶

• Fügen Sie eine Konfigurationsprojektdatei in den Eingabeordner ein.

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.tanh-Funktion, die zunächst mit einem Spaltennamen als Argument und dann mit einem Spaltenobjekt verwendet wird.

val df = Seq(-1.0, 0.5, 1.0, 2.0).toDF("value")
val result1 = df.withColumn("tanh_value", tanh("value"))
val result2 = df.withColumn("tanh_value", tanh(col("value")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1147 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(-1.0, 0.5, 1.0, 2.0).toDF("value")
/*EWI: SPRKSCL1147 => org.apache.spark.sql.functions.tanh has a workaround, see documentation for more info*/
val result1 = df.withColumn("tanh_value", tanh("value"))
/*EWI: SPRKSCL1147 => org.apache.spark.sql.functions.tanh has a workaround, see documentation for more info*/
val result2 = df.withColumn("tanh_value", tanh(col("value")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente tanh-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(-1.0, 0.5, 1.0, 2.0).toDF("value")
val result1 = df.withColumn("tanh_value", tanh(col("value")))
val result2 = df.withColumn("tanh_value", tanh(col("value")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für die org.apache.spark.sql.functions.split-Funktion, die diese EWI erzeugt.

val df = Seq("apple,banana,orange", "grape,lemon,lime", "cherry,blueberry,strawberry").toDF("values")
val result1 = df.withColumn("split_values", split(col("values"), ","))
val result2 = df.withColumn("split_values", split(col("values"), ",", 0))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1116 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq("apple,banana,orange", "grape,lemon,lime", "cherry,blueberry,strawberry").toDF("values")
/*EWI: SPRKSCL1116 => org.apache.spark.sql.functions.split has a workaround, see documentation for more info*/
val result1 = df.withColumn("split_values", split(col("values"), ","))
/*EWI: SPRKSCL1116 => org.apache.spark.sql.functions.split has a workaround, see documentation for more info*/
val result2 = df.withColumn("split_values", split(col("values"), ",", 0))

Empfohlene Korrektur

Bei der Spark-Überladung, die zwei Argumente empfängt, können Sie das zweite Argument in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.lit-Funktion als Problemumgehung verwenden.

Die Überladung, die drei Argumente empfängt, wird von Snowpark noch nicht unterstützt und es gibt keine Problemumgehung.

val df = Seq("apple,banana,orange", "grape,lemon,lime", "cherry,blueberry,strawberry").toDF("values")
val result1 = df.withColumn("split_values", split(col("values"), lit(",")))
val result2 = df.withColumn("split_values", split(col("values"), ",", 0)) // This overload is not supported yet

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.corr-Funktion, die zunächst mit Spaltennamen als Argumenten und anschließend mit Spaltenobjekten verwendet wird.

val df = Seq(
  (10.0, 20.0),
  (20.0, 40.0),
  (30.0, 60.0)
).toDF("col1", "col2")

val result1 = df.select(corr("col1", "col2"))
val result2 = df.select(corr(col("col1"), col("col2")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1122 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(
  (10.0, 20.0),
  (20.0, 40.0),
  (30.0, 60.0)
).toDF("col1", "col2")

/*EWI: SPRKSCL1122 => org.apache.spark.sql.functions.corr has a workaround, see documentation for more info*/
val result1 = df.select(corr("col1", "col2"))
/*EWI: SPRKSCL1122 => org.apache.spark.sql.functions.corr has a workaround, see documentation for more info*/
val result2 = df.select(corr(col("col1"), col("col2")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente corr-Funktion, die zwei Spaltenobjekte als Argumente erhält. Aus diesem Grund wird die Spark-Überladung, die Spaltenobjekte als Argumente erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die zwei Zeichenfolgenargumente empfängt, können Sie die Zeichenfolgen in Spaltenobjekte umwandeln, indem Sie die Funktion com.snowflake.snowpark.functions.col als Problemumgehung verwenden.

val df = Seq(
  (10.0, 20.0),
  (20.0, 40.0),
  (30.0, 60.0)
).toDF("col1", "col2")

val result1 = df.select(corr(col("col1"), col("col2")))
val result2 = df.select(corr(col("col1"), col("col2")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für einen SQL-eingebetteten Code, der nicht verarbeitet werden kann.

spark.sql("CREATE VIEW IF EXISTS My View" + "AS Select * From my Table WHERE date < current_date()")

Ausgabe

Der SMA fügt dem Ausgabecode das EWI SPRKSCL1173 hinzu, um Sie darauf hinzuweisen, dass der SQL-eingebettete Code nicht verarbeitet werden kann.

/*EWI: SPRKSCL1173 => SQL embedded code cannot be processed.*/
spark.sql("CREATE VIEW IF EXISTS My View" + "AS Select * From my Table WHERE date < current_date()")

Empfohlene Korrektur

Stellen Sie sicher, dass der SQL-eingebettete Code eine Zeichenfolge ohne Interpolationen, Variablen oder Zeichenfolge-Verkettungen ist.

Zusätzliche Empfehlungen¶

• Weitere Informationen über SQL-eingebettet finden Sie hier.

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend ein Beispiel, wenn das zu verarbeitende Element kein Literal ist und nicht von SMA ausgewertet werden kann.

val format_type = "csv"
spark.read.format(format_type).load(path)

Ausgabe

Der SMA fügt dem Ausgabecode das EWI SPRKSCL1163 hinzu, um Sie darauf hinzuweisen, dass der format_type-Parameter kein Literal ist und von SMA nicht ausgewertet werden kann.

/*EWI: SPRKSCL1163 => format_type is not a literal and can't be evaluated*/
val format_type = "csv"
spark.read.format(format_type).load(path)

Empfohlene Korrektur

• Vergewissern Sie sich, dass der Wert der Variablen ein gültiger Wert ist, um unerwartete Verhaltensweisen zu vermeiden.

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.grouping_id-Funktion, die zunächst mit mehreren Spaltennamen als Argumente und dann mit Spaltenobjekten verwendet wird.

val df = Seq(
  ("Store1", "Product1", 100),
  ("Store1", "Product2", 150),
  ("Store2", "Product1", 200),
  ("Store2", "Product2", 250)
).toDF("store", "product", "amount")

val result1 = df.cube("store", "product").agg(sum("amount"), grouping_id("store", "product"))
val result2 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1132 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(
  ("Store1", "Product1", 100),
  ("Store1", "Product2", 150),
  ("Store2", "Product1", 200),
  ("Store2", "Product2", 250)
).toDF("store", "product", "amount")

/*EWI: SPRKSCL1132 => org.apache.spark.sql.functions.grouping_id has a workaround, see documentation for more info*/
val result1 = df.cube("store", "product").agg(sum("amount"), grouping_id("store", "product"))
/*EWI: SPRKSCL1132 => org.apache.spark.sql.functions.grouping_id has a workaround, see documentation for more info*/
val result2 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente grouping_id-Funktion, die mehrere Spaltenobjekte als Argumente erhält. Aus diesem Grund wird die Spark-Überladung, die mehrere Spaltenobjekte als Argumente erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die mehrere Zeichenfolgeargumente empfängt, können Sie die Zeichenfolgen in Spaltenobjekte umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(
  ("Store1", "Product1", 100),
  ("Store1", "Product2", 150),
  ("Store2", "Product1", 200),
  ("Store2", "Product2", 250)
).toDF("store", "product", "amount")

val result1 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))
val result2 = df.cube("store", "product").agg(sum("amount"), grouping_id(col("store"), col("product")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.DataFrameWriter.option, mit der Sie Optionen zu einer Writer-Anweisung hinzufügen können.

df.write.format("net.snowflake.spark.snowflake").option("dbtable", tablename)

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1106 hinzu, um Sie darauf hinzuweisen, dass die Optionsmethode von Snowpark nicht unterstützt wird.

df.write.saveAsTable(tablename)
/*EWI: SPRKSCL1106 => Writer option is not supported .option("dbtable", tablename)*/

Empfohlene Korrektur

Es gibt keine empfohlene Korrektur für dieses Szenario

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.kurtosis-Funktion, die diese EWI erzeugt. In diesem Beispiel wird die kurtosis-Funktion verwendet, um die Kurtosis (Wölbung) der ausgewählten Spalte zu berechnen.

val df = Seq("1", "2", "3").toDF("elements")
val result1 = kurtosis(col("elements"))
val result2 = kurtosis("elements")

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1157 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq("1", "2", "3").toDF("elements")
/*EWI: SPRKSCL1157 => org.apache.spark.sql.functions.kurtosis has a workaround, see documentation for more info*/
val result1 = kurtosis(col("elements"))
/*EWI: SPRKSCL1157 => org.apache.spark.sql.functions.kurtosis has a workaround, see documentation for more info*/
val result2 = kurtosis("elements")

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente Funktion kurtosis-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq("1", "2", "3").toDF("elements")
val result1 = kurtosis(col("elements"))
val result2 = kurtosis(col("elements"))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.tan-Funktion, die zunächst mit einem Spaltennamen als Argument und anschließend mit einem Spaltenobjekt verwendet wird.

val df = Seq(math.Pi / 4, math.Pi / 3, math.Pi / 6).toDF("angle")
val result1 = df.withColumn("tan_value", tan("angle"))
val result2 = df.withColumn("tan_value", tan(col("angle")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1146 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(math.Pi / 4, math.Pi / 3, math.Pi / 6).toDF("angle")
/*EWI: SPRKSCL1146 => org.apache.spark.sql.functions.tan has a workaround, see documentation for more info*/
val result1 = df.withColumn("tan_value", tan("angle"))
/*EWI: SPRKSCL1146 => org.apache.spark.sql.functions.tan has a workaround, see documentation for more info*/
val result2 = df.withColumn("tan_value", tan(col("angle")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente tan-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(math.Pi / 4, math.Pi / 3, math.Pi / 6).toDF("angle")
val result1 = df.withColumn("tan_value", tan(col("angle")))
val result2 = df.withColumn("tan_value", tan(col("angle")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für die org.apache.spark.sql.functions.translate-Funktion, die diese EWI erzeugt. In diesem Beispiel wird die translate-Funktion verwendet, um die Zeichen ‚a‘, ‚e‘ und ‚o‘ in jedem Wort durch ‚1‘, ‚2‘ bzw. ‚3‘ zu ersetzen.

val df = Seq("hello", "world", "scala").toDF("word")
val result = df.withColumn("translated_word", translate(col("word"), "aeo", "123"))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1117 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq("hello", "world", "scala").toDF("word")
/*EWI: SPRKSCL1117 => org.apache.spark.sql.functions.translate has a workaround, see documentation for more info*/
val result = df.withColumn("translated_word", translate(col("word"), "aeo", "123"))

Empfohlene Korrektur

Als Problemumgehung können Sie das zweite und dritte Argument mit der com.snowflake.snowpark.functions.lit-Funktion in ein Spaltenobjekt umwandeln.

val df = Seq("hello", "world", "scala").toDF("word")
val result = df.withColumn("translated_word", translate(col("word"), lit("aeo"), lit("123")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.cos-Funktion, die zunächst mit einem Spaltennamen als Argument und anschließend mit einem Spaltenobjekt verwendet wird.

val df = Seq(0.0, Math.PI / 4, Math.PI / 2, Math.PI).toDF("angle_radians")
val result1 = df.withColumn("cosine_value", cos("angle_radians"))
val result2 = df.withColumn("cosine_value", cos(col("angle_radians")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1123 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(0.0, Math.PI / 4, Math.PI / 2, Math.PI).toDF("angle_radians")
/*EWI: SPRKSCL1123 => org.apache.spark.sql.functions.cos has a workaround, see documentation for more info*/
val result1 = df.withColumn("cosine_value", cos("angle_radians"))
/*EWI: SPRKSCL1123 => org.apache.spark.sql.functions.cos has a workaround, see documentation for more info*/
val result2 = df.withColumn("cosine_value", cos(col("angle_radians")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente cos-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(0.0, Math.PI / 4, Math.PI / 2, Math.PI).toDF("angle_radians")
val result1 = df.withColumn("cosine_value", cos(col("angle_radians")))
val result2 = df.withColumn("cosine_value", cos(col("angle_radians")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für die org.apache.spark.sql.types.StructField.apply-Funktion, die diese EWI erzeugt. In diesem Beispiel wird die apply-Funktion verwendet, um eine Instanz von StructField zu erzeugen.

val result = StructField("f1", StringType(), True, metadata)

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1172 hinzu, um Sie darauf hinzuweisen, dass der Metadatenparameter von Snowflake nicht unterstützt wird.

/*EWI: SPRKSCL1172 => Snowpark does not support StructFiled with metadata parameter.*/
val result = StructField("f1", StringType(), True, metadata)

Empfohlene Korrektur

Snowpark hat eine äquivalente com.snowflake.snowpark.types.StructField. apply-Funktion, die drei Parameter erhält. Als Problemumgehung können Sie dann versuchen, das Metadatenargument zu entfernen.

val result = StructField("f1", StringType(), True, metadata)

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Zusätzliche Empfehlungen¶

• Als Problemumgehung können Sie die Größe der Datei überprüfen, wenn sie zu groß ist, um verarbeitet zu werden. Analysieren Sie auch, ob das Tool darauf zugreifen kann, um Zugriffsprobleme zu vermeiden.

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.least-Funktion, die zunächst mit mehreren Spaltennamen als Argumente und dann mit Spaltenobjekten verwendet wird.

val df = Seq((10, 20, 5), (15, 25, 30), (7, 14, 3)).toDF("value1", "value2", "value3")
val result1 = df.withColumn("least", least("value1", "value2", "value3"))
val result2 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1133 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq((10, 20, 5), (15, 25, 30), (7, 14, 3)).toDF("value1", "value2", "value3")
/*EWI: SPRKSCL1133 => org.apache.spark.sql.functions.least has a workaround, see documentation for more info*/
val result1 = df.withColumn("least", least("value1", "value2", "value3"))
/*EWI: SPRKSCL1133 => org.apache.spark.sql.functions.least has a workaround, see documentation for more info*/
val result2 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente least-Funktion, die mehrere Spaltenobjekte als Argumente erhält. Aus diesem Grund wird die Spark-Überladung, die mehrere Spaltenobjekte als Argumente erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die mehrere Zeichenfolgeargumente empfängt, können Sie die Zeichenfolgen in Spaltenobjekte umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq((10, 20, 5), (15, 25, 30), (7, 14, 3)).toDF("value1", "value2", "value3")
val result1 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))
val result2 = df.withColumn("least", least(col("value1"), col("value2"), col("value3")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.DataFrameWriter.save, die zum Speichern des DataFrame-Inhalts verwendet wird.

df.write.format("net.snowflake.spark.snowflake").save()

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1107 hinzu, um Sie darauf hinzuweisen, dass die Speichermethode von Snowpark nicht unterstützt wird.

df.write.saveAsTable(tablename)
/*EWI: SPRKSCL1107 => Writer method is not supported .save()*/

Empfohlene Korrektur

Es gibt keine empfohlene Korrektur für dieses Szenario

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.degrees-Funktion, die zunächst mit einem Spaltennamen als Argument und anschließend mit einem Spaltenobjekt verwendet wird.

val df = Seq(math.Pi, math.Pi / 2, math.Pi / 4, math.Pi / 6).toDF("radians")
val result1 = df.withColumn("degrees", degrees("radians"))
val result2 = df.withColumn("degrees", degrees(col("radians")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1156 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(math.Pi, math.Pi / 2, math.Pi / 4, math.Pi / 6).toDF("radians")
/*EWI: SPRKSCL1156 => org.apache.spark.sql.functions.degrees has a workaround, see documentation for more info*/
val result1 = df.withColumn("degrees", degrees("radians"))
/*EWI: SPRKSCL1156 => org.apache.spark.sql.functions.degrees has a workaround, see documentation for more info*/
val result2 = df.withColumn("degrees", degrees(col("radians")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente degrees-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(math.Pi, math.Pi / 2, math.Pi / 4, math.Pi / 6).toDF("radians")
val result1 = df.withColumn("degrees", degrees(col("radians")))
val result2 = df.withColumn("degrees", degrees(col("radians")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.covar_samp-Funktion, die zunächst mit Spaltennamen als Argumenten und dann mit Spaltenobjekten verwendet wird.

val df = Seq(
  (10.0, 20.0),
  (15.0, 25.0),
  (20.0, 30.0),
  (25.0, 35.0),
  (30.0, 40.0)
).toDF("value1", "value2")

val result1 = df.select(covar_samp("value1", "value2").as("sample_covariance"))
val result2 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1127 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(
  (10.0, 20.0),
  (15.0, 25.0),
  (20.0, 30.0),
  (25.0, 35.0),
  (30.0, 40.0)
).toDF("value1", "value2")

/*EWI: SPRKSCL1127 => org.apache.spark.sql.functions.covar_samp has a workaround, see documentation for more info*/
val result1 = df.select(covar_samp("value1", "value2").as("sample_covariance"))
/*EWI: SPRKSCL1127 => org.apache.spark.sql.functions.covar_samp has a workaround, see documentation for more info*/
val result2 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente covar_samp-Funktion, die zwei Spaltenobjekte als Argumente erhält. Aus diesem Grund wird die Spark-Überladung, die zwei Spaltenobjekte als Argumente erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die zwei Zeichenfolgenargumente empfängt, können Sie die Zeichenfolgen in Spaltenobjekte umwandeln, indem Sie die Funktion com.snowflake.snowpark.functions.col als Problemumgehung verwenden.

val df = Seq(
  (10.0, 20.0),
  (15.0, 25.0),
  (20.0, 30.0),
  (25.0, 35.0),
  (30.0, 40.0)
).toDF("value1", "value2")

val result1 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))
val result2 = df.select(covar_samp(col("value1"), col("value2")).as("sample_covariance"))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die Funktion org.apache.spark.sql.functions.next_day, die zunächst mit einer Zeichenfolge als zweitem Argument und dann mit einem Spaltenobjekt verwendet wird.

val df = Seq("2024-11-06", "2024-11-13", "2024-11-20").toDF("date")
val result1 = df.withColumn("next_monday", next_day(col("date"), "Mon"))
val result2 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1113 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq("2024-11-06", "2024-11-13", "2024-11-20").toDF("date")
/*EWI: SPRKSCL1113 => org.apache.spark.sql.functions.next_day has a workaround, see documentation for more info*/
val result1 = df.withColumn("next_monday", next_day(col("date"), "Mon"))
/*EWI: SPRKSCL1113 => org.apache.spark.sql.functions.next_day has a workaround, see documentation for more info*/
val result2 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente next_day-Funktion, die zwei Spaltenobjekte als Argumente erhält. Aus diesem Grund wird die Spark-Überladung, die zwei Spaltenobjekte als Argumente erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Spaltenobjekt und eine Zeichenkette empfängt, können Sie die Zeichenkette in ein Spaltenobjekt konvertieren, indem Sie die com.snowflake.snowpark.functions.lit-Funktion als Problemumgehung verwenden.

val df = Seq("2024-11-06", "2024-11-13", "2024-11-20").toDF("date")
val result1 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))
val result2 = df.withColumn("next_monday", next_day(col("date"), lit("Mon")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für ungültigen Scala-Code, bei dem sich die SMA erholen kann.

Class myClass {

    def function1() & = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Ausgabe

SMA fügt dem Ausgabecode das EWI SPRKSCL1002 hinzu, um Sie darauf hinzuweisen, dass der Code der Datei Parsing-Fehler aufweist. SMA kann diesen Fehler jedoch beheben und die Analyse des Codes der Datei fortsetzen.

class myClass {

    def function1();//EWI: SPRKSCL1002 => Unexpected end of declaration. Failed token: '&' @(3,21).
    & = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Empfohlene Korrektur

Da die Meldung den Fehler in der Anweisung lokalisiert, können Sie versuchen, die ungültige Syntax zu identifizieren und sie zu entfernen oder die Anweisung auszukommentieren, um den Parsing-Fehler zu vermeiden.

Class myClass {

    def function1() = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Class myClass {

    // def function1() & = { 1 }

    def function2() = { 2 }

    def function3() = { 3 }

}

Zusätzliche Empfehlungen¶

• Prüfen Sie, ob der Code der Datei ein gültiger Scala-Code ist.

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für eine Funktion, für die SMA keinen geeigneten Zuordnungsstatus ermitteln konnte und daher diese EWI generierte. In diesem Fall sollten Sie davon ausgehen, dass notDefinedFunction() eine gültige Spark-Funktion ist und der Code ausgeführt wird.

val df = session.range(10)
val result = df.notDefinedFunction()

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1142 hinzu, um Sie darauf hinzuweisen, dass dieses Element nicht definiert ist.

val df = session.range(10)
/*EWI: SPRKSCL1142 => org.apache.spark.sql.DataFrame.notDefinedFunction is not defined*/
val result = df.notDefinedFunction()

Empfohlene Korrektur

Um zu versuchen, das Problem zu identifizieren, können Sie die folgenden Überprüfungen durchführen:

• Prüfen Sie, ob es sich um ein gültiges Spark-Element handelt.

• Prüfen Sie, ob das Element die richtige Syntax hat und richtig geschrieben ist.

• Prüfen Sie, ob Sie eine Spark-Version verwenden, die von SMA unterstützt wird.

Wenn es sich um ein gültiges Spark-Element handelt, melden Sie bitte über die Option Ein Problem melden der SMA, dass bei diesem Element ein Konvertierungsfehler aufgetreten ist, und fügen Sie alle zusätzlichen Informationen hinzu, die Sie für hilfreich halten.

Bitte beachten Sie, dass, wenn ein Element nicht auf SMA definiert ist, dies nicht unbedingt bedeutet, dass es von Snowpark nicht unterstützt wird. Sie sollten in der Snowpark-Dokumentation nachsehen, ob es ein äquivalentes Element gibt.

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.variance-Funktion, die zunächst mit einem Spaltennamen als Argument und anschließend mit einem Spaltenobjekt verwendet wird.

val df = Seq(10, 20, 30, 40, 50).toDF("value")
val result1 = df.select(variance("value"))
val result2 = df.select(variance(col("value")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1152 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(10, 20, 30, 40, 50).toDF("value")
/*EWI: SPRKSCL1152 => org.apache.spark.sql.functions.variance has a workaround, see documentation for more info*/
val result1 = df.select(variance("value"))
/*EWI: SPRKSCL1152 => org.apache.spark.sql.functions.variance has a workaround, see documentation for more info*/
val result2 = df.select(variance(col("value")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente variance-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(10, 20, 30, 40, 50).toDF("value")
val result1 = df.select(variance(col("value")))
val result2 = df.select(variance(col("value")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für eine SparkBuilder-Methodenverkettung mit vielen Methoden, die von Snowflake nicht unterstützt werden.

val spark = SparkSession.builder()
           .master("local")
           .appName("testApp")
           .config("spark.sql.broadcastTimeout", "3600")
           .enableHiveSupport()
           .getOrCreate()

Ausgabe

Die SMA fügt dem Ausgabecode das EWI SPRKSCL1103 hinzu, um Sie darauf hinzuweisen, dass die Methoden master, appName und enableHiveSupport von Snowpark nicht unterstützt werden. Dies könnte sich auf die Migration der Spark-Sitzungsanweisung auswirken.

val spark = Session.builder.configFile("connection.properties")
/*EWI: SPRKSCL1103 => SparkBuilder Method is not supported .master("local")*/
/*EWI: SPRKSCL1103 => SparkBuilder Method is not supported .appName("testApp")*/
/*EWI: SPRKSCL1103 => SparkBuilder method is not supported .enableHiveSupport()*/
.create

Empfohlene Korrektur

Um die Sitzung zu erstellen, müssen Sie die richtige Snowflake Snowpark-Konfiguration hinzufügen.

In diesem Beispiel wird eine configs-Variable verwendet.

    val configs = Map (
      "URL" -> "https://<myAccount>.snowflakecomputing.com:<port>",
      "USER" -> <myUserName>,
      "PASSWORD" -> <myPassword>,
      "ROLE" -> <myRole>,
      "WAREHOUSE" -> <myWarehouse>,
      "DB" -> <myDatabase>,
      "SCHEMA" -> <mySchema>
    )
    val session = Session.builder.configs(configs).create

Außerdem wird die Verwendung einer configFile (profile.properties) mit den Verbindungsinformationen empfohlen:

## profile.properties file (a text file)
URL = https://<account_identifier>.snowflakecomputing.com
USER = <username>
PRIVATEKEY = <unencrypted_private_key_from_the_private_key_file>
ROLE = <role_name>
WAREHOUSE = <warehouse_name>
DB = <database_name>
SCHEMA = <schema_name>

Und mit der Session.builder.configFile kann die Sitzung erstellt werden:

val session = Session.builder.configFile("/path/to/properties/file").create

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.sin-Funktion, die zunächst mit einem Spaltennamen als Argument und anschließend mit einem Spaltenobjekt verwendet wird.

val df = Seq(Math.PI / 2, Math.PI, Math.PI / 6).toDF("angle")
val result1 = df.withColumn("sin_value", sin("angle"))
val result2 = df.withColumn("sin_value", sin(col("angle")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1137 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(Math.PI / 2, Math.PI, Math.PI / 6).toDF("angle")
/*EWI: SPRKSCL1137 => org.apache.spark.sql.functions.sin has a workaround, see documentation for more info*/
val result1 = df.withColumn("sin_value", sin("angle"))
/*EWI: SPRKSCL1137 => org.apache.spark.sql.functions.sin has a workaround, see documentation for more info*/
val result2 = df.withColumn("sin_value", sin(col("angle")))

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente sin-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq(Math.PI / 2, Math.PI, Math.PI / 6).toDF("angle")
val result1 = df.withColumn("sin_value", sin(col("angle")))
val result2 = df.withColumn("sin_value", sin(col("angle")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenarien¶

Es gibt einige Szenarien, die von der Art des Formats abhängen, das Sie zu laden versuchen. Es kann ein unterstütztes oder nicht unterstütztes Format sein.

spark.read.format("csv").load(path)

spark.read.csv(path)

spark.read.format("net.snowflake.spark.snowflake").load(path)

/*EWI: SPRKSCL1166 => The parameter net.snowflake.spark.snowflake is not supported for org.apache.spark.sql.DataFrameReader.format
  EWI: SPRKSCL1112 => org.apache.spark.sql.DataFrameReader.load(scala.String) is not supported*/
spark.read.format("net.snowflake.spark.snowflake").load(path)

val myFormat = "csv"
spark.read.format(myFormat).load(path)

/*EWI: SPRKSCL1163 => myFormat is not a literal and can't be evaluated
  EWI: SPRKSCL1112 => org.apache.spark.sql.DataFrameReader.load(scala.String) is not supported*/
spark.read.format(myFormat).load(path)

Zusätzliche Empfehlungen¶

• Der Snowpark-Speicherort akzeptiert nur Cloud-Speicherorte, die einen Snowflake-Stagingbereich verwenden.

• Die Dokumentation der von Snowpark unterstützten Methoden finden Sie in der Dokumentation

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für die org.apache.spark.sql.functions.trunc-Funktion, die diese EWI erzeugt.

val df = Seq(
  Date.valueOf("2024-10-28"),
  Date.valueOf("2023-05-15"),
  Date.valueOf("2022-11-20"),
).toDF("date")

val result = df.withColumn("truncated", trunc(col("date"), "month"))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1118 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(
  Date.valueOf("2024-10-28"),
  Date.valueOf("2023-05-15"),
  Date.valueOf("2022-11-20"),
).toDF("date")

/*EWI: SPRKSCL1118 => org.apache.spark.sql.functions.trunc has a workaround, see documentation for more info*/
val result = df.withColumn("truncated", trunc(col("date"), "month"))

Empfohlene Korrektur

Als Problemumgehung können Sie das zweite Argument mit der com.snowflake.snowpark.functions.lit-Funktion in ein Spaltenobjekt umwandeln.

val df = Seq(
  Date.valueOf("2024-10-28"),
  Date.valueOf("2023-05-15"),
  Date.valueOf("2022-11-20"),
).toDF("date")

val result = df.withColumn("truncated", trunc(col("date"), lit("month")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend sehen Sie ein Beispiel für die org.apache.spark.sql.functions.toRadians-Funktion, die zunächst mit einem Spaltennamen als Argument und dann mit einem Spaltenobjekt verwendet wird.

val df = Seq(0, 45, 90, 180, 270).toDF("degrees")
val result1 = df.withColumn("radians", toRadians("degrees"))
val result2 = df.withColumn("radians", toRadians(col("degrees")))

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1149 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq(0, 45, 90, 180, 270).toDF("degrees")
/*EWI: SPRKSCL1149 => org.apache.spark.sql.functions.toRadians has a workaround, see documentation for more info*/
val result1 = df.withColumn("radians", toRadians("degrees"))
/*EWI: SPRKSCL1149 => org.apache.spark.sql.functions.toRadians has a workaround, see documentation for more info*/
val result2 = df.withColumn("radians", toRadians(col("degrees")))

Empfohlene Korrektur

Als Problemumgehung können Sie die radians-Funktion verwenden. Für die Spark-Überladung, die ein Zeichenfolgeargument empfängt, müssen Sie die Zeichenfolge zusätzlich mit der Funktion com.snowflake.snowpark.functions.col in ein Spaltenobjekt umwandeln.

val df = Seq(0, 45, 90, 180, 270).toDF("degrees")
val result1 = df.withColumn("radians", radians(col("degrees")))
val result2 = df.withColumn("radians", radians(col("degrees")))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenario¶

Eingabe

Nachfolgend finden Sie ein Beispiel für die org.apache.spark.sql.functions.stddev_samp-Funktion, die diese EWI erzeugt. In diesem Beispiel wird die stddev_samp-Funktion verwendet, um die Stichprobenstandardabweichung der ausgewählten Spalte zu berechnen.

val df = Seq("1.7", "2.1", "3.0", "4.4", "5.2").toDF("elements")
val result1 = stddev_samp(col("elements"))
val result2 = stddev_samp("elements")

Ausgabe

Die SMA fügt dem Ausgabecode die EWI SPRKSCL1159 hinzu, um Sie darauf hinzuweisen, dass diese Funktion von Snowpark nicht vollständig unterstützt wird, aber es eine Problemumgehung gibt.

val df = Seq("1.7", "2.1", "3.0", "4.4", "5.2").toDF("elements")
/*EWI: SPRKSCL1159 => org.apache.spark.sql.functions.stddev_samp has a workaround, see documentation for more info*/
val result1 = stddev_samp(col("elements"))
/*EWI: SPRKSCL1159 => org.apache.spark.sql.functions.stddev_samp has a workaround, see documentation for more info*/
val result2 = stddev_samp("elements")

Empfohlene Korrektur

Snowpark verfügt über eine äquivalente stddev_samp-Funktion, die ein Spaltenobjekt als Argument erhält. Aus diesem Grund wird die Spark-Überladung, die ein Spaltenobjekt als Argument erhält, direkt von Snowpark unterstützt und erfordert keine Änderungen.

Für die Überladung, die ein Zeichenfolgenargument empfängt, können Sie die Zeichenfolge in ein Spaltenobjekt umwandeln, indem Sie die com.snowflake.snowpark.functions.col-Funktion als Problemumgehung verwenden.

val df = Seq("1.7", "2.1", "3.0", "4.4", "5.2").toDF("elements")
val result1 = stddev_samp(col("elements"))
val result2 = stddev_samp(col("elements"))

Zusätzliche Empfehlungen¶

• Wenn Sie weitere Unterstützung benötigen, können Sie uns eine E-Mail an sma-support@snowflake.com senden oder ein Problem im SMA melden.

Szenarien¶

Es gibt einige Szenarien, die von der Art des Formats abhängen, das Sie zu laden versuchen. Es kann ein unterstütztes oder nicht unterstütztes Format sein.

spark.read.format("csv").load(path)

spark.read.csv(path)

spark.read.format("net.snowflake.spark.snowflake").load(path)

/*EWI: SPRKSCL1108 => The parameter net.snowflake.spark.snowflake is not supported for org.apache.spark.sql.DataFrameReader.format
  EWI: SPRKSCL1112 => org.apache.spark.sql.DataFrameReader.load(scala.String) is not supported*/
spark.read.format("net.snowflake.spark.snowflake").load(path)