Snowpark Migration Accelerator:デフォルト設定

デフォルト値

  • 機能全体のオン/オフ:有効化済み。

  • DataFrame 型を返すユーザー定義メソッドの収集:False。

  • 収集する関連 PySpark 関数のリスト:(下表参照)。

  • サンプル:100%。

  • モード:スキーマ。

  • 有効:常にTrue。

収集するデフォルトの PySpark 関数

PySpark パッケージ

作成

pyspark.sql.session.SparkSession.createDataFrame
pyspark.sql.readwriter.DataFrameReader.csv
pyspark.sql.readwriter.DataFrameReader.jdbc
pyspark.sql.readwriter.DataFrameReader.json
pyspark.sql.readwriter.DataFrameReader.load
pyspark.sql.readwriter.DataFrameReader.orc
pyspark.sql.readwriter.DataFrameReader.parquet
pyspark.sql.readwriter.DataFrameReader.table
pyspark.sql.readwriter.DataFrameReader.text
pyspark.rdd.RDD.toDF

変換

pyspark.sql.dataframe.DataFrame.union
pyspark.sql.dataframe.DataFrame.intersect
pyspark.sql.dataframe.DataFrame.join
pyspark.sql.group.GroupedData.pivot