Snowpark Migration Accelerator: Configurações padrão

Valores padrão

  • Ativar/desativar todo o recurso: ativado.

  • Coleta de métodos definidos pelo usuário que retornam o tipo DataFrame: False.

  • Lista de funções PySpark relevantes a serem coletadas: consulte a tabela abaixo.

  • Amostra: 100%.

  • Modo: Esquema.

  • Habilitado: Sempre verdadeiro.

Funções PySpark padrão a serem coletadas

Tipo

Pacotes PySpark

Criação

pyspark.sql.session.SparkSession.createDataFrame
pyspark.sql.readwriter.DataFrameReader.csv
pyspark.sql.readwriter.DataFrameReader.jdbc
pyspark.sql.readwriter.DataFrameReader.json
pyspark.sql.readwriter.DataFrameReader.load
pyspark.sql.readwriter.DataFrameReader.orc
pyspark.sql.readwriter.DataFrameReader.parquet
pyspark.sql.readwriter.DataFrameReader.table
pyspark.sql.readwriter.DataFrameReader.text
pyspark.rdd.RDD.toDF

Transformação

pyspark.sql.dataframe.DataFrame.union
pyspark.sql.dataframe.DataFrame.intersect
pyspark.sql.dataframe.DataFrame.join
pyspark.sql.group.GroupedData.pivot
Linguagem: Português