Snowpark Migration Accelerator: Versionshinweise¶

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.60

Included SnowConvert AI Version¶

• SnowConvert AI Version 2.2.0 (Release Notes)

Hinzugefügt¶

• Added support for processing files located in a hidden folder (such as .databricks when exported from the source). These files are now correctly processed by the SMA.

• Added 245 new PySpark elements to the SMA mapping table with a NotSupported status. These entries correspond to functions and methods introduced in PySpark 3.3.0 through 4.1.x:

  • 219 functions (pyspark.sql.functions)

  • 4 DataFrame methods

  • 3 Column methods

  • 5 Session methods

  • 2 ReadWriter methods

  • 12 Types classes

• Added new EWIs for the following Pandas elements:

  • PNDSPY1019: pandas.core.arrays.datetimelike.DatelikeOps.strftime partial support

  • PNDSPY1020: pandas.core.arrays.datetimelike.TimelikeOps.ceil partial support

  • PNDSPY1021: pandas.core.arrays.datetimelike.TimelikeOps.floor partial support

  • PNDSPY1022: pandas.core.arrays.datetimelike.TimelikeOps.round partial support

  • PNDSPY1023: pandas.core.arrays.datetimes.DatetimeArray.day_name partial support

  • PNDSPY1024: pandas.core.arrays.datetimes.DatetimeArray.month_name partial support

  • PNDSPY1025: pandas.core.arrays.datetimes.DatetimeArray.tz_convert partial support

  • PNDSPY1026: pandas.core.arrays.datetimes.DatetimeArray.tz_localize partial support

  • PNDSPY1027: pandas.core.base.IndexOpsMixin.argmax partial support

  • PNDSPY1028: pandas.core.base.IndexOpsMixin.argmin partial support

  • PNDSPY1029: pandas.core.base.IndexOpsMixin.value_counts partial support

  • PNDSPY1030: pandas.core.frame.DataFrame.T partial support

  • PNDSPY1031: pandas.core.frame.DataFrame.__dataframe__ partial support

  • PNDSPY1032: pandas.core.frame.DataFrame.add partial support

  • PNDSPY1033: pandas.core.frame.DataFrame.align partial support

  • PNDSPY1034: pandas.core.frame.DataFrame.all partial support

  • PNDSPY1035: pandas.core.frame.DataFrame.any partial support

  • PNDSPY1036: pandas.core.frame.DataFrame.applymap partial support

  • PNDSPY1037: pandas.core.frame.DataFrame.asfreq partial support

  • PNDSPY1038: pandas.core.frame.DataFrame.astype partial support

  • PNDSPY1039: pandas.core.frame.DataFrame.at partial support

  • PNDSPY1040: pandas.core.frame.DataFrame.backfill partial support

  • PNDSPY1041: pandas.core.frame.DataFrame.bfill partial support

  • PNDSPY1042: pandas.core.frame.DataFrame.compare partial support

  • PNDSPY1043: pandas.core.frame.DataFrame.corr partial support

  • PNDSPY1044: pandas.core.frame.DataFrame.cumsum partial support

  • PNDSPY1045: pandas.core.frame.DataFrame.div partial support

  • PNDSPY1046: pandas.core.frame.DataFrame.divide partial support

  • PNDSPY1047: pandas.core.frame.DataFrame.dropna partial support

  • PNDSPY1048: pandas.core.frame.DataFrame.eq partial support

  • PNDSPY1049: pandas.core.frame.DataFrame.eval partial support

  • PNDSPY1050: pandas.core.frame.DataFrame.expanding partial support

  • PNDSPY1051: pandas.core.frame.DataFrame.ffill partial support

  • PNDSPY1052: pandas.core.frame.DataFrame.fillna partial support

  • PNDSPY1053: pandas.core.frame.DataFrame.floordiv partial support

  • PNDSPY1054: pandas.core.frame.DataFrame.from_records partial support

  • PNDSPY1055: pandas.core.frame.DataFrame.ge partial support

  • PNDSPY1056: pandas.core.frame.DataFrame.groupby partial support

  • PNDSPY1057: pandas.core.frame.DataFrame.gt partial support

  • PNDSPY1058: pandas.core.frame.DataFrame.idxmax partial support

  • PNDSPY1059: pandas.core.frame.DataFrame.idxmin partial support

  • PNDSPY1060: pandas.core.frame.DataFrame.info partial support

  • PNDSPY1061: pandas.core.frame.DataFrame.join partial support

  • PNDSPY1062: pandas.core.frame.DataFrame.le partial support

  • PNDSPY1063: pandas.core.frame.DataFrame.loc partial support

  • PNDSPY1064: pandas.core.frame.DataFrame.lt partial support

  • PNDSPY1065: pandas.core.frame.DataFrame.map partial support

  • PNDSPY1066: pandas.core.frame.DataFrame.mask partial support

  • PNDSPY1067: pandas.core.frame.DataFrame.melt partial support

  • PNDSPY1068: pandas.core.frame.DataFrame.merge partial support

  • PNDSPY1069: pandas.core.frame.DataFrame.mod partial support

  • PNDSPY1070: pandas.core.frame.DataFrame.mul partial support

  • PNDSPY1071: pandas.core.frame.DataFrame.multiply partial support

  • PNDSPY1072: pandas.core.frame.DataFrame.ne partial support

  • PNDSPY1073: pandas.core.frame.DataFrame.nlargest partial support

  • PNDSPY1074: pandas.core.frame.DataFrame.nsmallest partial support

  • PNDSPY1075: pandas.core.frame.DataFrame.nunique partial support

  • PNDSPY1076: pandas.core.frame.DataFrame.pad partial support

  • PNDSPY1077: pandas.core.frame.DataFrame.pct_change partial support

  • PNDSPY1078: pandas.core.frame.DataFrame.pivot partial support

  • PNDSPY1079: pandas.core.frame.DataFrame.pivot_table partial support

  • PNDSPY1080: pandas.core.frame.DataFrame.pow partial support

  • PNDSPY1081: pandas.core.frame.DataFrame.quantile partial support

  • PNDSPY1082: pandas.core.frame.DataFrame.radd partial support

  • PNDSPY1083: pandas.core.frame.DataFrame.rank partial support

  • PNDSPY1084: pandas.core.frame.DataFrame.rdiv partial support

  • PNDSPY1085: pandas.core.frame.DataFrame.reindex partial support

  • PNDSPY1086: pandas.core.frame.DataFrame.rename partial support

  • PNDSPY1087: pandas.core.frame.DataFrame.replace partial support

  • PNDSPY1088: pandas.core.frame.DataFrame.resample partial support

  • PNDSPY1089: pandas.core.frame.DataFrame.rfloordiv partial support

  • PNDSPY1090: pandas.core.frame.DataFrame.rmod partial support

  • PNDSPY1091: pandas.core.frame.DataFrame.rmul partial support

  • PNDSPY1092: pandas.core.frame.DataFrame.rolling partial support

  • PNDSPY1093: pandas.core.frame.DataFrame.round partial support

  • PNDSPY1094: pandas.core.frame.DataFrame.rpow partial support

  • PNDSPY1095: pandas.core.frame.DataFrame.rsub partial support

  • PNDSPY1096: pandas.core.frame.DataFrame.rtruediv partial support

  • PNDSPY1097: pandas.core.frame.DataFrame.sample partial support

  • PNDSPY1098: pandas.core.frame.DataFrame.shift partial support

  • PNDSPY1099: pandas.core.frame.DataFrame.skew partial support

  • PNDSPY1100: pandas.core.frame.DataFrame.sort_index partial support

  • PNDSPY1101: pandas.core.frame.DataFrame.sort_values partial support

  • PNDSPY1102: pandas.core.frame.DataFrame.stack partial support

  • PNDSPY1103: pandas.core.frame.DataFrame.std partial support

  • PNDSPY1104: pandas.core.frame.DataFrame.sub partial support

  • PNDSPY1105: pandas.core.frame.DataFrame.subtract partial support

  • PNDSPY1106: pandas.core.frame.DataFrame.to_csv partial support

  • PNDSPY1107: pandas.core.frame.DataFrame.transform partial support

  • PNDSPY1108: pandas.core.frame.DataFrame.transpose partial support

  • PNDSPY1109: pandas.core.frame.DataFrame.truediv partial support

  • PNDSPY1110: pandas.core.frame.DataFrame.tz_convert partial support

  • PNDSPY1111: pandas.core.frame.DataFrame.tz_localize partial support

  • PNDSPY1112: pandas.core.frame.DataFrame.unstack partial support

  • PNDSPY1113: pandas.core.frame.DataFrame.var partial support

  • PNDSPY1114: pandas.core.frame.DataFrame.where partial support

  • PNDSPY1115: pandas.core.generic.NDFrame.shift partial support

  • PNDSPY1116: pandas.core.groupby.generic.DataFrameGroupBy.agg partial support

  • PNDSPY1117: pandas.core.groupby.generic.DataFrameGroupBy.aggregate partial support

  • PNDSPY1118: pandas.core.groupby.generic.DataFrameGroupBy.fillna partial support

  • PNDSPY1119: pandas.core.groupby.generic.DataFrameGroupBy.idxmax partial support

  • PNDSPY1120: pandas.core.groupby.generic.DataFrameGroupBy.idxmin partial support

  • PNDSPY1121: pandas.core.groupby.generic.DataFrameGroupBy.transform partial support

  • PNDSPY1122: pandas.core.groupby.generic.DataFrameGroupBy.value_counts partial support

  • PNDSPY1123: pandas.core.groupby.groupby.BaseGroupBy.get_group partial support

  • PNDSPY1124: pandas.core.groupby.groupby.GroupBy.all partial support

  • PNDSPY1125: pandas.core.groupby.groupby.GroupBy.any partial support

  • PNDSPY1126: pandas.core.groupby.groupby.GroupBy.apply partial support

  • PNDSPY1127: pandas.core.groupby.groupby.GroupBy.bfill partial support

  • PNDSPY1128: pandas.core.groupby.groupby.GroupBy.ffill partial support

  • PNDSPY1129: pandas.core.groupby.groupby.GroupBy.first partial support

  • PNDSPY1130: pandas.core.groupby.groupby.GroupBy.last partial support

  • PNDSPY1131: pandas.core.groupby.groupby.GroupBy.pct_change partial support

  • PNDSPY1132: pandas.core.groupby.groupby.GroupBy.quantile partial support

  • PNDSPY1133: pandas.core.groupby.groupby.GroupBy.resample partial support

  • PNDSPY1134: pandas.core.groupby.groupby.GroupBy.rolling partial support

  • PNDSPY1135: pandas.core.groupby.groupby.GroupBy.shift partial support

  • PNDSPY1136: pandas.core.groupby.groupby.GroupBy.std partial support

  • PNDSPY1137: pandas.core.groupby.groupby.GroupBy.var partial support

  • PNDSPY1138: pandas.core.indexes.base.Index.all partial support

  • PNDSPY1139: pandas.core.indexes.base.Index.any partial support

  • PNDSPY1140: pandas.core.indexes.base.Index.nlevels partial support

  • PNDSPY1141: pandas.core.indexes.base.Index.reindex partial support

  • PNDSPY1142: pandas.core.indexes.base.Index.sort_values partial support

  • PNDSPY1143: pandas.core.indexes.datetimes.DatetimeIndex.ceil partial support

  • PNDSPY1144: pandas.core.indexes.datetimes.DatetimeIndex.day_name partial support

  • PNDSPY1145: pandas.core.indexes.datetimes.DatetimeIndex.floor partial support

  • PNDSPY1146: pandas.core.indexes.datetimes.DatetimeIndex.month_name partial support

  • PNDSPY1147: pandas.core.indexes.datetimes.DatetimeIndex.round partial support

  • PNDSPY1148: pandas.core.indexes.datetimes.DatetimeIndex.std partial support

  • PNDSPY1149: pandas.core.indexes.datetimes.DatetimeIndex.tz_convert partial support

  • PNDSPY1150: pandas.core.indexes.datetimes.DatetimeIndex.tz_localize partial support

  • PNDSPY1151: pandas.core.indexes.datetimes.bdate_range partial support

  • PNDSPY1152: pandas.core.indexes.datetimes.date_range partial support

  • PNDSPY1153: pandas.core.resample.Resampler.asfreq partial support

  • PNDSPY1154: pandas.core.resample.Resampler.bfill partial support

  • PNDSPY1155: pandas.core.resample.Resampler.ffill partial support

  • PNDSPY1156: pandas.core.resample.Resampler.fillna partial support

  • PNDSPY1157: pandas.core.resample.Resampler.first partial support

  • PNDSPY1158: pandas.core.resample.Resampler.last partial support

  • PNDSPY1159: pandas.core.resample.Resampler.quantile partial support

  • PNDSPY1160: pandas.core.resample.Resampler.std partial support

  • PNDSPY1161: pandas.core.resample.Resampler.var partial support

  • PNDSPY1162: pandas.core.reshape.concat.concat partial support

  • PNDSPY1163: pandas.core.reshape.melt.melt partial support

  • PNDSPY1164: pandas.core.reshape.merge.merge partial support

  • PNDSPY1165: pandas.core.reshape.merge.merge_asof partial support

  • PNDSPY1166: pandas.core.reshape.pivot.crosstab partial support

  • PNDSPY1167: pandas.core.reshape.pivot.pivot partial support

  • PNDSPY1168: pandas.core.reshape.pivot.pivot_table partial support

  • PNDSPY1169: pandas.core.reshape.tile.cut partial support

  • PNDSPY1170: pandas.core.reshape.tile.qcut partial support

  • PNDSPY1171: pandas.core.series.Series.add partial support

  • PNDSPY1172: pandas.core.series.Series.all partial support

  • PNDSPY1173: pandas.core.series.Series.any partial support

  • PNDSPY1174: pandas.core.series.Series.case_when partial support

  • PNDSPY1175: pandas.core.series.Series.compare partial support

  • PNDSPY1176: pandas.core.series.Series.cumsum partial support

  • PNDSPY1177: pandas.core.series.Series.div partial support

  • PNDSPY1178: pandas.core.series.Series.divide partial support

  • PNDSPY1179: pandas.core.series.Series.dropna partial support

  • PNDSPY1180: pandas.core.series.Series.eq partial support

  • PNDSPY1181: pandas.core.series.Series.flags partial support

  • PNDSPY1182: pandas.core.series.Series.floordiv partial support

  • PNDSPY1183: pandas.core.series.Series.ge partial support

  • PNDSPY1184: pandas.core.series.Series.groupby partial support

  • PNDSPY1185: pandas.core.series.Series.gt partial support

  • PNDSPY1186: pandas.core.series.Series.le partial support

  • PNDSPY1187: pandas.core.series.Series.lt partial support

  • PNDSPY1188: pandas.core.series.Series.map partial support

  • PNDSPY1189: pandas.core.series.Series.mod partial support

  • PNDSPY1190: pandas.core.series.Series.mul partial support

  • PNDSPY1191: pandas.core.series.Series.multiply partial support

  • PNDSPY1192: pandas.core.series.Series.ne partial support

  • PNDSPY1193: pandas.core.series.Series.nlargest partial support

  • PNDSPY1194: pandas.core.series.Series.nsmallest partial support

  • PNDSPY1195: pandas.core.series.Series.pow partial support

  • PNDSPY1196: pandas.core.series.Series.quantile partial support

  • PNDSPY1197: pandas.core.series.Series.radd partial support

  • PNDSPY1198: pandas.core.series.Series.rdiv partial support

  • PNDSPY1199: pandas.core.series.Series.reindex partial support

  • PNDSPY1200: pandas.core.series.Series.rename partial support

  • PNDSPY1201: pandas.core.series.Series.rfloordiv partial support

  • PNDSPY1202: pandas.core.series.Series.rmod partial support

  • PNDSPY1203: pandas.core.series.Series.rmul partial support

  • PNDSPY1204: pandas.core.series.Series.rpow partial support

  • PNDSPY1205: pandas.core.series.Series.rsub partial support

  • PNDSPY1206: pandas.core.series.Series.rtruediv partial support

  • PNDSPY1207: pandas.core.series.Series.skew partial support

  • PNDSPY1208: pandas.core.series.Series.sort_index partial support

  • PNDSPY1209: pandas.core.series.Series.sort_values partial support

  • PNDSPY1210: pandas.core.series.Series.std partial support

  • PNDSPY1211: pandas.core.series.Series.sub partial support

  • PNDSPY1212: pandas.core.series.Series.subtract partial support

  • PNDSPY1213: pandas.core.series.Series.truediv partial support

  • PNDSPY1214: pandas.core.series.Series.unstack partial support

  • PNDSPY1215: pandas.core.series.Series.var partial support

  • PNDSPY1216: pandas.core.strings.accessor.StringMethods.__getitem__ partial support

  • PNDSPY1217: pandas.core.strings.accessor.StringMethods.contains partial support

  • PNDSPY1218: pandas.core.strings.accessor.StringMethods.endswith partial support

  • PNDSPY1219: pandas.core.strings.accessor.StringMethods.get partial support

  • PNDSPY1220: pandas.core.strings.accessor.StringMethods.isdigit partial support

  • PNDSPY1221: pandas.core.strings.accessor.StringMethods.len partial support

  • PNDSPY1222: pandas.core.strings.accessor.StringMethods.lstrip partial support

  • PNDSPY1223: pandas.core.strings.accessor.StringMethods.replace partial support

  • PNDSPY1224: pandas.core.strings.accessor.StringMethods.rstrip partial support

  • PNDSPY1225: pandas.core.strings.accessor.StringMethods.slice partial support

  • PNDSPY1226: pandas.core.strings.accessor.StringMethods.split partial support

  • PNDSPY1227: pandas.core.strings.accessor.StringMethods.startswith partial support

  • PNDSPY1228: pandas.core.strings.accessor.StringMethods.strip partial support

  • PNDSPY1229: pandas.core.strings.accessor.StringMethods.translate partial support

  • PNDSPY1230: pandas.core.tools.datetimes.to_datetime partial support

  • PNDSPY1231: pandas.core.tools.numeric.to_numeric partial support

  • PNDSPY1232: pandas.core.tools.timedeltas.to_timedelta partial support

  • PNDSPY1233: pandas.core.window.ewm.ExponentialMovingWindow.corr partial support

  • PNDSPY1234: pandas.core.window.ewm.ExponentialMovingWindow.mean partial support

  • PNDSPY1235: pandas.core.window.ewm.ExponentialMovingWindow.std partial support

  • PNDSPY1236: pandas.core.window.ewm.ExponentialMovingWindow.sum partial support

  • PNDSPY1237: pandas.core.window.ewm.ExponentialMovingWindow.var partial support

  • PNDSPY1238: pandas.core.window.expanding.Expanding.corr partial support

  • PNDSPY1239: pandas.core.window.expanding.Expanding.count partial support

  • PNDSPY1240: pandas.core.window.expanding.Expanding.max partial support

  • PNDSPY1241: pandas.core.window.expanding.Expanding.mean partial support

  • PNDSPY1242: pandas.core.window.expanding.Expanding.min partial support

  • PNDSPY1243: pandas.core.window.expanding.Expanding.sem partial support

  • PNDSPY1244: pandas.core.window.expanding.Expanding.std partial support

  • PNDSPY1245: pandas.core.window.expanding.Expanding.sum partial support

  • PNDSPY1246: pandas.core.window.expanding.Expanding.var partial support

  • PNDSPY1247: pandas.core.window.rolling.Rolling.corr partial support

  • PNDSPY1248: pandas.core.window.rolling.Rolling.count partial support

  • PNDSPY1249: pandas.core.window.rolling.Rolling.max partial support

  • PNDSPY1250: pandas.core.window.rolling.Rolling.mean partial support

  • PNDSPY1251: pandas.core.window.rolling.Rolling.min partial support

  • PNDSPY1252: pandas.core.window.rolling.Rolling.sem partial support

  • PNDSPY1253: pandas.core.window.rolling.Rolling.std partial support

  • PNDSPY1254: pandas.core.window.rolling.Rolling.sum partial support

  • PNDSPY1255: pandas.core.window.rolling.Rolling.var partial support

  • PNDSPY1256: pandas.core.window.rolling.Window.mean partial support

  • PNDSPY1257: pandas.core.window.rolling.Window.std partial support

  • PNDSPY1258: pandas.core.window.rolling.Window.sum partial support

  • PNDSPY1259: pandas.core.window.rolling.Window.var partial support

  • PNDSPY1260: pandas.io.json._json.read_json partial support

  • PNDSPY1261: pandas.io.parquet.read_parquet partial support

  • PNDSPY1262: pandas.io.parsers.readers.read_csv partial support

Geändert¶

• Updated the sfutils library implementation to support multiple levels of notebooks calls

• Upgraded supported Snowpark Python version from v1.41.0 to v1.43.0. This upgrade includes the following mapping status changes: NotSupported → Direct (8 functions):

  • pyspark.sql.functions.bool_and → snowflake.snowpark.functions.booland_agg

  • pyspark.sql.functions.bucket → snowflake.snowpark.functions.bucket

  • pyspark.sql.functions.cot → snowflake.snowpark.functions.cot

  • pyspark.sql.functions.day → snowflake.snowpark.functions.day

  • pyspark.sql.functions.every → snowflake.snowpark.functions.booland_agg

  • pyspark.sql.functions.pi → snowflake.snowpark.functions.pi

  • pyspark.sql.functions.width_bucket → snowflake.snowpark.functions.width_bucket

  • pyspark.sql.functions.zeroifnull → snowflake.snowpark.functions.zeroifnull

NotSupported → Rename (1 function):

• pyspark.sql.functions.uuid → snowflake.snowpark.functions.uuid_string

• Upgraded supported Snowpark Pandas version from v1.41.0 to v1.43.0.

• The mapping status of the following Pandas elements were updated: NotSupported → Direct (56 functions):

  • pandas.core.arrays.datetimes.DatetimeArray.date

  • pandas.core.arrays.datetimes.DatetimeArray.normalize

  • pandas.core.arrays.datetimes.DatetimeArray.time

  • pandas.core.base.IndexOpsMixin.T

  • pandas.core.base.IndexOpsMixin.empty

  • pandas.core.base.IndexOpsMixin.is_monotonic_decreasing

  • pandas.core.base.IndexOpsMixin.is_monotonic_increasing

  • pandas.core.base.IndexOpsMixin.is_unique

  • pandas.core.base.IndexOpsMixin.item

  • pandas.core.base.IndexOpsMixin.ndim

  • pandas.core.base.IndexOpsMixin.nunique

  • pandas.core.base.IndexOpsMixin.shape

  • pandas.core.base.IndexOpsMixin.size

  • pandas.core.base.IndexOpsMixin.to_list

  • pandas.core.base.IndexOpsMixin.to_numpy

  • pandas.core.base.IndexOpsMixin.tolist

  • pandas.core.base.IndexOpsMixin.transpose

  • pandas.core.generic.NDFrame.abs

  • pandas.core.generic.NDFrame.add_prefix

  • pandas.core.generic.NDFrame.add_suffix

  • pandas.core.generic.NDFrame.attrs

  • pandas.core.generic.NDFrame.copy

  • pandas.core.generic.NDFrame.describe

  • pandas.core.generic.NDFrame.dtypes

  • pandas.core.generic.NDFrame.equals

  • pandas.core.generic.NDFrame.first

  • pandas.core.generic.NDFrame.first_valid_index

  • pandas.core.generic.NDFrame.get

  • pandas.core.generic.NDFrame.head

  • pandas.core.generic.NDFrame.keys

  • pandas.core.generic.NDFrame.last

  • pandas.core.generic.NDFrame.last_valid_index

  • pandas.core.generic.NDFrame.ndim

  • pandas.core.generic.NDFrame.size

  • pandas.core.generic.NDFrame.squeeze

  • pandas.core.generic.NDFrame.tail

  • pandas.core.generic.NDFrame.take

  • pandas.core.generic.NDFrame.to_excel

  • pandas.core.groupby.groupby.BaseGroupBy.groups

  • pandas.core.groupby.groupby.GroupBy.count

  • pandas.core.groupby.groupby.GroupBy.cumcount

  • pandas.core.groupby.groupby.GroupBy.cummax

  • pandas.core.groupby.groupby.GroupBy.cummin

  • pandas.core.groupby.groupby.GroupBy.cumsum

  • pandas.core.groupby.groupby.GroupBy.head

  • pandas.core.groupby.groupby.GroupBy.max

  • pandas.core.groupby.groupby.GroupBy.mean

  • pandas.core.groupby.groupby.GroupBy.median

  • pandas.core.groupby.groupby.GroupBy.min

  • pandas.core.groupby.groupby.GroupBy.rank

  • pandas.core.groupby.groupby.GroupBy.size

  • pandas.core.groupby.groupby.GroupBy.tail

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.indexing.IndexingMixin.iat

  • pandas.core.indexing.IndexingMixin.iloc

  • pandas.core.series.Series.first

NotSupported → Partial (70 functions):

• pandas.core.arrays.datetimelike.DatelikeOps.strftime (PNDSPY1019)

• pandas.core.arrays.datetimelike.TimelikeOps.ceil (PNDSPY1020)

• pandas.core.arrays.datetimelike.TimelikeOps.floor (PNDSPY1021)

• pandas.core.arrays.datetimelike.TimelikeOps.round (PNDSPY1022)

• pandas.core.arrays.datetimes.DatetimeArray.day_name (PNDSPY1023)

• pandas.core.arrays.datetimes.DatetimeArray.month_name (PNDSPY1024)

• pandas.core.arrays.datetimes.DatetimeArray.tz_convert (PNDSPY1025)

• pandas.core.arrays.datetimes.DatetimeArray.tz_localize (PNDSPY1026)

• pandas.core.base.IndexOpsMixin.argmax (PNDSPY1027)

• pandas.core.base.IndexOpsMixin.argmin (PNDSPY1028)

• pandas.core.base.IndexOpsMixin.value_counts (PNDSPY1029)

• pandas.core.frame.DataFrame.eval (PNDSPY1049)

• pandas.core.frame.DataFrame.expanding (PNDSPY1050)

• pandas.core.frame.DataFrame.melt (PNDSPY1067)

• pandas.core.frame.DataFrame.pct_change (PNDSPY1077)

• pandas.core.frame.DataFrame.quantile (PNDSPY1081)

• pandas.core.frame.DataFrame.std (PNDSPY1103)

• pandas.core.generic.NDFrame.asfreq (PNDSPY1037)

• pandas.core.generic.NDFrame.fillna (PNDSPY1052)

• pandas.core.generic.NDFrame.mask (PNDSPY1066)

• pandas.core.generic.NDFrame.pct_change (PNDSPY1077)

• pandas.core.generic.NDFrame.rank (PNDSPY1083)

• pandas.core.generic.NDFrame.replace (PNDSPY1087)

• pandas.core.generic.NDFrame.shift (PNDSPY1115)

• pandas.core.generic.NDFrame.to_csv (PNDSPY1106)

• pandas.core.generic.NDFrame.tz_convert (PNDSPY1110)

• pandas.core.generic.NDFrame.tz_localize (PNDSPY1111)

• pandas.core.generic.NDFrame.where (PNDSPY1114)

• pandas.core.groupby.generic.DataFrameGroupBy.transform (PNDSPY1121)

• pandas.core.groupby.generic.DataFrameGroupBy.value_counts (PNDSPY1122)

• pandas.core.groupby.groupby.BaseGroupBy.get_group (PNDSPY1123)

• pandas.core.groupby.groupby.GroupBy.bfill (PNDSPY1127)

• pandas.core.groupby.groupby.GroupBy.first (PNDSPY1129)

• pandas.core.groupby.groupby.GroupBy.last (PNDSPY1130)

• pandas.core.groupby.groupby.GroupBy.quantile (PNDSPY1132)

• pandas.core.groupby.groupby.GroupBy.resample (PNDSPY1133)

• pandas.core.groupby.groupby.GroupBy.rolling (PNDSPY1134)

• pandas.core.groupby.groupby.GroupBy.shift (PNDSPY1135)

• pandas.core.groupby.groupby.GroupBy.std (PNDSPY1136)

• pandas.core.groupby.groupby.GroupBy.var (PNDSPY1137)

• pandas.core.indexes.base.Index.nlevels (PNDSPY1140)

• pandas.core.indexes.base.Index.sort_values (PNDSPY1142)

• pandas.core.indexing.IndexingMixin.at (PNDSPY1039)

• pandas.core.indexing.IndexingMixin.loc (PNDSPY1063)

• pandas.core.resample.Resampler.ffill (PNDSPY1155)

• pandas.core.resample.Resampler.first (PNDSPY1157)

• pandas.core.resample.Resampler.last (PNDSPY1158)

• pandas.core.resample.Resampler.std (PNDSPY1160)

• pandas.core.resample.Resampler.var (PNDSPY1161)

• pandas.core.reshape.merge.merge_asof (PNDSPY1165)

• pandas.core.reshape.pivot.pivot (PNDSPY1167)

• pandas.core.series.Series.expanding (PNDSPY1050)

• pandas.core.series.Series.pct_change (PNDSPY1077)

• pandas.core.window.ewm.ExponentialMovingWindow.corr (PNDSPY1233)

• pandas.core.window.ewm.ExponentialMovingWindow.mean (PNDSPY1234)

• pandas.core.window.ewm.ExponentialMovingWindow.std (PNDSPY1235)

• pandas.core.window.ewm.ExponentialMovingWindow.sum (PNDSPY1236)

• pandas.core.window.ewm.ExponentialMovingWindow.var (PNDSPY1237)

• pandas.core.window.expanding.Expanding.corr (PNDSPY1238)

• pandas.core.window.expanding.Expanding.max (PNDSPY1240)

• pandas.core.window.expanding.Expanding.mean (PNDSPY1241)

• pandas.core.window.expanding.Expanding.min (PNDSPY1242)

• pandas.core.window.expanding.Expanding.sem (PNDSPY1243)

• pandas.core.window.expanding.Expanding.std (PNDSPY1244)

• pandas.core.window.expanding.Expanding.sum (PNDSPY1245)

• pandas.core.window.expanding.Expanding.var (PNDSPY1246)

• pandas.core.window.rolling.Window.mean (PNDSPY1256)

• pandas.core.window.rolling.Window.std (PNDSPY1257)

• pandas.core.window.rolling.Window.sum (PNDSPY1258)

• pandas.core.window.rolling.Window.var (PNDSPY1259)

(new) → Direct (74 functions):

• pandas.core.arrays.datetimes.DatetimeArray.day

• pandas.core.arrays.datetimes.DatetimeArray.day_of_week

• pandas.core.arrays.datetimes.DatetimeArray.day_of_year

• pandas.core.arrays.datetimes.DatetimeArray.dayofweek

• pandas.core.arrays.datetimes.DatetimeArray.dayofyear

• pandas.core.arrays.datetimes.DatetimeArray.days_in_month

• pandas.core.arrays.datetimes.DatetimeArray.daysinmonth

• pandas.core.arrays.datetimes.DatetimeArray.hour

• pandas.core.arrays.datetimes.DatetimeArray.is_leap_year

• pandas.core.arrays.datetimes.DatetimeArray.is_month_end

• pandas.core.arrays.datetimes.DatetimeArray.is_month_start

• pandas.core.arrays.datetimes.DatetimeArray.is_quarter_end

• pandas.core.arrays.datetimes.DatetimeArray.is_quarter_start

• pandas.core.arrays.datetimes.DatetimeArray.is_year_end

• pandas.core.arrays.datetimes.DatetimeArray.is_year_start

• pandas.core.arrays.datetimes.DatetimeArray.isocalendar

• pandas.core.arrays.datetimes.DatetimeArray.microsecond

• pandas.core.arrays.datetimes.DatetimeArray.minute

• pandas.core.arrays.datetimes.DatetimeArray.month

• pandas.core.arrays.datetimes.DatetimeArray.nanosecond

• pandas.core.arrays.datetimes.DatetimeArray.quarter

• pandas.core.arrays.datetimes.DatetimeArray.second

• pandas.core.arrays.datetimes.DatetimeArray.weekday

• pandas.core.arrays.datetimes.DatetimeArray.year

• pandas.core.arrays.timedeltas.TimedeltaArray.days

• pandas.core.arrays.timedeltas.TimedeltaArray.microseconds

• pandas.core.arrays.timedeltas.TimedeltaArray.nanoseconds

• pandas.core.arrays.timedeltas.TimedeltaArray.seconds

• pandas.core.frame.DataFrame.flags

• pandas.core.generic.NDFrame.flags

• pandas.core.generic.NDFrame.rename_axis

• pandas.core.groupby.groupby.BaseGroupBy.\_\_iter\_\_

• pandas.core.groupby.groupby.BaseGroupBy.\_\_len\_\_

• pandas.core.groupby.groupby.GroupBy.sum

• pandas.core.indexes.base.Index.T

• pandas.core.indexes.datetimes.DatetimeIndex.date

• pandas.core.indexes.datetimes.DatetimeIndex.day

• pandas.core.indexes.datetimes.DatetimeIndex.day_of_week

• pandas.core.indexes.datetimes.DatetimeIndex.day_of_year

• pandas.core.indexes.datetimes.DatetimeIndex.dayofweek

• pandas.core.indexes.datetimes.DatetimeIndex.dayofyear

• pandas.core.indexes.datetimes.DatetimeIndex.hour

• pandas.core.indexes.datetimes.DatetimeIndex.is_month_end

• pandas.core.indexes.datetimes.DatetimeIndex.is_month_start

• pandas.core.indexes.datetimes.DatetimeIndex.mean

• pandas.core.indexes.datetimes.DatetimeIndex.microsecond

• pandas.core.indexes.datetimes.DatetimeIndex.minute

• pandas.core.indexes.datetimes.DatetimeIndex.month

• pandas.core.indexes.datetimes.DatetimeIndex.nanosecond

• pandas.core.indexes.datetimes.DatetimeIndex.normalize

• pandas.core.indexes.datetimes.DatetimeIndex.quarter

• pandas.core.indexes.datetimes.DatetimeIndex.second

• pandas.core.indexes.timedeltas.TimedeltaIndex.total_seconds

• pandas.core.series.Series.info (PNDSPY1018)

• pandas.core.series.Series.tolist

• pandas.core.strings.accessor.StringMethods.capitalize

• pandas.core.strings.accessor.StringMethods.center

• pandas.core.strings.accessor.StringMethods.count

• pandas.core.strings.accessor.StringMethods.islower

• pandas.core.strings.accessor.StringMethods.istitle

• pandas.core.strings.accessor.StringMethods.isupper

• pandas.core.strings.accessor.StringMethods.ljust

• pandas.core.strings.accessor.StringMethods.lower

• pandas.core.strings.accessor.StringMethods.match

• pandas.core.strings.accessor.StringMethods.pad

• pandas.core.strings.accessor.StringMethods.rjust

• pandas.core.strings.accessor.StringMethods.title

• pandas.core.strings.accessor.StringMethods.upper

• snowpark_pandas.read_snowflake

• snowpark_pandas.to_dynamic_table

• snowpark_pandas.to_iceberg

• snowpark_pandas.to_pandas

• snowpark_pandas.to_snowflake

• snowpark_pandas.to_view

(new) → Partial (47 functions):

• pandas.core.frame.DataFrame.\_\_dataframe\_\_ (PNDSPY1031)

• pandas.core.frame.DataFrame.pad (PNDSPY1076)

• pandas.core.generic.NDFrame.align (PNDSPY1033)

• pandas.core.generic.NDFrame.astype (PNDSPY1038)

• pandas.core.generic.NDFrame.expanding (PNDSPY1050)

• pandas.core.generic.NDFrame.ffill (PNDSPY1051)

• pandas.core.generic.NDFrame.interpolate (PNDSPY1015)

• pandas.core.generic.NDFrame.pad (PNDSPY1076)

• pandas.core.generic.NDFrame.resample (PNDSPY1088)

• pandas.core.generic.NDFrame.rolling (PNDSPY1092)

• pandas.core.generic.NDFrame.sample (PNDSPY1097)

• pandas.core.groupby.groupby.GroupBy.all (PNDSPY1124)

• pandas.core.groupby.groupby.GroupBy.any (PNDSPY1125)

• pandas.core.groupby.groupby.GroupBy.apply (PNDSPY1126)

• pandas.core.indexes.base.Index.all (PNDSPY1138)

• pandas.core.indexes.base.Index.any (PNDSPY1139)

• pandas.core.indexes.base.Index.reindex (PNDSPY1141)

• pandas.core.indexes.base.Index.value_counts (PNDSPY1029)

• pandas.core.indexes.datetimes.DatetimeIndex.tz_convert (PNDSPY1149)

• pandas.core.indexes.datetimes.DatetimeIndex.tz_localize (PNDSPY1150)

• pandas.core.series.Series.backfill (PNDSPY1040)

• pandas.core.series.Series.bfill (PNDSPY1041)

• pandas.core.series.Series.flags (PNDSPY1181)

• pandas.core.series.Series.pad (PNDSPY1076)

• pandas.core.strings.accessor.StringMethods.\_\_getitem\_\_ (PNDSPY1216)

• pandas.core.strings.accessor.StringMethods.contains (PNDSPY1217)

• pandas.core.strings.accessor.StringMethods.endswith (PNDSPY1218)

• pandas.core.strings.accessor.StringMethods.get (PNDSPY1219)

• pandas.core.strings.accessor.StringMethods.isdigit (PNDSPY1220)

• pandas.core.strings.accessor.StringMethods.len (PNDSPY1221)

• pandas.core.strings.accessor.StringMethods.lstrip (PNDSPY1222)

• pandas.core.strings.accessor.StringMethods.replace (PNDSPY1223)

• pandas.core.strings.accessor.StringMethods.rstrip (PNDSPY1224)

• pandas.core.strings.accessor.StringMethods.slice (PNDSPY1225)

• pandas.core.strings.accessor.StringMethods.split (PNDSPY1226)

• pandas.core.strings.accessor.StringMethods.startswith (PNDSPY1227)

• pandas.core.strings.accessor.StringMethods.strip (PNDSPY1228)

• pandas.core.strings.accessor.StringMethods.translate (PNDSPY1229)

• pandas.core.window.rolling.Rolling.corr (PNDSPY1247)

• pandas.core.window.rolling.Rolling.max (PNDSPY1249)

• pandas.core.window.rolling.Rolling.mean (PNDSPY1250)

• pandas.core.window.rolling.Rolling.min (PNDSPY1251)

• pandas.core.window.rolling.Rolling.sem (PNDSPY1252)

• pandas.core.window.rolling.Rolling.std (PNDSPY1253)

• pandas.core.window.rolling.Rolling.sum (PNDSPY1254)

• pandas.core.window.rolling.Rolling.var (PNDSPY1255)

• pandas.io.json._json.read_json (PNDSPY1260)

Direct → Partial (12 functions):

• pandas.core.frame.DataFrame.T (PNDSPY1030)

• pandas.core.frame.DataFrame.any (PNDSPY1035)

• pandas.core.frame.DataFrame.where (PNDSPY1114)

• pandas.core.groupby.generic.DataFrameGroupBy.agg (PNDSPY1116)

• pandas.core.indexes.datetimes.DatetimeIndex.round (PNDSPY1147)

• pandas.core.reshape.tile.qcut (PNDSPY1170)

• pandas.core.series.Series.astype (PNDSPY1038)

• pandas.core.series.Series.groupby (PNDSPY1184)

• pandas.core.series.Series.le (PNDSPY1186)

• pandas.core.series.Series.loc (PNDSPY1063)

• pandas.io.parquet.read_parquet (PNDSPY1261)

• pandas.io.parsers.readers.read_csv (PNDSPY1262)

Partial → Direct (5 functions):

• pandas.core.indexes.datetimes.DatetimeIndex.is_leap_year

• pandas.core.indexes.datetimes.DatetimeIndex.is_quarter_end

• pandas.core.indexes.datetimes.DatetimeIndex.is_quarter_start

• pandas.core.indexes.datetimes.DatetimeIndex.is_year_end

• pandas.core.indexes.datetimes.DatetimeIndex.is_year_start

Rename → Partial (4 functions):

• pandas.core.frame.DataFrame.divide (PNDSPY1046)

• pandas.core.frame.DataFrame.multiply (PNDSPY1071)

• pandas.core.frame.DataFrame.subtract (PNDSPY1105)

• pandas.core.series.Series.divide (PNDSPY1178)

Korrigiert¶

• Fixed the „How to read through the scores“ link on the assessment and conversion results page to ensure it correctly opens the readiness score documentation.

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.55

Improvements¶

• License-Free Conversion Mode: A license or access code is no longer required to run SMA in Conversion mode.

• Project Options Page: A new Project Options page has been introduced to present the available workflows in the application, including „Code Analysis and Conversion“.

• Technical Discovery Relocation: The Technical Discovery section has been moved to the Project Creation page for a more streamlined project setup experience.

• Simplified Conversion Setup: The Conversion Setup page has been updated and no longer requires a license or access code.

• Project File Extension: The project file extension has changed from .snowma to .snowct.

• Updated User Interface: The user interface has been refreshed to align with the SnowConvert AI look and feel.

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.55

Hinzugefügt¶

• Added SQL Language to the DetailedReport doc file.

• Added SQL configuration cell at the beginning of a converted Databricks-to-Jupyter transformation to be compatible with Snowflake notebooks.

Geändert¶

• Updated the %run magic command transformation to append .ipynb extension to notebook paths.

  • For unquoted paths: %run ./myNotebook transforms to %run ./myNotebook.ipynb

  • For quoted paths: %run "./myNotebook" transforms to %run "./myNotebook.ipynb"

• Scala code in notebook cells will now be commented in a python cell during a notebook migration.

• Updated the conversion of dbutils.run to the sfutils.notebook.run function to handle notebook execution calls.

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API from 1.40.0 to 1.41.0.

• Updated the mapping status for the following Pandas functions from NotSupported to Partial:

  • pandas.core.frame.DataFrame.agg → modin.pandas.DataFrame.agg

  • pandas.core.frame.DataFrame.interpolate → modin.pandas.DataFrame.interpolate

  • pandas.core.reshape.encoding.get_dummies → modin.pandas.general.get_dummies

  • pandas.core.series.Series.agg → modin.pandas.Series.agg

  • pandas.core.series.Series.interpolate → modin.pandas.Series.interpolate

Korrigiert¶

• SMA now will rename .hql (Hive SQL) files to .sql after conversion.

• The implicit cell for a DBX Scala Notebook when converting to Snowflake will be a python cell with an EWI. The Scala code will be commented out.

• Python cells from DBX SQL Notebooks will preserve the language metadata.

Entfernt¶

• Removed the previous %run transformation in DBX notebooks that generated spark.sql("EXECUTE NOTEBOOK ...") SQL statements.

• The SnowConvert MissingObjects report was absorbed by the MissingObjectReference report. The MissingObjects report will no longer be generated.

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.43

Included SnowConvert AI Version¶

• SnowConvert AI Version 2.2.0 (Release Notes)

Hinzugefügt¶

• Enhanced Notebook Setup for Assessment: When running an assessment on Databricks notebooks, a Snowpark Connect session is now automatically added to the first cell to simplify your setup.

• Automatic Snowpark Connect Conversion: The tool now automatically converts both SparkSession and SparkContext initializations in Python code to their equivalent Snowpark Connect sessions.

• Improved Error Identification:

  • Added a new warning code, SPRKCNTPY4000, to clearly flag any SparkContext elements that are not yet supported by Snowpark Connect.

  • The tool now automatically detects and flags unsupported Databricks utility calls (dbutils API) with the new warning code SPRKDBX1004 during conversion.

• More Detailed Reporting:

  • The SparkUsagesInventory.csv report now includes a new column called IS_SNOWPARK_CONNECT_TOOL_SUPPORTED

  • This new column is to clearly indicate if a Spark element is supported directly by Snowpark Connect, or supported throught an SMA transformation.

  • The Snowpark Connect readiness score calculation has been updated to use the new IS_SNOWPARK_CONNECT_TOOL_SUPPORTED column in the SparkUsagesInventory.csv report.

• Next-Generation Notebook Support: Enhanced support for the VNext Snowflake Notebooks format when converting Databricks or Jupyter notebooks.

  • Full VNext Compatibility: The SMA can now generate output files that fully adhere to the VNext Snowflake Notebooks standard, regardless of whether the source was a Databricks or a previous-generation Jupyter notebook.

  • Smarter Language Handling: The conversion engine has been updated with enhanced logic to accurately detect and manage the specific language (such as Python or Scala) within each individual notebook cell. This allows for more precise and reliable cell-by-cell conversion.

  • Enhanced Metadata for Cells: The process now correctly incorporates necessary language and type metadata at the cell level during generation, which is essential for VNext Notebooks to function as expected.

Geändert¶

• Simplified Python Code: For Snowpark Connect, unnecessary .sparkContext references in Python method calls are now removed to streamline your code.

• Clearer Warning Codes: Snowpark Connect warning codes are now renamed to include language-specific prefixes (e.g., SPRKCNTPY for Python, SPRKCNTSCL for Scala) for easier error identification.

• More Accurate Notebook Conversions: The conversion process for notebooks has been improved to correctly distinguish between Databricks and Jupyter formats, preventing incorrect modifications.

Korrigiert¶

• Fixed a bug in the artifact dependency inventory that incorrectly reported .options() configuration as a data source.

Hinzugefügt¶

• Technical Discovery View: A new Technical Discovery View is now available in the desktop application.

• SMA Assessment AI: SMA desktop application is now directly integrated with an optional LLM interface.

  • Ask questions about your assessment results

  • Get help with how to approach the migration

  • Connect and deploy your assessment results directly into your Snowflake account.

Geändert¶

• The Command Line Interface (CLI) parameter for controlling Jupyter conversion has been updated from --enableJupyter to --disableJupyterConversion for clearer functionality.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core: 8.1.26

Included SnowConvert AI Version¶

• SnowConvert AI Version 2.0.57 (Release Notes: SnowConvert AI - Recent Release Notes | Snowflake Documentation)

Hinzugefügt¶

• The Execution Summary section of the DetailedReport.docx now indicates whether the SMA was run in Assessment or Conversion mode.

Geändert¶

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API from 1.39.0 to 1.40.0.

PySpark Function Mapping Updates:

NotSupported to Rename:

• pyspark.sql.functions.unhex → snowflake.snowpark.functions.hex_decode_binary

Direct to Rename:

• pyspark.sql.functions.greatest → snowflake.snowpark.functions.greatest_ignore_nulls

• pyspark.sql.functions.least → snowflake.snowpark.functions.least_ignore_nulls

NotDefined to Rename:

• pyspark.sql.functions.bool_or → snowflake.snowpark.functions.boolor_agg

• pyspark.sql.functions.char → snowflake.snowpark.functions.chr

NotDefined to Direct:

• pyspark.sql.functions.nullif → snowflake.snowpark.functions.nullif

• pyspark.sql.functions.nvl2 → snowflake.snowpark.functions.nvl2

Snowpark Pandas Function Mapping Updates:

NotSupported to Partial:

• modin.pandas.DataFrame.query → snowflake.snowpark.pandas.core.frame.DataFrame.query

• Added a new EWI PNDSPY1012 to indicate that modin.pandas.DataFrame.query does not support MultiIndex. The following example scenario illustrating this limitation is also included in the EWI documentation.

  from snowflake.snowpark.modin import plugin
  import modin.pandas as pd # Snowpark pandas
  
  # Create a DataFrame with single-level index
  data = {
      'name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve', 'Frank'],
      'age': [25, 30, 35, 28, 32, 45],
      'salary': [50000, 60000, 75000, 55000, 80000, 90000],
      'department': ['Sales', 'IT', 'HR', 'Sales', 'IT', 'HR']
  }
  df = pd.DataFrame(data)
  
  # Set a single-level index
  df = df.set_index('name')
  print("DataFrame with single-level index:")
  print(df)
  
  # Use query() - This works fine!
  #EWI: PNDSPY1012 => pandas.core.frame.DataFrame.query does not support DataFrames that have a row MultiIndex. Check Snowpark Pandas documentation for more details.
  result = df.query("age > 30 and salary < 85000")
  
  # Create a DataFrame with MultiIndex on rows
  data = {
      'A': [1, 2, 3, 4, 5, 6],
      'B': [10, 20, 30, 40, 50, 60],
      'C': ['x', 'y', 'x', 'y', 'x', 'y']
  }
  df = pd.DataFrame(data)
  
  # Create MultiIndex
  df = df.set_index([
      pd.Index(['group1', 'group1', 'group2', 'group2', 'group3', 'group3']),
      pd.Index(['a', 'b', 'a', 'b', 'a', 'b'])
  ])
  df.index.names = ['group', 'subgroup']
  
  # This will ERROR in Snowpark pandas!
  #EWI: PNDSPY1012 => pandas.core.frame.DataFrame.query does not support DataFrames that have
  

  Copy

  Recommended fix: If the DataFrame contains a MultiIndex, it is necessary to validate the behavior of the query() method in Snowpark pandas. Ensure that the DataFrame structure is compatible with Snowpark pandas‘ limitations, as MultiIndex rows are not supported. Consider restructuring the DataFrame to use a single-level index or alternative filtering methods.

• Updated all documentation links in the DetailedReport.docx to point to the official Snowflake documentation, replacing the legacy Snowpark Migration Accelerator site.

• Updated the Snowpark Connect readiness score descriptions in the DetailedReport.docx to match the SMA UI.

• Usages of pyspark.sql.window.WindowSpec.orderBy are now reported as supported by Snowpark Connect.

Korrigiert¶

• Fixed broken internal links in the DetailedReport.docx to ensure proper navigation between document sections.

• Added a CellId column to the issues inventory to easily identify the location of EWIs within notebook files.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core: 8.1.8

Korrigiert¶

• Fixed an issue where the SMA generated corrupted Databricks notebook files in the output directory during Assessment mode execution.

• Fixed an issue where the SMA would crash if the input directory contained folders named “SMA_ConvertedNotebooks”.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core: 8.1.7

Hinzugefügt¶

• Added the Snowpark Connect readiness score. This new score measures the percentage of Spark API references in your codebase that are supported by Snowpark Connect for Spark.

  • This will now be the only score shown in assessment mode. To generate the Snowpark API Readiness Score, run the SMA in conversion mode.

• Added support for SQL embedded migration for literal string concatenations assigned to a local variable in the same scope of execution.

  • Included scenarios now include:

    sqlStat = "SELECT colName " + "FROM myTable" 
    session.sql(sqlStat)
    

    Copy

Geändert¶

• Updated the EWI URLs in the Issues.csv inventory to point to the main Snowflake documentation site.

Korrigiert¶

• Fixed a code issue that caused inner project configuration files (e.g., pom.xml, build.sbt, build.gradle) to be incorrectly placed in the root of the output directory instead of the correct inner directories after migration.

Hinzugefügt¶

• Added the Snowpark Connect readiness score and updated the assessment execution flow.

  • When running the application in assessment mode, only the Snowpark Connect readiness score is now displayed.

  • When running the application in conversion mode, the Snowpark API readiness score is displayed (the Snowpark Connect Readiness will not be shown).

Geändert¶

Updated all in-application documentation links to point to the official Snowflake documentation, replacing the legacy SnowConvert site.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.73

Korrigiert¶

• Fixed an issue where the Snowpark Migration Accelerator failed converting DBC files into Jupyter Notebooks properly.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.72

Hinzugefügt¶

• Unterstützung für Snowpark Scala v1.17.0 hinzugefügt:

Von „Nicht unterstützt“ zu „Direkt“:

Datenset:

• org.apache.spark.sql.Dataset.isEmpty → com.snowflake.snowpark.DataFrame.isEmpty

Zeile:

• org.apache.spark.sql.Row.mkString → com.snowflake.snowpark.Row.mkString

StructType:

• org.apache.spark.sql.types.StructType.fieldNames → com.snowflake.snowpark.types.StructType.fieldNames

Von „Nicht unterstützt“ zu „Umbenennen“:

Funktionen:

• org.apache.spark.functions.flatten → com.snowflake.snowpark.functions.array_flatten

Von „Direkt“ zu „Umbenennen“:

Funktionen:

• org.apache.spark.functions.to_date → com.snowflake.snowpark.functions.try_to_date

• org.apache.spark.functions.to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

Von „Direkter Unterstützung“ zu „Umbenennen“:

Funktionen:

• org.apache.spark.sql.functions.concat_ws → com.snowflake.snowpark.functions.concat_ws_ignore_nulls

Von „Nicht definiert“ zu „Direkt“:

Funktionen:

• org.apache.spark.functions.try_to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

• Eingebettete SQL wird jetzt migriert, wenn ein SQL-Anweisungsliteral einer lokalen Variablen zugewiesen wird.

Beispiel: sqlStat = “SELECT colName FROM myTable“ session.sql(sqlStat)

• Eingebettete SQL wird jetzt für Verkettungen von literalen Zeichenfolgen unterstützt.

Beispiel: session.sql(“SELECT colName „ + „FROM myTable“)

Geändert¶

• Die unterstützten Versionen von Snowpark Python API und Snowpark Pandas API wurden von 1.36.0 auf 1.39.0 aktualisiert.

• Der Zuordnungsstatus für die folgenden PySpark xpath-Funktionen wurde von NotSupported auf „Direkt mit EWI SPRKPY1103“ aktualisiert:

  • pyspark.sql.functions.xpath

  • pyspark.sql.functions.xpath_boolean

  • pyspark.sql.functions.xpath_double

  • pyspark.sql.functions.xpath_float

  • pyspark.sql.functions.xpath_int

  • pyspark.sql.functions.xpath_long

  • pyspark.sql.functions.xpath_number

  • pyspark.sql.functions.xpath_short

  • pyspark.sql.functions.xpath_string

• Der Zuordnungsstatus für die folgenden PySpark-Elemente wurde von NotDefined auf „Direkt“ aktualisiert:

  • pyspark.sql.functions.bit_and → snowflake.snowpark.functions.bitand_agg

  • pyspark.sql.functions.bit_or → snowflake.snowpark.functions.bitor_agg

  • pyspark.sql.functions.bit_xor → snowflake.snowpark.functions.bitxor_agg

  • pyspark.sql.functions.getbit → snowflake.snowpark.functions.getbit

• Der Zuordnungsstatus für die folgenden Pandas-Elemente wurde von NotSupported auf „Direkt“ aktualisiert:

  • pandas.core.indexes.base.Index → modin.pandas.Index

  • pandas.core.indexes.base.Index.get_level_values → modin.pandas.Index.get_level_values

• Der Zuordnungsstatus für die folgenden PySpark-Funktionen wurde von NotSupported auf „Umbenennen“ aktualisiert:

  • pyspark.sql.functions.now → snowflake.snowpark.functions.current_timestamp

Korrigiert¶

• Scala wurde korrigiert, da Importe nicht migriert wurden, wenn es eine Umbenennung gab.

  Beispiel:

  Quellcode:

  .. code-block:: scala

  package com.example.functions
  import org.apache.spark.sql.functions.{to_timestamp, lit}
  object ToTimeStampTest extends App { to_timestamp(lit(„sample“)) to_timestamp(lit(„sample“), „yyyy-MM-dd“) }

  Ausgabecode:

  .. code-block:: scala

  package com.example.functions
  import com.snowflake.snowpark.functions.{try_to_timestamp, lit} import com.snowflake.snowpark_extensions.Extensions._ import com.snowflake.snowpark_extensions.Extensions.functions._
  object ToTimeStampTest extends App { try_to_timestamp(lit(„sample“)) try_to_timestamp(lit(„sample“), „yyyy-MM-dd“) }

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.62

Hinzugefügt¶

• Funktionalität zur Migration von SQL eingebettet in Interpolation des Python-Formats hinzugefügt.

• Unterstützung für DataFrame.select- und DataFrame.sort-Transformationen für eine größere Flexibilität bei der Datenverarbeitung hinzugefügt.

Geändert¶

• Die unterstützten Versionen von Snowpark Python API und Snowpark Pandas API wurden auf 1.36.0 aktualisiert.

• Der Zuordnungsstatus von pandas.core.frame.DataFrame.boxplot wurde von „Nicht unterstützt“ auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von DataFrame.select, Dataset.select, DataFrame.sort und Dataset.sort wurde von „Direkt“ auf „Transformation“ aktualisiert.

• In Snowpark Scala kann eine Sequenz von Spalten direkt an die Auswahl- und Sortierfunktionen übergeben werden, sodass durch diese Transformation alle Verwendungen, wie beispielsweise df.select(cols: _*) zu df.select(cols) und df.sort(cols: _*) zu df.sort(cols) geändert werden.

• Die Python AST- und Parser-Version wurde auf 149.1.9 aktualisiert.

• Der Status für pandas-Funktionen wurde auf „Direkt“ aktualisiert:

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Der Status für pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas wurde auf Umgehung des Problems mit EWI SPRKPY1102 aktualisiert.

Korrigiert¶

• Problem behoben, das SqlEmbedded-Transformationen bei der Verwendung von verketteten Methodenaufrufen betraf.

• Korrekturen bei Transformationen mit PySqlExpr unter Verwendung der neuen PyLiteralSql, um zu vermeiden, dass Details nicht verloren gehen.

• Interne Stabilitätsprobleme wurden behoben, um die Robustheit und Zuverlässigkeit des Tools zu verbessern.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.46

Hinzugefügt¶

• Neue Pandas EWI-Dokumentation PNDSPY1011 hinzugefügt.

• Unterstützung für die folgenden Pandas-Funktionen wurde hinzugefügt:

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Unterstützung für die folgenden Funktionen von Spark Scala hinzugefügt:

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

Geändert¶

• Die Version von Snowpark Pandas API, unterstützt vom SMA, wurde auf 1.33.0 aktualisiert.

• Die Version von Snowpark Scala API, unterstützt vom SMA, wurde auf 1.16.0 aktualisiert.

• Der Zuordnungsstatus von „pyspark.sql.group.GroupedData.pivot“ wurde von „Transformation“ auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von „org.apache.spark.sql.Builder.master“ wurde von NotSupported auf „Transformation“ aktualisiert. Diese Transformation entfernt alle Verwendungen dieses Elements, die während der Codekonvertierung identifiziert wurden.

• Der Zuordnungsstatus von „org.apache.spark.sql.types.StructType.fieldIndex“ wurde von NotSupported auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von „org.apache.spark.sql.Row.fieldIndex“ wurde von NotSupported auf „Direkt“ aktualisiert.

• Der Zuordnungsstatus von „org.apache.spark.sql.SparkSession.stop“ wurde von NotSupported auf „Umbenennen“ aktualisiert. Alle identifizierten Verwendungen dieses Elements werden während der Codekonvertierung in „com.snowflake.snowpark.Session.close“ umbenannt.

• Der Zuordnungsstatus von „org.apache.spark.sql.DataFrame.unpersist“ und „org.apache.spark.sql.Dataset.unpersist“ wurde von NotSupported auf „Transformation“ aktualisiert. Diese Transformation entfernt alle Verwendungen dieses Elements, die während der Codekonvertierung identifiziert wurden.

Korrigiert¶

• Korrektur des Fortsetzungs-Backslashs bei entfernten Funktionen.

• Das Problem mit der Spalte LIBRARY_PREFIX in der ConversionStatusLibraries.csv-Datei wurde behoben, um den richtigen Bezeichner für die scikit-learn-Bibliotheksfamilie (scikit-*) zu verwenden.

• Fehler wurde behoben, bei dem mehrzeilige gruppierte Operationen nicht analysiert wurden.

Hinzugefügt¶

• Die folgenden Zuordnungen werden nun für org.apache.spark.sql.Dataset[T] ausgeführt:

  • org.apache.spark.sql.Dataset.union ist jetzt com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName ist jetzt com.snowflake.snowpark.DataFrame.unionAllByName

• Unterstützung für org.apache.spark.sql.functions.broadcast als Transformation wurde hinzugefügt.

Geändert¶

• Die unterstützte Snowpark Python API-Version für SMA wurde von 1.27.0 auf 1.33.0 aktualisiert.

• Der Status für die pyspark.sql.function.randn-Funktion wurde auf „Direkt“ aktualisiert.

Korrigiert¶

• Das Problem wurde behoben, bei dem org.apache.spark.SparkContext.parallelize nicht aufgelöst wurde und das nun als Transformation unterstützt wird.

• Das Problem mit der Dataset.persist-Transformation wurde behoben, um mit jeder Art von Datenset zu arbeiten, nicht nur mit Datenset[Zeile].

Hinzugefügt¶

• Die Zuordnungen für spark.DataReader-Methoden wurden angepasst.

• DataFrame.union ist jetzt DataFrame.unionAll.

• DataFrame.unionByName ist jetzt DataFrame.unionAllByName.

• Spalten mit mehrstufigen Artefaktabhängigkeiten wurden im Artefaktinventar hinzugefügt

• Eine neue Pandas EWIs-Dokumentation von PNDSPY1005 zu PNDSPY1010 wurde hinzugefügt.

• Eine bestimmte EWI für pandas.core.series.Series.apply wurde hinzugefügt.

Geändert¶

• Die Version von Snowpark Pandas API, unterstützt vom SMA, wurde von 1.27.0 auf 1.30.0 aktualisiert.

Korrigiert¶

• Das Problem mit fehlenden Werten in der Formel wurde behoben, um die SQL-Bereitschaftsbewertung zu erhalten.

• Der Fehler wurde behoben, der dazu führte, dass einige Pandas-Elemente die standardmäßige EWI-Nachricht von PySpark aufwiesen.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.19

Geändert¶

• Überarbeitete Pandas-Importe: Pandas-Importe verwenden jetzt `modin.pandas` anstelle von snowflake.snowpark.modin.pandas.

• Verbesserte `dbutils` und Magic Commands Transformation:

  • Eine neue sfutils.py-Datei wird jetzt generiert, und alle dbutils-Präfixe werden durch sfutils ersetzt.

  • Für Databricks (DBX)-Notebooks wird ein impliziter Import für sfutils automatisch hinzugefügt.

  • Das sfutils-Modul simuliert verschiedene dbutils-Methoden, einschließlich Dateisystemvorgänge (dutils.fs) über einen definierten Snowflake FileSystem (SFFS)-Stagingbereich und übernimmt die Ausführung des Notebooks (dutils.notebook.run), indem dieses in EXECUTE NOTEBOOK SQL-Funktionen umgewandelt wird.

  • dbutils.notebook.exit wird entfernt, da es in Snowflake nicht erforderlich ist.

Korrigiert¶

• Aktualisierungen in SnowConvert-Berichte: SnowConvert-Berichte enthalten jetzt die Spalte CellId, wenn Instanzen vom SMA stammen und die Spalte FileName den vollständigen Pfad anzeigt.

• Aktualisierte Artefakt-Abhängigkeit für SnowConvert-Berichte: Der Artefakt-Inventarbericht von SMA, der zuvor durch die Integration von SnowConvert beeinträchtigt wurde, wurde wiederhergestellt. Diese Aktualisierung aktiviert das SMA-Tool zur genauen Erfassung und Analyse von Object References und Missing Object References direkt aus SnowConvert-Berichten, um sicherzustellen, dass die SQL-Abhängigkeiten für das Inventar korrekt abgerufen werden.

Hinzugefügt¶

• Verbesserungen für die Telemetrie wurden hinzugefügt.

Korrigiert¶

• Korrektur der Dokumentationslinks im Popup-Fenster für Konvertierungseinstellungen und in Pandas EWIs.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.16

Hinzugefügt¶

• Transformieren von Spark XML in Snowpark

• Databricks SQL-Option in der SQL-Quellsprache

• Transformieren von JDBC-Leseverbindungen.

Geändert¶

• Alle SnowConvert-Berichte werden in die Backup-ZIP-Datei kopiert.

• Der Ordner wird von SqlReports in SnowConvertReports umbenannt.

• SqlFunctionsInventory wird in den Ordner Berichte verschoben.

• Alle SnowConvert-Berichte werden an die Telemetrie gesendet.

Korrigiert¶

• Nicht deterministisches Problem mit SQL-Bereitschaftsbewertung.

• Das Problem mit falsch-positivem kritischen Ergebnis wurde behoben, das den Desktop zum Absturz brachte.

• Das Problem wurde behoben, durch das im Abhängigkeitsbericht für Artefakte die SQL-Objekte nicht angezeigt wurden.

Korrigiert¶

• Das Problem mit der SMA-Ausführung unter dem neuesten Windows OS wurde behoben, wie bereits berichtet. Mit dieser Maßnahme werden die in Version 2.7.1 aufgetretenen Probleme behoben.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 8.0.1

Hinzugefügt¶

Der Snowpark Migration Accelerator (SMA) orchestriert nun SnowConvert, um die in Benutzer-Workloads gefundene SQL zu verarbeiten, einschließlich eingebetteter SQL in Python- bzw. Scala-Code, Notebook SQL-Zellen, .sql-Dateien und .hql-Dateien.

SnowConvert verbessert nun die vorherigen SMA-Fähigkeiten:

• Spark SQL

Ein neuer Ordner in den Berichten mit dem Namen SQL Berichte enthält die von SnowConvert generierten Berichte.

Bekannte Probleme¶

Die vorherige SMA-Version für SQL-Berichte wird in folgenden Fällen leer angezeigt:

• Für Berichte/SqlElementsInventory.csv, teilweise durch Berichte/SqlReports/Elements.yyyymmdd.hhmmss.csv. abgedeckt

• Für Berichte/SqlFunctionsInventory.csv siehe den neuen Speicherort mit demselben Namen unter Berichte/SqlReports/SqlFunctionsInventory.csv

Das Inventar der Artefakt-Abhängigkeiten:

• Im ArtifactDependencyInventory wird die Spalte für das SQL-Objekt leer angezeigt

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.4.0

Korrigiert¶

• Das Problem mit falschen Werten in der Datei „checkpoints.json“ wurde behoben.

  • Der Wert „sample“ war ohne Dezimalstellen (bei ganzzahligen Werten) und Anführungszeichen.

  • Der Wert „entrypoint“ enthielt Punkte anstelle von Schrägstrichen, und es fehlte die Dateierweiterung.

• Der Standardwert wurde in TRUE für die Einstellung „DBX-Notebooks in Snowflake-Notebooks konvertieren“ geändert

Desktop-App¶

• Mechanismus zur Erkennung von Checkpoints und Ausführungseinstellungen hinzugefügt.

• Mechanismus zum Sammeln von DBX-Magic-Befehlen in DbxElementsInventory.csv hinzugefügt

• Die Generierung von „checkpoints.json“ wurde zum Eingabeverzeichnis hinzugefügt.

• Eine neue EWI wurde für alle nicht unterstützten Magic-Befehle hinzugefügt.

• Die Sammlung von dbutils wurde zu DbxElementsInventory.csv von Scala-Quell-Notebooks hinzugefügt

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.53

Geändert¶

• Aktualisierungen zur Verarbeitung von Transformationen von DBX Scala-Elementen zu Jupyter Python-Elementen und zum Kommentieren des gesamten Codes der Zelle.

• Aktualisierungen zur Verarbeitung von Transformationen aus den Befehlen dutils.notebook.run und „r“; für den letzten Befehl auch den gesamten Code der Zelle auskommentieren.

• Name und Buchstabe des Schlüssels wurden aktualisiert, um die Konvertierung der Notebook-Dateien zu ermöglichen.

Korrigiert¶

• Es wurde ein Fehler behoben, der bei der Transformation von DBX-Notebooks in .ipynb-Dateien dazu führte, dass das falsche Format vorhanden war.

• Es wurde ein Fehler behoben, der dazu führte, dass .py DBX-Notebooks nicht in .ipynb-Dateien umgewandelt werden konnten.

• Es wurde ein Fehler behoben, der dazu führte, dass Kommentare im Ausgabecode von DBX-Notebooks fehlten.

• Es wurde ein Fehler behoben, der dazu führte, dass Scala-Rohdateien in ipynb-Dateien konvertiert wurden.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.42

Geändert¶

DataFramesInventory wurde zum Füllen der Spalte EntryPoints aktualisiert

Desktop-App¶

Hinzugefügt¶

• Aktualisierung von DBx EWI-Link in der UI-Ergebnisseite

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.39

Hinzugefügt¶

• Generierung des Inventars für Ausführungsablauf hinzugefügt.

• Implizites Sitzungs-Setup zu jeder DBx-Notebook-Transformation hinzugefügt

Geändert¶

• DbUtilsUsagesInventory.csv wurde in DbxElementsInventory.csv umbenannt

Korrigiert¶

• Es wurde ein Fehler behoben, der einen Fehler beim Parsen verursachte, wenn nach einem Typhinweis ein Backslash folgte.

• Korrektur von relativen Importen, die nicht mit einem Punkt beginnen, und relativen Importen mit einem Stern.

Desktop-App¶

Hinzugefügt¶

• Ein neuer Umschalter für Konvertierungseinstellungen wurde hinzugefügt, um das Sma-Checkpoints-Feature zu aktivieren oder zu deaktivieren.

• Es wurde ein Berichtsfehler behoben, damit kein Absturz erfolgt, wenn die Post-API 500 zurückgibt

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.2.26

Hinzugefügt¶

• Die Generierung der Datei „checkpoints.json“ im Ausgabeordner wurde auf der Grundlage von DataFramesInventory.csv hinzugefügt.

• Flag „disableCheckpoints“ wurde zu CLI-Befehlen und zusätzlichen Parametern des Codeprozessors hinzugefügt.

• Eine neue Ersetzung für Python wurde hinzugefügt, um den Knoten „dbutils.notebook.run“ zu transformieren.

• Neue Ersetzungen wurden hinzugefügt, um den magischen Befehl %run umzuwandeln.

• Neue Ersetzungen (Python und Scala) wurden hinzugefügt, um den Knoten „dbutils.notebook.exit“ zu entfernen.

• Die Spalte „Speicherort“ wurde zum Inventar der Artefakte hinzugefügt.

Geändert¶

• Das in einigen Teilen der Lösung verwendete normalisierte Trennzeichen für Verzeichnisse wurde überarbeitet.

• Zentralisiert die Handhabung von Namen des DBC-Extraktionsarbeitsordners

• Version von Snowpark und Pandas auf v1.27.0 aktualisiert

• Inventarspalten für Artefakte wurden aktualisiert auf:

  • Name > Abhängigkeit

  • Datei -> FileId

  • Status > Status_detail

• Eine neue Spalte zum Inventar von Artefakten wurde hinzugefügt:

  • Erfolg

Korrigiert¶

• Datenframes-Inventar wurde nicht korrekt in den Stagingbereich hochgeladen.

Enthaltene SMA Core-Versionen ¶

• Snowpark Conversion Core 7.2.0

wurde hinzugefügt¶

• Ein Inventar der Artefaktabhängigkeiten

• Eine Ersetzung und EWI für pyspark.sql.types.StructType.fieldNames-Methode für snowflake.snowpark.types.StructType.fieldNames-Attribut.

• Die folgenden PySpark-Funktionen mit dem Status:

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

Die folgenden Pandas-Funktionen mit Status

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Aktualisieren Sie die folgenden Pyspark-Funktionen mit dem Status

Von WorkAround zu „Direkt“

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

Von NotSupported zu „Direkt“

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Die folgenden Pandas-Funktionen wurden mit dem Status aktualisiert

Von NotSupported zu „Direkt“

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Enthaltene SMA Core-Versionen ¶

• Snowpark Conversion Core 7.1.13

wurde hinzugefügt¶

• Die CSV-Generator-Klasse für neue Inventarerstellung wurde hinzugefügt.

• Die Spalte „full_name“ zum Importieren des Nutzungsinventars wurde hinzugefügt.

• Die Transformation von „pyspark.sql.functions.concat_ws“ zu „snowflake.snowpark.functions._concat_ws_ignore_nulls“ wurde hinzugefügt.

• Die Logik zur Generierung von „checkpoints.json“ wurde hinzugefügt.

• Inventare wurden hinzugefügt:

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Desktop-App ¶

• Die Lizenzvereinbarung wurde aktualisiert, Akzeptanz ist erforderlich.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 7.1.2

Hinzugefügt

Der Zuordnungsstatus für die folgenden Pandas-Elemente wurde von NotSupported auf Direkt aktualisiert

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

Der Zuordnungsstatus für die folgenden PySpark-Elemente wurde von Umbenennen auf Direkt aktualisiert

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

wurde behoben¶

• Das Format der Versionsnummer in den Inventaren wurde vereinheitlicht.

Hinzugefügt¶

Geändert¶

• Aktualisieren Sie .NET auf Version v9.0.0.

• Verbessert EWI SPRKPY1068.

• Die von SMA unterstützte Version von Snowpark Python API wurde von 1.24.0 auf 1.25.0 erhöht.

• Die detaillierte Berichtsvorlage wurde aktualisiert und enthält jetzt die Snowpark-Version für Pandas.

• Die folgenden Bibliotheken wurden von ThirdPartyLib auf BuiltIn geändert.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Bekanntes Problem¶

• Diese Version enthält ein Problem bei der Konvertierung des Beispielprojekts, das in dieser Version nicht funktioniert. Es wird im nächsten Release behoben werden

Desktop-App¶

• Link zur Fehlerbehebungsanleitung im Modalfenster für Absturzberichte hinzugefügt.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.15.0

Hinzugefügt¶

• Die folgenden PySpark-Elemente wurden der ConversionStatusPySpark.csv-Datei als NotSupportedhinzugefügt:

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Geändert¶

• Aktualisiertes Hive SQL EWIs-Format.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Aktualisiertes Spark SQL EWIs-Format.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass einige PySpark-Elemente vom Tool nicht erkannt wurden.

• Die Nichtübereinstimmung zwischen den in ThirdParty identifizierten Anrufen und der Anzahl der importierten ThirdParty Anrufe wurde korrigiert.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.14.0

Hinzugefügt added¶

• Die folgenden Spark-Elemente wurden zu ConversionStatusPySpark.csv hinzugefügt:

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Geändert¶

• Die Dokumentation der Pandas EWIs, PNDSPY1001, PNDSPY1002 und PNDSPY1003 SPRKSCL1137 wurde an ein standardisiertes Format angepasst, um Konsistenz und Klarheit für alle EWIs zu gewährleisten.

• Die Dokumentation der folgenden Scala EWIs wurde aktualisiert: SPRKSCL1106 und SPRKSCL1107. Zu erfolgende Anpassung an ein standardisiertes Format, um Konsistenz und Klarheit in allen EWIs zu gewährleisten.

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass die Symbole von UserDefined im Inventar der Drittanbieter-Nutzungen angezeigt wurden.

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.13.1

Befehlszeilenschnittstelle¶

Geändert

• Zeitstempel für den Ausgabeordner hinzugefügt.

Hinzugefügt¶

• Spalte ‚Ausgangssprache‘ zur Tabelle der Bibliothekszuordnungen hinzugefügt

• Andere als neue Kategorie in der Pandas API-Zusammenfassung-Tabelle der DetailedReport.docx-Datei hinzugefügt

Geändert¶

• Die Dokumentation für Python EWI SPRKPY1058 wurde aktualisiert.

• Die Meldung für pandas EWI PNDSPY1002 wurde aktualisiert, um das relate pandas-Element anzuzeigen.

• Die Art und Weise, wie wir die .csv-Berichte erstellt haben, wurde aktualisiert und wird nun nach einem zweiten Durchlauf überschrieben.

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu geführt hat, dass Notebook-Dateien in der Ausgabe nicht erzeugt wurden.

• Der Ersetzer für die Methoden get und set von pyspark.sql.conf wurde korrigiert.RuntimeConfig, der Ersetzer entspricht nun den korrekten vollständigen Namen.

• Fehlerhafte Version des Abfrage-Tags wurde korrigiert.

• Als ThirdPartyLib gemeldete UserDefined-Pakete wurden korrigiert.

\

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.12.0

Desktop-App¶

Korrigiert

• Korrektur von Problemen mit der Groß- und Kleinschreibung in –sql Optionen.

Entfernt

• Entfernen Sie den Plattformnamen aus der show-ac-Meldung.

Hinzugefügt¶

• Unterstützung für Snowpark Python 1.23.0 und 1.24.0 wurde hinzugefügt.

• Eine neue EWI für die pyspark.sql.dataframe.DataFrame.writeTo-Funktion wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1087.

Geändert¶

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1137 auf SPRKSCL1156 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1117 auf SPRKSCL1136 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit für alle EWIs gewährleistet.

• Die Meldung, die für die folgende EWIs angezeigt wird, wurde aktualisiert:

  • SPRKPY1082

  • SPRKPY1083

• Die Dokumentation der Scala EWIs wurde von SPRKSCL1100 auf SPRKSCL1105, von SPRKSCL1108 auf SPRKSCL1116; von SPRKSCL1157 auf SPRKSCL1175 aktualisiert, um ein standardisiertes Format zu erhalten, das Konsistenz und Klarheit in allen EWIs gewährleistet.

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von NotSupported auf Direkt mit EWI aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1089

• Der Zuordnungsstatus der folgenden PySpark-Elemente wurde von Workaround auf Umbenennen aktualisiert:

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Aktualisierte EWI-Dokumentation: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Entfernt¶

• Das pyspark.sql.dataframe.DataFrameStatFunctions.writeTo-Element wurde aus dem Konvertierungsstatus entfernt, dieses Element existiert nicht.

Veraltet¶

• Die folgenden EWI-Codes sind veraltet:

  • SPRKPY1081

  • SPRKPY1084

Hinzugefügt¶

• Der Issues.csv-Datei wurde eine neue Spalte namens Url hinzugefügt, die auf die entsprechende EWI Dokumentation weiterleitet.

• Neue EWIs für die folgenden Spark-Elemente wurden hinzugefügt:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38 neue Pandas-Elemente wurden hinzugefügt:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Enthaltene SMA Core-Versionen¶

• Snowpark Conversion Core 4.10.0

Desktop-App¶

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA in der Menüleiste der Windows-Version die Bezeichnung SnowConvert anstelle von Snowpark Migration Accelerator anzeigte.

• Es wurde ein Fehler korrigiert, der zum Absturz von SMA führte, wenn das Programm keine Lese- und Schreibrechte für das Verzeichnis .config in macOS und das Verzeichnis AppData in Windows hatte.

Befehlszeilenschnittstelle¶

Geändert

• Der Name der ausführbaren Datei CLI wurde von snowct in sma umbenannt.

• Das Argument für die Quellsprache wurde entfernt, so dass Sie nicht mehr angeben müssen, ob Sie eine Python- oder Scala-Bewertung/Konvertierung durchführen.

• Die von CLI unterstützten Befehlszeilenargumente wurden um die folgenden neuen Argumente erweitert:

  • --enableJupyter | -j: Flagge, die angibt, ob die Konvertierung von Databricks-Notebooks in Jupyter aktiviert ist oder nicht.

  • --sql | -f: Syntax der Datenbank-Engine, die verwendet werden soll, wenn ein SQL-Befehl erkannt wird.

  • --customerEmail | -e: Konfigurieren der Kunden-E-Mail.

  • --customerCompany | -c: Konfigurieren der Kundenfirma.

  • --projectName | -p: Konfigurieren Sie das Kundenprojekt.

• Einige Texte wurden aktualisiert, um den korrekten Namen der Anwendung wiederzugeben und die Konsistenz und Klarheit aller Meldungen zu gewährleisten.

• Aktualisieren Sie die Nutzungsbedingungen der Anwendung.

• Die Dokumentation von CLI wurde aktualisiert und erweitert, um die neuesten Features, Verbesserungen und Änderungen zu berücksichtigen.

• Der Text, der vor der Ausführung von SMA angezeigt wird, wurde verbessert.

• Das CLI wurde aktualisiert, sodass „Ja“ als gültiges Argument akzeptiert wird, wenn der Benutzer zur Bestätigung aufgefordert wird.

• Ermöglicht es CLI, die Ausführung fortzusetzen, ohne auf eine Interaktion des Benutzers zu warten, indem Sie das Argument -y oder --yes angeben.

• Die Hilfeinformationen für das Argument --sql wurden aktualisiert, um die Werte anzuzeigen, die dieses Argument erwartet.

Hinzugefügt¶

• Eine neue EWI für die Funktion pyspark.sql.readwriter.DataFrameWriter partitionBy wurde hinzugefügt. Alle Verwendungen dieser Funktion verfügen nun über die EWI SPRKPY1081.

• Der Datei ImportUsagesInventory.csv wurde eine neue Spalte namens Technologie hinzugefügt.

Geändert¶

• Die Bereitschaftsbewertung von Drittanbieter-Bibliotheken wurde aktualisiert, um auch die Unbekannten Bibliotheken zu berücksichtigen.

• Die Datei AssessmentFiles.zip wurde aktualisiert und enthält nun .json-Dateien anstelle von .pam-Dateien.

• Der Konvertierungsmechanismus von CSV zu JSON wurde verbessert, um die Verarbeitung von Beständen leistungsfähiger zu machen.

• Die Dokumentation der folgenden EWIs wurde verbessert:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Direkt auf Umbenennen aktualisiert.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Der Zuordnungsstatus der folgenden Spark Scala-Elemente wurde von Nicht unterstütz auf Direkt aktualisiert.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Korrigiert¶

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA die Spalte Herkunft der ImportUsagesInventory. csv-Datei falsch befüllt hat.

• Es wurde ein Fehler korrigiert, der dazu führte, dass SMA-Importe der Bibliotheken io, json, logging und unittest in der ImportUsagesInventory.csv-Datei und in der DetailedReport.docx-Datei nicht als Python built-in Importe klassifizierte.

Hinzugefügt¶

• EwiCatalog.csv und .md-Dateien hinzugefügt, um die Dokumentation zu reorganisieren

• Der Zuordnungsstatus von pyspark.sql.functions.ln Direct wurde hinzugefügt.

• Eine Transformation für pyspark.context.SparkContext.getOrCreate wurde hinzugefügt.

  • Weitere Einzelheiten finden Sie unter EWI SPRKPY1080.

• Es wurde eine Verbesserung für SymbolTable hinzugefügt, um den Typ von Parametern in Funktionen zu ermitteln.

• Hinzugefügte SymbolTable unterstützt statische Methoden und geht nicht davon aus, dass der erste Parameter bei diesen Methoden „self“ ist.

• Eine Dokumentation für fehlende EWIs wurde hinzugefügt

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Geändert¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.functions.array_remove von NotSupported zu Direkt.

Korrigiert¶

• Die Tabelle „Code-Dateigröße“ im Detailbericht wurde korrigiert, um .sql- und .hql-Dateien auszuschließen, und die Zeile „Extra groß“ wurde zur Tabelle hinzugefügt.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Python definiert ist.

• Das Fehlen des update_query_tag wurde korrigiert, wenn SparkSession in mehreren Zeilen auf Scala definiert ist.

• Das Fehlen von EWI SPRKHVSQL1001 bei einigen SQL-Anweisungen mit Parsing-Fehlern wurde korrigiert.

• Feste Werte für neue Zeilen innerhalb von Zeichenfolgenliteralen korrigiert

• Die Anzeige der Gesamtanzahl der Codezeilen in der Dateityp-Übersichtstabelle wurde korrigiert

• Als 0 angezeigter Parsing-Score bei erfolgreich erkannten Dateien wurde korrigiert

• LOC-Zählung im Zellenbestand für Databricks Magic SQL-Zellen wurde korrigiert

Hinzugefügt¶

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.parquet.

• Hinzufügen der Transformation für pyspark.sql.readwriter.DataFrameReader.option, wenn es sich um eine Parquet-Methode handelt.

Geändert¶

• Der Zuordnungsstatus wurde aktualisiert von:

  • pyspark.sql.types.StructType.fields von NotSupported nach Direkt.

  • pyspark.sql.types.StructType.names von NotSupported nach Direkt.

  • pyspark.context.SparkContext.setLogLevel von Workaround zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKPY1078 und SPRKPY1079

  • org.apache.spark.sql.functions.round von WorkAround zu Direkt.

  • org.apache.spark.sql.functions.udf von NotDefined zu Transformation.

    • Weitere Einzelheiten finden Sie unter EWIs SPRKSCL1174 und SPRKSCL1175

• Der Zuordnungsstatus der folgenden Spark-Elemente wurde von DirectHelper auf Direkt aktualisiert:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile