Snowpark Migration Accelerator: リリースノート¶

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.60

Included SnowConvert AI Version¶

• SnowConvert AI Version 2.2.0 (Release Notes)

追加済み¶

• Added support for processing files located in a hidden folder (such as .databricks when exported from the source). These files are now correctly processed by the SMA.

• Added 245 new PySpark elements to the SMA mapping table with a NotSupported status. These entries correspond to functions and methods introduced in PySpark 3.3.0 through 4.1.x:

  • 219 functions (pyspark.sql.functions)

  • 4 DataFrame methods

  • 3 Column methods

  • 5 Session methods

  • 2 ReadWriter methods

  • 12 Types classes

• Added new EWIs for the following Pandas elements:

  • PNDSPY1019: pandas.core.arrays.datetimelike.DatelikeOps.strftime partial support

  • PNDSPY1020: pandas.core.arrays.datetimelike.TimelikeOps.ceil partial support

  • PNDSPY1021: pandas.core.arrays.datetimelike.TimelikeOps.floor partial support

  • PNDSPY1022: pandas.core.arrays.datetimelike.TimelikeOps.round partial support

  • PNDSPY1023: pandas.core.arrays.datetimes.DatetimeArray.day_name partial support

  • PNDSPY1024: pandas.core.arrays.datetimes.DatetimeArray.month_name partial support

  • PNDSPY1025: pandas.core.arrays.datetimes.DatetimeArray.tz_convert partial support

  • PNDSPY1026: pandas.core.arrays.datetimes.DatetimeArray.tz_localize partial support

  • PNDSPY1027: pandas.core.base.IndexOpsMixin.argmax partial support

  • PNDSPY1028: pandas.core.base.IndexOpsMixin.argmin partial support

  • PNDSPY1029: pandas.core.base.IndexOpsMixin.value_counts partial support

  • PNDSPY1030: pandas.core.frame.DataFrame.T partial support

  • PNDSPY1031: pandas.core.frame.DataFrame.__dataframe__ partial support

  • PNDSPY1032: pandas.core.frame.DataFrame.add partial support

  • PNDSPY1033: pandas.core.frame.DataFrame.align partial support

  • PNDSPY1034: pandas.core.frame.DataFrame.all partial support

  • PNDSPY1035: pandas.core.frame.DataFrame.any partial support

  • PNDSPY1036: pandas.core.frame.DataFrame.applymap partial support

  • PNDSPY1037: pandas.core.frame.DataFrame.asfreq partial support

  • PNDSPY1038: pandas.core.frame.DataFrame.astype partial support

  • PNDSPY1039: pandas.core.frame.DataFrame.at partial support

  • PNDSPY1040: pandas.core.frame.DataFrame.backfill partial support

  • PNDSPY1041: pandas.core.frame.DataFrame.bfill partial support

  • PNDSPY1042: pandas.core.frame.DataFrame.compare partial support

  • PNDSPY1043: pandas.core.frame.DataFrame.corr partial support

  • PNDSPY1044: pandas.core.frame.DataFrame.cumsum partial support

  • PNDSPY1045: pandas.core.frame.DataFrame.div partial support

  • PNDSPY1046: pandas.core.frame.DataFrame.divide partial support

  • PNDSPY1047: pandas.core.frame.DataFrame.dropna partial support

  • PNDSPY1048: pandas.core.frame.DataFrame.eq partial support

  • PNDSPY1049: pandas.core.frame.DataFrame.eval partial support

  • PNDSPY1050: pandas.core.frame.DataFrame.expanding partial support

  • PNDSPY1051: pandas.core.frame.DataFrame.ffill partial support

  • PNDSPY1052: pandas.core.frame.DataFrame.fillna partial support

  • PNDSPY1053: pandas.core.frame.DataFrame.floordiv partial support

  • PNDSPY1054: pandas.core.frame.DataFrame.from_records partial support

  • PNDSPY1055: pandas.core.frame.DataFrame.ge partial support

  • PNDSPY1056: pandas.core.frame.DataFrame.groupby partial support

  • PNDSPY1057: pandas.core.frame.DataFrame.gt partial support

  • PNDSPY1058: pandas.core.frame.DataFrame.idxmax partial support

  • PNDSPY1059: pandas.core.frame.DataFrame.idxmin partial support

  • PNDSPY1060: pandas.core.frame.DataFrame.info partial support

  • PNDSPY1061: pandas.core.frame.DataFrame.join partial support

  • PNDSPY1062: pandas.core.frame.DataFrame.le partial support

  • PNDSPY1063: pandas.core.frame.DataFrame.loc partial support

  • PNDSPY1064: pandas.core.frame.DataFrame.lt partial support

  • PNDSPY1065: pandas.core.frame.DataFrame.map partial support

  • PNDSPY1066: pandas.core.frame.DataFrame.mask partial support

  • PNDSPY1067: pandas.core.frame.DataFrame.melt partial support

  • PNDSPY1068: pandas.core.frame.DataFrame.merge partial support

  • PNDSPY1069: pandas.core.frame.DataFrame.mod partial support

  • PNDSPY1070: pandas.core.frame.DataFrame.mul partial support

  • PNDSPY1071: pandas.core.frame.DataFrame.multiply partial support

  • PNDSPY1072: pandas.core.frame.DataFrame.ne partial support

  • PNDSPY1073: pandas.core.frame.DataFrame.nlargest partial support

  • PNDSPY1074: pandas.core.frame.DataFrame.nsmallest partial support

  • PNDSPY1075: pandas.core.frame.DataFrame.nunique partial support

  • PNDSPY1076: pandas.core.frame.DataFrame.pad partial support

  • PNDSPY1077: pandas.core.frame.DataFrame.pct_change partial support

  • PNDSPY1078: pandas.core.frame.DataFrame.pivot partial support

  • PNDSPY1079: pandas.core.frame.DataFrame.pivot_table partial support

  • PNDSPY1080: pandas.core.frame.DataFrame.pow partial support

  • PNDSPY1081: pandas.core.frame.DataFrame.quantile partial support

  • PNDSPY1082: pandas.core.frame.DataFrame.radd partial support

  • PNDSPY1083: pandas.core.frame.DataFrame.rank partial support

  • PNDSPY1084: pandas.core.frame.DataFrame.rdiv partial support

  • PNDSPY1085: pandas.core.frame.DataFrame.reindex partial support

  • PNDSPY1086: pandas.core.frame.DataFrame.rename partial support

  • PNDSPY1087: pandas.core.frame.DataFrame.replace partial support

  • PNDSPY1088: pandas.core.frame.DataFrame.resample partial support

  • PNDSPY1089: pandas.core.frame.DataFrame.rfloordiv partial support

  • PNDSPY1090: pandas.core.frame.DataFrame.rmod partial support

  • PNDSPY1091: pandas.core.frame.DataFrame.rmul partial support

  • PNDSPY1092: pandas.core.frame.DataFrame.rolling partial support

  • PNDSPY1093: pandas.core.frame.DataFrame.round partial support

  • PNDSPY1094: pandas.core.frame.DataFrame.rpow partial support

  • PNDSPY1095: pandas.core.frame.DataFrame.rsub partial support

  • PNDSPY1096: pandas.core.frame.DataFrame.rtruediv partial support

  • PNDSPY1097: pandas.core.frame.DataFrame.sample partial support

  • PNDSPY1098: pandas.core.frame.DataFrame.shift partial support

  • PNDSPY1099: pandas.core.frame.DataFrame.skew partial support

  • PNDSPY1100: pandas.core.frame.DataFrame.sort_index partial support

  • PNDSPY1101: pandas.core.frame.DataFrame.sort_values partial support

  • PNDSPY1102: pandas.core.frame.DataFrame.stack partial support

  • PNDSPY1103: pandas.core.frame.DataFrame.std partial support

  • PNDSPY1104: pandas.core.frame.DataFrame.sub partial support

  • PNDSPY1105: pandas.core.frame.DataFrame.subtract partial support

  • PNDSPY1106: pandas.core.frame.DataFrame.to_csv partial support

  • PNDSPY1107: pandas.core.frame.DataFrame.transform partial support

  • PNDSPY1108: pandas.core.frame.DataFrame.transpose partial support

  • PNDSPY1109: pandas.core.frame.DataFrame.truediv partial support

  • PNDSPY1110: pandas.core.frame.DataFrame.tz_convert partial support

  • PNDSPY1111: pandas.core.frame.DataFrame.tz_localize partial support

  • PNDSPY1112: pandas.core.frame.DataFrame.unstack partial support

  • PNDSPY1113: pandas.core.frame.DataFrame.var partial support

  • PNDSPY1114: pandas.core.frame.DataFrame.where partial support

  • PNDSPY1115: pandas.core.generic.NDFrame.shift partial support

  • PNDSPY1116: pandas.core.groupby.generic.DataFrameGroupBy.agg partial support

  • PNDSPY1117: pandas.core.groupby.generic.DataFrameGroupBy.aggregate partial support

  • PNDSPY1118: pandas.core.groupby.generic.DataFrameGroupBy.fillna partial support

  • PNDSPY1119: pandas.core.groupby.generic.DataFrameGroupBy.idxmax partial support

  • PNDSPY1120: pandas.core.groupby.generic.DataFrameGroupBy.idxmin partial support

  • PNDSPY1121: pandas.core.groupby.generic.DataFrameGroupBy.transform partial support

  • PNDSPY1122: pandas.core.groupby.generic.DataFrameGroupBy.value_counts partial support

  • PNDSPY1123: pandas.core.groupby.groupby.BaseGroupBy.get_group partial support

  • PNDSPY1124: pandas.core.groupby.groupby.GroupBy.all partial support

  • PNDSPY1125: pandas.core.groupby.groupby.GroupBy.any partial support

  • PNDSPY1126: pandas.core.groupby.groupby.GroupBy.apply partial support

  • PNDSPY1127: pandas.core.groupby.groupby.GroupBy.bfill partial support

  • PNDSPY1128: pandas.core.groupby.groupby.GroupBy.ffill partial support

  • PNDSPY1129: pandas.core.groupby.groupby.GroupBy.first partial support

  • PNDSPY1130: pandas.core.groupby.groupby.GroupBy.last partial support

  • PNDSPY1131: pandas.core.groupby.groupby.GroupBy.pct_change partial support

  • PNDSPY1132: pandas.core.groupby.groupby.GroupBy.quantile partial support

  • PNDSPY1133: pandas.core.groupby.groupby.GroupBy.resample partial support

  • PNDSPY1134: pandas.core.groupby.groupby.GroupBy.rolling partial support

  • PNDSPY1135: pandas.core.groupby.groupby.GroupBy.shift partial support

  • PNDSPY1136: pandas.core.groupby.groupby.GroupBy.std partial support

  • PNDSPY1137: pandas.core.groupby.groupby.GroupBy.var partial support

  • PNDSPY1138: pandas.core.indexes.base.Index.all partial support

  • PNDSPY1139: pandas.core.indexes.base.Index.any partial support

  • PNDSPY1140: pandas.core.indexes.base.Index.nlevels partial support

  • PNDSPY1141: pandas.core.indexes.base.Index.reindex partial support

  • PNDSPY1142: pandas.core.indexes.base.Index.sort_values partial support

  • PNDSPY1143: pandas.core.indexes.datetimes.DatetimeIndex.ceil partial support

  • PNDSPY1144: pandas.core.indexes.datetimes.DatetimeIndex.day_name partial support

  • PNDSPY1145: pandas.core.indexes.datetimes.DatetimeIndex.floor partial support

  • PNDSPY1146: pandas.core.indexes.datetimes.DatetimeIndex.month_name partial support

  • PNDSPY1147: pandas.core.indexes.datetimes.DatetimeIndex.round partial support

  • PNDSPY1148: pandas.core.indexes.datetimes.DatetimeIndex.std partial support

  • PNDSPY1149: pandas.core.indexes.datetimes.DatetimeIndex.tz_convert partial support

  • PNDSPY1150: pandas.core.indexes.datetimes.DatetimeIndex.tz_localize partial support

  • PNDSPY1151: pandas.core.indexes.datetimes.bdate_range partial support

  • PNDSPY1152: pandas.core.indexes.datetimes.date_range partial support

  • PNDSPY1153: pandas.core.resample.Resampler.asfreq partial support

  • PNDSPY1154: pandas.core.resample.Resampler.bfill partial support

  • PNDSPY1155: pandas.core.resample.Resampler.ffill partial support

  • PNDSPY1156: pandas.core.resample.Resampler.fillna partial support

  • PNDSPY1157: pandas.core.resample.Resampler.first partial support

  • PNDSPY1158: pandas.core.resample.Resampler.last partial support

  • PNDSPY1159: pandas.core.resample.Resampler.quantile partial support

  • PNDSPY1160: pandas.core.resample.Resampler.std partial support

  • PNDSPY1161: pandas.core.resample.Resampler.var partial support

  • PNDSPY1162: pandas.core.reshape.concat.concat partial support

  • PNDSPY1163: pandas.core.reshape.melt.melt partial support

  • PNDSPY1164: pandas.core.reshape.merge.merge partial support

  • PNDSPY1165: pandas.core.reshape.merge.merge_asof partial support

  • PNDSPY1166: pandas.core.reshape.pivot.crosstab partial support

  • PNDSPY1167: pandas.core.reshape.pivot.pivot partial support

  • PNDSPY1168: pandas.core.reshape.pivot.pivot_table partial support

  • PNDSPY1169: pandas.core.reshape.tile.cut partial support

  • PNDSPY1170: pandas.core.reshape.tile.qcut partial support

  • PNDSPY1171: pandas.core.series.Series.add partial support

  • PNDSPY1172: pandas.core.series.Series.all partial support

  • PNDSPY1173: pandas.core.series.Series.any partial support

  • PNDSPY1174: pandas.core.series.Series.case_when partial support

  • PNDSPY1175: pandas.core.series.Series.compare partial support

  • PNDSPY1176: pandas.core.series.Series.cumsum partial support

  • PNDSPY1177: pandas.core.series.Series.div partial support

  • PNDSPY1178: pandas.core.series.Series.divide partial support

  • PNDSPY1179: pandas.core.series.Series.dropna partial support

  • PNDSPY1180: pandas.core.series.Series.eq partial support

  • PNDSPY1181: pandas.core.series.Series.flags partial support

  • PNDSPY1182: pandas.core.series.Series.floordiv partial support

  • PNDSPY1183: pandas.core.series.Series.ge partial support

  • PNDSPY1184: pandas.core.series.Series.groupby partial support

  • PNDSPY1185: pandas.core.series.Series.gt partial support

  • PNDSPY1186: pandas.core.series.Series.le partial support

  • PNDSPY1187: pandas.core.series.Series.lt partial support

  • PNDSPY1188: pandas.core.series.Series.map partial support

  • PNDSPY1189: pandas.core.series.Series.mod partial support

  • PNDSPY1190: pandas.core.series.Series.mul partial support

  • PNDSPY1191: pandas.core.series.Series.multiply partial support

  • PNDSPY1192: pandas.core.series.Series.ne partial support

  • PNDSPY1193: pandas.core.series.Series.nlargest partial support

  • PNDSPY1194: pandas.core.series.Series.nsmallest partial support

  • PNDSPY1195: pandas.core.series.Series.pow partial support

  • PNDSPY1196: pandas.core.series.Series.quantile partial support

  • PNDSPY1197: pandas.core.series.Series.radd partial support

  • PNDSPY1198: pandas.core.series.Series.rdiv partial support

  • PNDSPY1199: pandas.core.series.Series.reindex partial support

  • PNDSPY1200: pandas.core.series.Series.rename partial support

  • PNDSPY1201: pandas.core.series.Series.rfloordiv partial support

  • PNDSPY1202: pandas.core.series.Series.rmod partial support

  • PNDSPY1203: pandas.core.series.Series.rmul partial support

  • PNDSPY1204: pandas.core.series.Series.rpow partial support

  • PNDSPY1205: pandas.core.series.Series.rsub partial support

  • PNDSPY1206: pandas.core.series.Series.rtruediv partial support

  • PNDSPY1207: pandas.core.series.Series.skew partial support

  • PNDSPY1208: pandas.core.series.Series.sort_index partial support

  • PNDSPY1209: pandas.core.series.Series.sort_values partial support

  • PNDSPY1210: pandas.core.series.Series.std partial support

  • PNDSPY1211: pandas.core.series.Series.sub partial support

  • PNDSPY1212: pandas.core.series.Series.subtract partial support

  • PNDSPY1213: pandas.core.series.Series.truediv partial support

  • PNDSPY1214: pandas.core.series.Series.unstack partial support

  • PNDSPY1215: pandas.core.series.Series.var partial support

  • PNDSPY1216: pandas.core.strings.accessor.StringMethods.__getitem__ partial support

  • PNDSPY1217: pandas.core.strings.accessor.StringMethods.contains partial support

  • PNDSPY1218: pandas.core.strings.accessor.StringMethods.endswith partial support

  • PNDSPY1219: pandas.core.strings.accessor.StringMethods.get partial support

  • PNDSPY1220: pandas.core.strings.accessor.StringMethods.isdigit partial support

  • PNDSPY1221: pandas.core.strings.accessor.StringMethods.len partial support

  • PNDSPY1222: pandas.core.strings.accessor.StringMethods.lstrip partial support

  • PNDSPY1223: pandas.core.strings.accessor.StringMethods.replace partial support

  • PNDSPY1224: pandas.core.strings.accessor.StringMethods.rstrip partial support

  • PNDSPY1225: pandas.core.strings.accessor.StringMethods.slice partial support

  • PNDSPY1226: pandas.core.strings.accessor.StringMethods.split partial support

  • PNDSPY1227: pandas.core.strings.accessor.StringMethods.startswith partial support

  • PNDSPY1228: pandas.core.strings.accessor.StringMethods.strip partial support

  • PNDSPY1229: pandas.core.strings.accessor.StringMethods.translate partial support

  • PNDSPY1230: pandas.core.tools.datetimes.to_datetime partial support

  • PNDSPY1231: pandas.core.tools.numeric.to_numeric partial support

  • PNDSPY1232: pandas.core.tools.timedeltas.to_timedelta partial support

  • PNDSPY1233: pandas.core.window.ewm.ExponentialMovingWindow.corr partial support

  • PNDSPY1234: pandas.core.window.ewm.ExponentialMovingWindow.mean partial support

  • PNDSPY1235: pandas.core.window.ewm.ExponentialMovingWindow.std partial support

  • PNDSPY1236: pandas.core.window.ewm.ExponentialMovingWindow.sum partial support

  • PNDSPY1237: pandas.core.window.ewm.ExponentialMovingWindow.var partial support

  • PNDSPY1238: pandas.core.window.expanding.Expanding.corr partial support

  • PNDSPY1239: pandas.core.window.expanding.Expanding.count partial support

  • PNDSPY1240: pandas.core.window.expanding.Expanding.max partial support

  • PNDSPY1241: pandas.core.window.expanding.Expanding.mean partial support

  • PNDSPY1242: pandas.core.window.expanding.Expanding.min partial support

  • PNDSPY1243: pandas.core.window.expanding.Expanding.sem partial support

  • PNDSPY1244: pandas.core.window.expanding.Expanding.std partial support

  • PNDSPY1245: pandas.core.window.expanding.Expanding.sum partial support

  • PNDSPY1246: pandas.core.window.expanding.Expanding.var partial support

  • PNDSPY1247: pandas.core.window.rolling.Rolling.corr partial support

  • PNDSPY1248: pandas.core.window.rolling.Rolling.count partial support

  • PNDSPY1249: pandas.core.window.rolling.Rolling.max partial support

  • PNDSPY1250: pandas.core.window.rolling.Rolling.mean partial support

  • PNDSPY1251: pandas.core.window.rolling.Rolling.min partial support

  • PNDSPY1252: pandas.core.window.rolling.Rolling.sem partial support

  • PNDSPY1253: pandas.core.window.rolling.Rolling.std partial support

  • PNDSPY1254: pandas.core.window.rolling.Rolling.sum partial support

  • PNDSPY1255: pandas.core.window.rolling.Rolling.var partial support

  • PNDSPY1256: pandas.core.window.rolling.Window.mean partial support

  • PNDSPY1257: pandas.core.window.rolling.Window.std partial support

  • PNDSPY1258: pandas.core.window.rolling.Window.sum partial support

  • PNDSPY1259: pandas.core.window.rolling.Window.var partial support

  • PNDSPY1260: pandas.io.json._json.read_json partial support

  • PNDSPY1261: pandas.io.parquet.read_parquet partial support

  • PNDSPY1262: pandas.io.parsers.readers.read_csv partial support

変更済み¶

• Updated the sfutils library implementation to support multiple levels of notebooks calls

• Upgraded supported Snowpark Python version from v1.41.0 to v1.43.0. This upgrade includes the following mapping status changes: NotSupported → Direct (8 functions):

  • pyspark.sql.functions.bool_and → snowflake.snowpark.functions.booland_agg

  • pyspark.sql.functions.bucket → snowflake.snowpark.functions.bucket

  • pyspark.sql.functions.cot → snowflake.snowpark.functions.cot

  • pyspark.sql.functions.day → snowflake.snowpark.functions.day

  • pyspark.sql.functions.every → snowflake.snowpark.functions.booland_agg

  • pyspark.sql.functions.pi → snowflake.snowpark.functions.pi

  • pyspark.sql.functions.width_bucket → snowflake.snowpark.functions.width_bucket

  • pyspark.sql.functions.zeroifnull → snowflake.snowpark.functions.zeroifnull

NotSupported → Rename (1 function):

• pyspark.sql.functions.uuid → snowflake.snowpark.functions.uuid_string

• Upgraded supported Snowpark Pandas version from v1.41.0 to v1.43.0.

• The mapping status of the following Pandas elements were updated: NotSupported → Direct (56 functions):

  • pandas.core.arrays.datetimes.DatetimeArray.date

  • pandas.core.arrays.datetimes.DatetimeArray.normalize

  • pandas.core.arrays.datetimes.DatetimeArray.time

  • pandas.core.base.IndexOpsMixin.T

  • pandas.core.base.IndexOpsMixin.empty

  • pandas.core.base.IndexOpsMixin.is_monotonic_decreasing

  • pandas.core.base.IndexOpsMixin.is_monotonic_increasing

  • pandas.core.base.IndexOpsMixin.is_unique

  • pandas.core.base.IndexOpsMixin.item

  • pandas.core.base.IndexOpsMixin.ndim

  • pandas.core.base.IndexOpsMixin.nunique

  • pandas.core.base.IndexOpsMixin.shape

  • pandas.core.base.IndexOpsMixin.size

  • pandas.core.base.IndexOpsMixin.to_list

  • pandas.core.base.IndexOpsMixin.to_numpy

  • pandas.core.base.IndexOpsMixin.tolist

  • pandas.core.base.IndexOpsMixin.transpose

  • pandas.core.generic.NDFrame.abs

  • pandas.core.generic.NDFrame.add_prefix

  • pandas.core.generic.NDFrame.add_suffix

  • pandas.core.generic.NDFrame.attrs

  • pandas.core.generic.NDFrame.copy

  • pandas.core.generic.NDFrame.describe

  • pandas.core.generic.NDFrame.dtypes

  • pandas.core.generic.NDFrame.equals

  • pandas.core.generic.NDFrame.first

  • pandas.core.generic.NDFrame.first_valid_index

  • pandas.core.generic.NDFrame.get

  • pandas.core.generic.NDFrame.head

  • pandas.core.generic.NDFrame.keys

  • pandas.core.generic.NDFrame.last

  • pandas.core.generic.NDFrame.last_valid_index

  • pandas.core.generic.NDFrame.ndim

  • pandas.core.generic.NDFrame.size

  • pandas.core.generic.NDFrame.squeeze

  • pandas.core.generic.NDFrame.tail

  • pandas.core.generic.NDFrame.take

  • pandas.core.generic.NDFrame.to_excel

  • pandas.core.groupby.groupby.BaseGroupBy.groups

  • pandas.core.groupby.groupby.GroupBy.count

  • pandas.core.groupby.groupby.GroupBy.cumcount

  • pandas.core.groupby.groupby.GroupBy.cummax

  • pandas.core.groupby.groupby.GroupBy.cummin

  • pandas.core.groupby.groupby.GroupBy.cumsum

  • pandas.core.groupby.groupby.GroupBy.head

  • pandas.core.groupby.groupby.GroupBy.max

  • pandas.core.groupby.groupby.GroupBy.mean

  • pandas.core.groupby.groupby.GroupBy.median

  • pandas.core.groupby.groupby.GroupBy.min

  • pandas.core.groupby.groupby.GroupBy.rank

  • pandas.core.groupby.groupby.GroupBy.size

  • pandas.core.groupby.groupby.GroupBy.tail

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.indexing.IndexingMixin.iat

  • pandas.core.indexing.IndexingMixin.iloc

  • pandas.core.series.Series.first

NotSupported → Partial (70 functions):

• pandas.core.arrays.datetimelike.DatelikeOps.strftime (PNDSPY1019)

• pandas.core.arrays.datetimelike.TimelikeOps.ceil (PNDSPY1020)

• pandas.core.arrays.datetimelike.TimelikeOps.floor (PNDSPY1021)

• pandas.core.arrays.datetimelike.TimelikeOps.round (PNDSPY1022)

• pandas.core.arrays.datetimes.DatetimeArray.day_name (PNDSPY1023)

• pandas.core.arrays.datetimes.DatetimeArray.month_name (PNDSPY1024)

• pandas.core.arrays.datetimes.DatetimeArray.tz_convert (PNDSPY1025)

• pandas.core.arrays.datetimes.DatetimeArray.tz_localize (PNDSPY1026)

• pandas.core.base.IndexOpsMixin.argmax (PNDSPY1027)

• pandas.core.base.IndexOpsMixin.argmin (PNDSPY1028)

• pandas.core.base.IndexOpsMixin.value_counts (PNDSPY1029)

• pandas.core.frame.DataFrame.eval (PNDSPY1049)

• pandas.core.frame.DataFrame.expanding (PNDSPY1050)

• pandas.core.frame.DataFrame.melt (PNDSPY1067)

• pandas.core.frame.DataFrame.pct_change (PNDSPY1077)

• pandas.core.frame.DataFrame.quantile (PNDSPY1081)

• pandas.core.frame.DataFrame.std (PNDSPY1103)

• pandas.core.generic.NDFrame.asfreq (PNDSPY1037)

• pandas.core.generic.NDFrame.fillna (PNDSPY1052)

• pandas.core.generic.NDFrame.mask (PNDSPY1066)

• pandas.core.generic.NDFrame.pct_change (PNDSPY1077)

• pandas.core.generic.NDFrame.rank (PNDSPY1083)

• pandas.core.generic.NDFrame.replace (PNDSPY1087)

• pandas.core.generic.NDFrame.shift (PNDSPY1115)

• pandas.core.generic.NDFrame.to_csv (PNDSPY1106)

• pandas.core.generic.NDFrame.tz_convert (PNDSPY1110)

• pandas.core.generic.NDFrame.tz_localize (PNDSPY1111)

• pandas.core.generic.NDFrame.where (PNDSPY1114)

• pandas.core.groupby.generic.DataFrameGroupBy.transform (PNDSPY1121)

• pandas.core.groupby.generic.DataFrameGroupBy.value_counts (PNDSPY1122)

• pandas.core.groupby.groupby.BaseGroupBy.get_group (PNDSPY1123)

• pandas.core.groupby.groupby.GroupBy.bfill (PNDSPY1127)

• pandas.core.groupby.groupby.GroupBy.first (PNDSPY1129)

• pandas.core.groupby.groupby.GroupBy.last (PNDSPY1130)

• pandas.core.groupby.groupby.GroupBy.quantile (PNDSPY1132)

• pandas.core.groupby.groupby.GroupBy.resample (PNDSPY1133)

• pandas.core.groupby.groupby.GroupBy.rolling (PNDSPY1134)

• pandas.core.groupby.groupby.GroupBy.shift (PNDSPY1135)

• pandas.core.groupby.groupby.GroupBy.std (PNDSPY1136)

• pandas.core.groupby.groupby.GroupBy.var (PNDSPY1137)

• pandas.core.indexes.base.Index.nlevels (PNDSPY1140)

• pandas.core.indexes.base.Index.sort_values (PNDSPY1142)

• pandas.core.indexing.IndexingMixin.at (PNDSPY1039)

• pandas.core.indexing.IndexingMixin.loc (PNDSPY1063)

• pandas.core.resample.Resampler.ffill (PNDSPY1155)

• pandas.core.resample.Resampler.first (PNDSPY1157)

• pandas.core.resample.Resampler.last (PNDSPY1158)

• pandas.core.resample.Resampler.std (PNDSPY1160)

• pandas.core.resample.Resampler.var (PNDSPY1161)

• pandas.core.reshape.merge.merge_asof (PNDSPY1165)

• pandas.core.reshape.pivot.pivot (PNDSPY1167)

• pandas.core.series.Series.expanding (PNDSPY1050)

• pandas.core.series.Series.pct_change (PNDSPY1077)

• pandas.core.window.ewm.ExponentialMovingWindow.corr (PNDSPY1233)

• pandas.core.window.ewm.ExponentialMovingWindow.mean (PNDSPY1234)

• pandas.core.window.ewm.ExponentialMovingWindow.std (PNDSPY1235)

• pandas.core.window.ewm.ExponentialMovingWindow.sum (PNDSPY1236)

• pandas.core.window.ewm.ExponentialMovingWindow.var (PNDSPY1237)

• pandas.core.window.expanding.Expanding.corr (PNDSPY1238)

• pandas.core.window.expanding.Expanding.max (PNDSPY1240)

• pandas.core.window.expanding.Expanding.mean (PNDSPY1241)

• pandas.core.window.expanding.Expanding.min (PNDSPY1242)

• pandas.core.window.expanding.Expanding.sem (PNDSPY1243)

• pandas.core.window.expanding.Expanding.std (PNDSPY1244)

• pandas.core.window.expanding.Expanding.sum (PNDSPY1245)

• pandas.core.window.expanding.Expanding.var (PNDSPY1246)

• pandas.core.window.rolling.Window.mean (PNDSPY1256)

• pandas.core.window.rolling.Window.std (PNDSPY1257)

• pandas.core.window.rolling.Window.sum (PNDSPY1258)

• pandas.core.window.rolling.Window.var (PNDSPY1259)

(new) → Direct (74 functions):

• pandas.core.arrays.datetimes.DatetimeArray.day

• pandas.core.arrays.datetimes.DatetimeArray.day_of_week

• pandas.core.arrays.datetimes.DatetimeArray.day_of_year

• pandas.core.arrays.datetimes.DatetimeArray.dayofweek

• pandas.core.arrays.datetimes.DatetimeArray.dayofyear

• pandas.core.arrays.datetimes.DatetimeArray.days_in_month

• pandas.core.arrays.datetimes.DatetimeArray.daysinmonth

• pandas.core.arrays.datetimes.DatetimeArray.hour

• pandas.core.arrays.datetimes.DatetimeArray.is_leap_year

• pandas.core.arrays.datetimes.DatetimeArray.is_month_end

• pandas.core.arrays.datetimes.DatetimeArray.is_month_start

• pandas.core.arrays.datetimes.DatetimeArray.is_quarter_end

• pandas.core.arrays.datetimes.DatetimeArray.is_quarter_start

• pandas.core.arrays.datetimes.DatetimeArray.is_year_end

• pandas.core.arrays.datetimes.DatetimeArray.is_year_start

• pandas.core.arrays.datetimes.DatetimeArray.isocalendar

• pandas.core.arrays.datetimes.DatetimeArray.microsecond

• pandas.core.arrays.datetimes.DatetimeArray.minute

• pandas.core.arrays.datetimes.DatetimeArray.month

• pandas.core.arrays.datetimes.DatetimeArray.nanosecond

• pandas.core.arrays.datetimes.DatetimeArray.quarter

• pandas.core.arrays.datetimes.DatetimeArray.second

• pandas.core.arrays.datetimes.DatetimeArray.weekday

• pandas.core.arrays.datetimes.DatetimeArray.year

• pandas.core.arrays.timedeltas.TimedeltaArray.days

• pandas.core.arrays.timedeltas.TimedeltaArray.microseconds

• pandas.core.arrays.timedeltas.TimedeltaArray.nanoseconds

• pandas.core.arrays.timedeltas.TimedeltaArray.seconds

• pandas.core.frame.DataFrame.flags

• pandas.core.generic.NDFrame.flags

• pandas.core.generic.NDFrame.rename_axis

• pandas.core.groupby.groupby.BaseGroupBy.\_\_iter\_\_

• pandas.core.groupby.groupby.BaseGroupBy.\_\_len\_\_

• pandas.core.groupby.groupby.GroupBy.sum

• pandas.core.indexes.base.Index.T

• pandas.core.indexes.datetimes.DatetimeIndex.date

• pandas.core.indexes.datetimes.DatetimeIndex.day

• pandas.core.indexes.datetimes.DatetimeIndex.day_of_week

• pandas.core.indexes.datetimes.DatetimeIndex.day_of_year

• pandas.core.indexes.datetimes.DatetimeIndex.dayofweek

• pandas.core.indexes.datetimes.DatetimeIndex.dayofyear

• pandas.core.indexes.datetimes.DatetimeIndex.hour

• pandas.core.indexes.datetimes.DatetimeIndex.is_month_end

• pandas.core.indexes.datetimes.DatetimeIndex.is_month_start

• pandas.core.indexes.datetimes.DatetimeIndex.mean

• pandas.core.indexes.datetimes.DatetimeIndex.microsecond

• pandas.core.indexes.datetimes.DatetimeIndex.minute

• pandas.core.indexes.datetimes.DatetimeIndex.month

• pandas.core.indexes.datetimes.DatetimeIndex.nanosecond

• pandas.core.indexes.datetimes.DatetimeIndex.normalize

• pandas.core.indexes.datetimes.DatetimeIndex.quarter

• pandas.core.indexes.datetimes.DatetimeIndex.second

• pandas.core.indexes.timedeltas.TimedeltaIndex.total_seconds

• pandas.core.series.Series.info (PNDSPY1018)

• pandas.core.series.Series.tolist

• pandas.core.strings.accessor.StringMethods.capitalize

• pandas.core.strings.accessor.StringMethods.center

• pandas.core.strings.accessor.StringMethods.count

• pandas.core.strings.accessor.StringMethods.islower

• pandas.core.strings.accessor.StringMethods.istitle

• pandas.core.strings.accessor.StringMethods.isupper

• pandas.core.strings.accessor.StringMethods.ljust

• pandas.core.strings.accessor.StringMethods.lower

• pandas.core.strings.accessor.StringMethods.match

• pandas.core.strings.accessor.StringMethods.pad

• pandas.core.strings.accessor.StringMethods.rjust

• pandas.core.strings.accessor.StringMethods.title

• pandas.core.strings.accessor.StringMethods.upper

• snowpark_pandas.read_snowflake

• snowpark_pandas.to_dynamic_table

• snowpark_pandas.to_iceberg

• snowpark_pandas.to_pandas

• snowpark_pandas.to_snowflake

• snowpark_pandas.to_view

(new) → Partial (47 functions):

• pandas.core.frame.DataFrame.\_\_dataframe\_\_ (PNDSPY1031)

• pandas.core.frame.DataFrame.pad (PNDSPY1076)

• pandas.core.generic.NDFrame.align (PNDSPY1033)

• pandas.core.generic.NDFrame.astype (PNDSPY1038)

• pandas.core.generic.NDFrame.expanding (PNDSPY1050)

• pandas.core.generic.NDFrame.ffill (PNDSPY1051)

• pandas.core.generic.NDFrame.interpolate (PNDSPY1015)

• pandas.core.generic.NDFrame.pad (PNDSPY1076)

• pandas.core.generic.NDFrame.resample (PNDSPY1088)

• pandas.core.generic.NDFrame.rolling (PNDSPY1092)

• pandas.core.generic.NDFrame.sample (PNDSPY1097)

• pandas.core.groupby.groupby.GroupBy.all (PNDSPY1124)

• pandas.core.groupby.groupby.GroupBy.any (PNDSPY1125)

• pandas.core.groupby.groupby.GroupBy.apply (PNDSPY1126)

• pandas.core.indexes.base.Index.all (PNDSPY1138)

• pandas.core.indexes.base.Index.any (PNDSPY1139)

• pandas.core.indexes.base.Index.reindex (PNDSPY1141)

• pandas.core.indexes.base.Index.value_counts (PNDSPY1029)

• pandas.core.indexes.datetimes.DatetimeIndex.tz_convert (PNDSPY1149)

• pandas.core.indexes.datetimes.DatetimeIndex.tz_localize (PNDSPY1150)

• pandas.core.series.Series.backfill (PNDSPY1040)

• pandas.core.series.Series.bfill (PNDSPY1041)

• pandas.core.series.Series.flags (PNDSPY1181)

• pandas.core.series.Series.pad (PNDSPY1076)

• pandas.core.strings.accessor.StringMethods.\_\_getitem\_\_ (PNDSPY1216)

• pandas.core.strings.accessor.StringMethods.contains (PNDSPY1217)

• pandas.core.strings.accessor.StringMethods.endswith (PNDSPY1218)

• pandas.core.strings.accessor.StringMethods.get (PNDSPY1219)

• pandas.core.strings.accessor.StringMethods.isdigit (PNDSPY1220)

• pandas.core.strings.accessor.StringMethods.len (PNDSPY1221)

• pandas.core.strings.accessor.StringMethods.lstrip (PNDSPY1222)

• pandas.core.strings.accessor.StringMethods.replace (PNDSPY1223)

• pandas.core.strings.accessor.StringMethods.rstrip (PNDSPY1224)

• pandas.core.strings.accessor.StringMethods.slice (PNDSPY1225)

• pandas.core.strings.accessor.StringMethods.split (PNDSPY1226)

• pandas.core.strings.accessor.StringMethods.startswith (PNDSPY1227)

• pandas.core.strings.accessor.StringMethods.strip (PNDSPY1228)

• pandas.core.strings.accessor.StringMethods.translate (PNDSPY1229)

• pandas.core.window.rolling.Rolling.corr (PNDSPY1247)

• pandas.core.window.rolling.Rolling.max (PNDSPY1249)

• pandas.core.window.rolling.Rolling.mean (PNDSPY1250)

• pandas.core.window.rolling.Rolling.min (PNDSPY1251)

• pandas.core.window.rolling.Rolling.sem (PNDSPY1252)

• pandas.core.window.rolling.Rolling.std (PNDSPY1253)

• pandas.core.window.rolling.Rolling.sum (PNDSPY1254)

• pandas.core.window.rolling.Rolling.var (PNDSPY1255)

• pandas.io.json._json.read_json (PNDSPY1260)

Direct → Partial (12 functions):

• pandas.core.frame.DataFrame.T (PNDSPY1030)

• pandas.core.frame.DataFrame.any (PNDSPY1035)

• pandas.core.frame.DataFrame.where (PNDSPY1114)

• pandas.core.groupby.generic.DataFrameGroupBy.agg (PNDSPY1116)

• pandas.core.indexes.datetimes.DatetimeIndex.round (PNDSPY1147)

• pandas.core.reshape.tile.qcut (PNDSPY1170)

• pandas.core.series.Series.astype (PNDSPY1038)

• pandas.core.series.Series.groupby (PNDSPY1184)

• pandas.core.series.Series.le (PNDSPY1186)

• pandas.core.series.Series.loc (PNDSPY1063)

• pandas.io.parquet.read_parquet (PNDSPY1261)

• pandas.io.parsers.readers.read_csv (PNDSPY1262)

Partial → Direct (5 functions):

• pandas.core.indexes.datetimes.DatetimeIndex.is_leap_year

• pandas.core.indexes.datetimes.DatetimeIndex.is_quarter_end

• pandas.core.indexes.datetimes.DatetimeIndex.is_quarter_start

• pandas.core.indexes.datetimes.DatetimeIndex.is_year_end

• pandas.core.indexes.datetimes.DatetimeIndex.is_year_start

Rename → Partial (4 functions):

• pandas.core.frame.DataFrame.divide (PNDSPY1046)

• pandas.core.frame.DataFrame.multiply (PNDSPY1071)

• pandas.core.frame.DataFrame.subtract (PNDSPY1105)

• pandas.core.series.Series.divide (PNDSPY1178)

修正済み¶

• Fixed the "How to read through the scores" link on the assessment and conversion results page to ensure it correctly opens the readiness score documentation.

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.55

Improvements¶

• License-Free Conversion Mode: A license or access code is no longer required to run SMA in Conversion mode.

• Project Options Page: A new Project Options page has been introduced to present the available workflows in the application, including "Code Analysis and Conversion".

• Technical Discovery Relocation: The Technical Discovery section has been moved to the Project Creation page for a more streamlined project setup experience.

• Simplified Conversion Setup: The Conversion Setup page has been updated and no longer requires a license or access code.

• Project File Extension: The project file extension has changed from .snowma to .snowct.

• Updated User Interface: The user interface has been refreshed to align with the SnowConvert AI look and feel.

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.55

追加済み¶

• Added SQL Language to the DetailedReport doc file.

• Added SQL configuration cell at the beginning of a converted Databricks-to-Jupyter transformation to be compatible with Snowflake notebooks.

変更済み¶

• Updated the %run magic command transformation to append .ipynb extension to notebook paths.

  • For unquoted paths: %run ./myNotebook transforms to %run ./myNotebook.ipynb

  • For quoted paths: %run "./myNotebook" transforms to %run "./myNotebook.ipynb"

• Scala code in notebook cells will now be commented in a python cell during a notebook migration.

• Updated the conversion of dbutils.run to the sfutils.notebook.run function to handle notebook execution calls.

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API from 1.40.0 to 1.41.0.

• Updated the mapping status for the following Pandas functions from NotSupported to Partial:

  • pandas.core.frame.DataFrame.agg → modin.pandas.DataFrame.agg

  • pandas.core.frame.DataFrame.interpolate → modin.pandas.DataFrame.interpolate

  • pandas.core.reshape.encoding.get_dummies → modin.pandas.general.get_dummies

  • pandas.core.series.Series.agg → modin.pandas.Series.agg

  • pandas.core.series.Series.interpolate → modin.pandas.Series.interpolate

修正済み¶

• SMA now will rename .hql (Hive SQL) files to .sql after conversion.

• The implicit cell for a DBX Scala Notebook when converting to Snowflake will be a python cell with an EWI. The Scala code will be commented out.

• Python cells from DBX SQL Notebooks will preserve the language metadata.

削除済み¶

• Removed the previous %run transformation in DBX notebooks that generated spark.sql("EXECUTE NOTEBOOK ...") SQL statements.

• The SnowConvert MissingObjects report was absorbed by the MissingObjectReference report. The MissingObjects report will no longer be generated.

Included SMA Core Version¶

• Snowpark Conversion Core: 8.1.43

Included SnowConvert AI Version¶

• SnowConvert AI Version 2.2.0 (Release Notes)

追加済み¶

• Enhanced Notebook Setup for Assessment: When running an assessment on Databricks notebooks, a Snowpark Connect session is now automatically added to the first cell to simplify your setup.

• Automatic Snowpark Connect Conversion: The tool now automatically converts both SparkSession and SparkContext initializations in Python code to their equivalent Snowpark Connect sessions.

• Improved Error Identification:

  • Added a new warning code, SPRKCNTPY4000, to clearly flag any SparkContext elements that are not yet supported by Snowpark Connect.

  • The tool now automatically detects and flags unsupported Databricks utility calls (dbutils API) with the new warning code SPRKDBX1004 during conversion.

• More Detailed Reporting:

  • The SparkUsagesInventory.csv report now includes a new column called IS_SNOWPARK_CONNECT_TOOL_SUPPORTED

  • This new column is to clearly indicate if a Spark element is supported directly by Snowpark Connect, or supported throught an SMA transformation.

  • The Snowpark Connect readiness score calculation has been updated to use the new IS_SNOWPARK_CONNECT_TOOL_SUPPORTED column in the SparkUsagesInventory.csv report.

• Next-Generation Notebook Support: Enhanced support for the VNext Snowflake Notebooks format when converting Databricks or Jupyter notebooks.

  • Full VNext Compatibility: The SMA can now generate output files that fully adhere to the VNext Snowflake Notebooks standard, regardless of whether the source was a Databricks or a previous-generation Jupyter notebook.

  • Smarter Language Handling: The conversion engine has been updated with enhanced logic to accurately detect and manage the specific language (such as Python or Scala) within each individual notebook cell. This allows for more precise and reliable cell-by-cell conversion.

  • Enhanced Metadata for Cells: The process now correctly incorporates necessary language and type metadata at the cell level during generation, which is essential for VNext Notebooks to function as expected.

変更済み¶

• Simplified Python Code: For Snowpark Connect, unnecessary .sparkContext references in Python method calls are now removed to streamline your code.

• Clearer Warning Codes: Snowpark Connect warning codes are now renamed to include language-specific prefixes (e.g., SPRKCNTPY for Python, SPRKCNTSCL for Scala) for easier error identification.

• More Accurate Notebook Conversions: The conversion process for notebooks has been improved to correctly distinguish between Databricks and Jupyter formats, preventing incorrect modifications.

修正済み¶

• Fixed a bug in the artifact dependency inventory that incorrectly reported .options() configuration as a data source.

追加済み¶

• Technical Discovery View: A new Technical Discovery View is now available in the desktop application.

• SMA Assessment AI: SMA desktop application is now directly integrated with an optional LLM interface.

  • Ask questions about your assessment results

  • Get help with how to approach the migration

  • Connect and deploy your assessment results directly into your Snowflake account.

変更済み¶

• The Command Line Interface (CLI) parameter for controlling Jupyter conversion has been updated from --enableJupyter to --disableJupyterConversion for clearer functionality.

含まれているSMAコアバージョン¶

• Snowpark Conversion Core: 8.1.26

Included SnowConvert AI Version¶

• SnowConvert AI Version 2.0.57 (Release Notes: SnowConvert AI - Recent Release Notes | Snowflake Documentation)

追加済み¶

• The Execution Summary section of the DetailedReport.docx now indicates whether the SMA was run in Assessment or Conversion mode.

変更済み¶

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API from 1.39.0 to 1.40.0.

PySpark Function Mapping Updates:

NotSupported to Rename:

• pyspark.sql.functions.unhex → snowflake.snowpark.functions.hex_decode_binary

Direct to Rename:

• pyspark.sql.functions.greatest → snowflake.snowpark.functions.greatest_ignore_nulls

• pyspark.sql.functions.least → snowflake.snowpark.functions.least_ignore_nulls

NotDefined to Rename:

• pyspark.sql.functions.bool_or → snowflake.snowpark.functions.boolor_agg

• pyspark.sql.functions.char → snowflake.snowpark.functions.chr

NotDefined to Direct:

• pyspark.sql.functions.nullif → snowflake.snowpark.functions.nullif

• pyspark.sql.functions.nvl2 → snowflake.snowpark.functions.nvl2

Snowpark Pandas Function Mapping Updates:

NotSupported to Partial:

• modin.pandas.DataFrame.query → snowflake.snowpark.pandas.core.frame.DataFrame.query

• Added a new EWI PNDSPY1012 to indicate that modin.pandas.DataFrame.query does not support MultiIndex. The following example scenario illustrating this limitation is also included in the EWI documentation.

  from snowflake.snowpark.modin import plugin
  import modin.pandas as pd # Snowpark pandas
  
  # Create a DataFrame with single-level index
  data = {
      'name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve', 'Frank'],
      'age': [25, 30, 35, 28, 32, 45],
      'salary': [50000, 60000, 75000, 55000, 80000, 90000],
      'department': ['Sales', 'IT', 'HR', 'Sales', 'IT', 'HR']
  }
  df = pd.DataFrame(data)
  
  # Set a single-level index
  df = df.set_index('name')
  print("DataFrame with single-level index:")
  print(df)
  
  # Use query() - This works fine!
  #EWI: PNDSPY1012 => pandas.core.frame.DataFrame.query does not support DataFrames that have a row MultiIndex. Check Snowpark Pandas documentation for more details.
  result = df.query("age > 30 and salary < 85000")
  
  # Create a DataFrame with MultiIndex on rows
  data = {
      'A': [1, 2, 3, 4, 5, 6],
      'B': [10, 20, 30, 40, 50, 60],
      'C': ['x', 'y', 'x', 'y', 'x', 'y']
  }
  df = pd.DataFrame(data)
  
  # Create MultiIndex
  df = df.set_index([
      pd.Index(['group1', 'group1', 'group2', 'group2', 'group3', 'group3']),
      pd.Index(['a', 'b', 'a', 'b', 'a', 'b'])
  ])
  df.index.names = ['group', 'subgroup']
  
  # This will ERROR in Snowpark pandas!
  #EWI: PNDSPY1012 => pandas.core.frame.DataFrame.query does not support DataFrames that have
  

  Copy

  Recommended fix: If the DataFrame contains a MultiIndex, it is necessary to validate the behavior of the query() method in Snowpark pandas. Ensure that the DataFrame structure is compatible with Snowpark pandas' limitations, as MultiIndex rows are not supported. Consider restructuring the DataFrame to use a single-level index or alternative filtering methods.

• Updated all documentation links in the DetailedReport.docx to point to the official Snowflake documentation, replacing the legacy Snowpark Migration Accelerator site.

• Updated the Snowpark Connect readiness score descriptions in the DetailedReport.docx to match the SMA UI.

• Usages of pyspark.sql.window.WindowSpec.orderBy are now reported as supported by Snowpark Connect.

修正済み¶

• Fixed broken internal links in the DetailedReport.docx to ensure proper navigation between document sections.

• Added a CellId column to the issues inventory to easily identify the location of EWIs within notebook files.

含まれているSMAコアバージョン¶

• Snowpark Conversion Core: 8.1.8

修正済み¶

• Fixed an issue where the SMA generated corrupted Databricks notebook files in the output directory during Assessment mode execution.

• Fixed an issue where the SMA would crash if the input directory contained folders named “SMA_ConvertedNotebooks”.

含まれているSMAコアバージョン¶

• Snowpark Conversion Core: 8.1.7

追加済み¶

• Added the Snowpark Connect readiness score. This new score measures the percentage of Spark API references in your codebase that are supported by Snowpark Connect for Spark.

  • This will now be the only score shown in assessment mode. To generate the Snowpark API Readiness Score, run the SMA in conversion mode.

• Added support for SQL embedded migration for literal string concatenations assigned to a local variable in the same scope of execution.

  • Included scenarios now include:

    sqlStat = "SELECT colName " + "FROM myTable" 
    session.sql(sqlStat)
    

    Copy

変更済み¶

• Updated the EWI URLs in the Issues.csv inventory to point to the main Snowflake documentation site.

修正済み¶

• Fixed a code issue that caused inner project configuration files (e.g., pom.xml, build.sbt, build.gradle) to be incorrectly placed in the root of the output directory instead of the correct inner directories after migration.

追加済み¶

• Added the Snowpark Connect readiness score and updated the assessment execution flow.

  • When running the application in assessment mode, only the Snowpark Connect readiness score is now displayed.

  • When running the application in conversion mode, the Snowpark API readiness score is displayed (the Snowpark Connect Readiness will not be shown).

変更済み¶

Updated all in-application documentation links to point to the official Snowflake documentation, replacing the legacy SnowConvert site.

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 8.0.73

修正済み¶

• Fixed an issue where the Snowpark Migration Accelerator failed converting DBC files into Jupyter Notebooks properly.

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.72

追加済み¶

• Snowpark Scala v1.17.0のサポートを追加しました。

Not SupporetedからDirect：

データセット：

• org.apache.spark.sql.Dataset.isEmpty → com.snowflake.snowpark.DataFrame.isEmpty

行：

• org.apache.spark.sql.Row.mkString → com.snowflake.snowpark.Row.mkString

StructType：

• org.apache.spark.sql.types.StructType.fieldNames → com.snowflake.snowpark.types.StructType.fieldNames

Not SupporetedからRename：

関数：

• org.apache.spark.functions.flatten → com.snowflake.snowpark.functions.array_flatten

DirectからRename：

関数：

• org.apache.spark.functions.to_date → com.snowflake.snowpark.functions.try_to_date

• org.apache.spark.functions.to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

Direct HelperからRename：

関数：

• org.apache.spark.sql.functions.concat_ws → com.snowflake.snowpark.functions.concat_ws_ignore_nulls

Not DefinedからDirect：

関数：

• org.apache.spark.functions.try_to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

• 埋め込み済みSQLは、SQLステートメントリテラルがローカル変数に割り当てられているときに移行されるようになりました

例： sqlStat = “SELECT colName FROM myTable" session.sql(sqlStat)

• 埋め込み済みSQLで、リテラル文字列の連結がサポートされるようになりました

例： session.sql(“SELECT colName " + "FROM myTable")

変更済み¶

• Snowpark Python APIおよびSnowpark Pandas APIのサポートされているバージョンを1.36.0から1.39.0に更新しました

• EWISPRKPY1103で次のPySpark xpath関数のマッピングステータスをNotSupportedからDirectに更新しました

  • pyspark.sql.functions.xpath

  • pyspark.sql.functions.xpath_boolean

  • pyspark.sql.functions.xpath_double

  • pyspark.sql.functions.xpath_float

  • pyspark.sql.functions.xpath_int

  • pyspark.sql.functions.xpath_long

  • pyspark.sql.functions.xpath_number

  • pyspark.sql.functions.xpath_short

  • pyspark.sql.functions.xpath_string

• 次のPySpark要素のマッピングステータスをNotDefinedからDirectに更新しました。

  • pyspark.sql.functions.bit_and → snowflake.snowpark.functions.bitand_agg

  • pyspark.sql.functions.bit_or → snowflake.snowpark.functions.bitor_agg

  • pyspark.sql.functions.bit_xor → snowflake.snowpark.functions.bitxor_agg

  • pyspark.sql.functions.getbit → snowflake.snowpark.functions.getbit

• 次のPandas要素のマッピングステータスをNotSupportedからDirectに更新しました。

  • pandas.core.indexes.base.Index → modin.pandas.Index

  • pandas.core.indexes.base.Index.get_level_values → modin.pandas.Index.get_level_values

• 次のPySpark関数のマッピングステータスをNotSupportedからRenameに更新しました。

  • pyspark.sql.functions.now → snowflake.snowpark.functions.current_timestamp

修正済み¶

• 名前が変更された場合、Scalaがインポートを移行しない問題を修正しました

  例：

  ソースコード:

  .. code-block:: scala

  package com.example.functions
  import org.apache.spark.sql.functions.{to_timestamp, lit}
  object ToTimeStampTest extends App { to_timestamp(lit("sample")) to_timestamp(lit("sample"), "yyyy-MM-dd") }

  出力コード:

  .. code-block:: scala

  package com.example.functions
  import com.snowflake.snowpark.functions.{try_to_timestamp, lit} import com.snowflake.snowpark_extensions.Extensions._ import com.snowflake.snowpark_extensions.Extensions.functions._
  object ToTimeStampTest extends App { try_to_timestamp(lit("sample")) try_to_timestamp(lit("sample"), "yyyy-MM-dd") }

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.62

追加済み¶

• Python形式の補間で埋め込まれたSQLを移行する機能が追加されました

• データ処理の柔軟性を高めるために DataFrame.select および DataFrame.sort 変換のサポートを追加しました

変更済み¶

• Snowpark Python APIおよびSnowpark Pandas APIのサポートされているバージョンを1.36.0に更新しました

• pandas.core.frame.DataFrame.boxplot のマッピングステータスをNot SupportedからDirectに更新しました

• DataFrame.select 、 Dataset.select 、 DataFrame.sort 、 Dataset.sort のマッピングステータスをDirectからTransformationに更新しました

• Snowpark Scalaでは、列のシーケンスをselect関数とsort関数に直接渡すことができるため、この変換は、 df.select(cols: _*) から df.select(cols) および df.sort(cols: _*) から df.sort(cols) など、使用法をすべて変更します

• Bumped Python ASTおよびParserバージョンを149.1.9に更新しました

• pandas関数のステータスをDirectに更新しました

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas のステータスをEWI SPRKPY1102を使用して回避策に更新しました

修正済み¶

• チェーンされたメソッド呼び出しを使用する際にSqlEmbedded変換に影響を与える問題を修正しました

• PySqlExprに関する変換を新しいPyLiteralSqlを使用して修正し、テールを失うことを回避しました

• 内部の安定性の問題を解決して、ツールの堅牢性と信頼性を向上させました

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.46

追加済み¶

• 新しいPandas EWIドキュメントPNDSPY1011を追加しました

• 次のPandas関数にサポートを追加しました

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

次のSpark Scala関数にサポートを追加しました

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

変更済み¶

• SMAでサポートされるSnowpark Pandas APIのバージョンを1.33.0に更新しました

• SMAでサポートされるSnowpark Scala APIのバージョンを1.16.0に更新しました

• pyspark.sql.group.GroupedData.pivotのマッピングステータスをTransformationからDirectに更新しました

• org.apache.spark.sql.Builder.masterのマッピングステータスをNotSupportedからTransformationに更新しましたこの変換は、コード変換中に、この要素の特定の使用法をすべて削除します

• org.apache.spark.sql.types.StructType.fieldIndexのマッピングステータスをNotSupportedからDirectに更新しました

• org.apache.spark.sql.Row.fieldIndexのマッピングステータスをNotSupportedからDirectに更新しました

• org.apache.spark.sql.SparkSession.stopのマッピングステータスをNotSupportedからRenameに更新しましたこの要素の特定の使用法はすべて、コード変換時にcom.snowflake.snowpark.Session.closeに名前が変更されます

• org.apache.spark.sql.DataFrame.unpersist and org.apache.spark.sql.Dataset.unpersistのマッピングステータスをNotSupportedからTransformationに更新しましたこの変換は、コード変換中に、この要素の特定の使用法をすべて削除します

修正済み¶

• 削除された末尾の関数の継続バックスラッシュを修正しました

• ConversionStatusLibraries.csvファイルのLIBRARY_PREFIX列を修正し、scikit-learnライブラリファミリー（scikit-*）の適切な識別子を使用するようにしました

• 複数行のグループ化された操作が解析されないバグを修正しました

追加済み¶

• org.apache.spark.sql.Dataset[T] に対して以下のマッピングが実行されました

  • org.apache.spark.sql.Dataset.union から com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName から com.snowflake.snowpark.DataFrame.unionAllByName

• 変換としての org.apache.spark.sql.functions.broadcast のサポートを追加しました

変更済み¶

• SMAのサポートされるSnowpark Python APIのバージョンを 1.27.0 から 1.33.0 に増やしました

• pyspark.sql.function.randn 関数のステータスがDirectに更新されました

修正済み¶

• org.apache.spark.SparkContext.parallelize が解決しない問題を解決し、変換としてサポートするようになりました

• Dataset.persist 変換を Dataset[Row] だけでなく、すべてのタイプのデータセットに対応するように修正しました

追加済み¶

• spark.DataReaderメソッドのマッピングを調整しました

• DataFrame.union から DataFrame.unionAll になりました

• DataFrame.unionByName から DataFrame.unionAllByName になりました

• アーティファクトインベントリに複数レベルのアーティファクト依存関係列を追加しました

• 新しいEWIsドキュメントを追加しました。PNDSPY1005 から PNDSPY1010 へ

• pandas.core.series.Series.apply 用に特定のEWIを追加しました

変更済み¶

• SMAでサポートされるSnowpark Pandas APIのバージョンを 1.27.0 から 1.30.0 に更新しました

修正済み¶

• SQLレディネススコアを取得する式で値が欠落している問題を修正しました

• 一部のPandas要素でPySparkのデフォルトのEWIメッセージを持つバグを修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.19

変更済み¶

• Pandasインポートのリファクタリング： Pandasインポートは snowflake.snowpark.modin.pandas の代わりに `modin.pandas` を使用するようになりました

• `dbutils` およびマジックコマンド変換の改善：

  • 新しい sfutils.py ファイルが生成され、すべての dbutils プレフィックスは sfutils に置き換えられます

  • Databricks（DBX）ノートブックの場合、 sfutils 向けの暗黙的なインポートが自動的に追加されます

  • sfutils モジュールはさまざまな dbutils メソッドをシミュレートします。例えばファイルシステム操作（ dbutils.fs ）を定義されたSnowflake FileSystem（SFFS）ステージを介して、また、ノートブックの実行（ dbutils.notebook.run ）を EXECUTENOTEBOOK SQL関数に変換して対応します

  • dbutils.notebook.exit はSnowflakeでは必要ないため削除されます

修正済み¶

• SnowConvertレポートの更新： インスタンスがSMAから発信された場合はSnowConvertレポートに CellId 列が含まれるようになりました。また、 FileName 列には完全なパスが表示されます

• SnowConvertレポートのアーティファクト依存関係の更新： SnowConvertの統合により以前は影響を受けていたSMAのアーティファクトインベントリレポートが復元されましたこの更新により、SnowConvertレポートから直接オブジェクト参照と欠落オブジェクト参照を正確にキャプチャし、分析するSMAツールが有効になり、インベントリのSQL依存関係の正しい取得が保証されます

追加済み¶

• テレメトリーの改善を追加しました

修正済み¶

• 変換設定ポップアップとPandas EWIsのドキュメントリンクを修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.16

追加済み¶

• Spark XMLからSnowparkへの変換

• SQLソース言語のDatabricks SQLオプション

• JDBC読み取り接続の変換

変更済み¶

• すべてのSnowConvertレポートはZipバックアップファイルにコピーされます

• フォルダーの名前が SqlReports から SnowConvertReports に変更されます

• SqlFunctionsInventory は Reports フォルダーに移動されます

• すべてのSnowConvertレポートがテレメトリーに送信されます

修正済み¶

• SQLレディネススコアのの非決定的問題

• デスクトップをクラッシュさせる偽陽性の重大な結果を修正しました

• アーティファクトの依存関係レポートでSQLオブジェクトが表示されない問題を修正しました

修正済み¶

• 以前報告したように、最新のWindows OSでのSMAの実行の問題に対応しましたこの修正は、バージョン2.7.1で発生した問題を解決します

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.1

追加済み¶

Snowpark Migration Accelerator（SMA）が SnowConvert をオーケストレーションして、ユーザーワークロードで見つかったSQLを処理するようになりました。Python/Scalaコードの埋め込みSQL、ノートブックのSQLセル、 .sql ファイル、 .hql ファイルを含みます。

SnowConvert は以前のSMAの機能を強化するようになりました。

• Spark SQL

SQL ReportsというReportsの新しいフォルダーには、SnowConvertによって生成されたレポートが含まれます。

既知の問題¶

SQLレポートの以前のSMAバージョンは、以下の場合は空で表示されます。

• 部分的に Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv. でカバーされる Reports/SqlElementsInventory.csv

• Reports/SqlFunctionsInventory.csv については、 Reports/SqlReports/SqlFunctionsInventory.csv の新しい場所と同じ名前で参照してください

アーティファクト依存関係インベントリ：

• ArtifactDependencyInventory 内では、SQLオブジェクトの列は空で表示されます

含まれているSMAコアバージョン¶

• Snowpark変換コア7.4.0

修正済み¶

• 「checkpoints.json」ファイルの誤った値を修正しました

  • 「sample」の値には、小数点（整数値の場合）と引用符がありませんでした

  • 「entryPoint」の値には、スラッシュの代わりにドットがあり、ファイル拡張子がありませんでした

• 'Convert DBX notebooks to Snowflake notebooks' の設定でデフォルト値をTRUEに更新しました

デスクトップアプリ¶

• チェックポイント実行設定のメカニズム認識を追加しました

• DbxElementsInventory.csvへのDBXマジックコマンドを収集するメカニズムを追加しました

• 'checkpoints.json' 生成を入力ディレクトリに追加しました

• サポートされていないすべてのマジックコマンドに新しいEWIを追加しました

• ScalaソースノートブックからのdbutilsのコレクションをDbxElementsInventory.csvに追加しました

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.53

変更済み¶

• DBX Scala要素からJupyter Python要素への変換に対応し、セルからコード全体にコメントするよう更新しました

• dbutils.notebook.runと「r」コマンドからの変換を処理するように更新が行われました。最後のものついては、セルからコード全体をコメントアウトします

• ノートブックファイルの変換を行うために、キーの名前と文字を更新しました

修正済み¶

• DBXノートブックを.ipynbファイルに変換する際に、間違った形式になるバグを修正しました

• .py DBXノートブックを.ipynbファイルに変換できないようにしていたバグを修正しました

• DBXノートブックの出力コードでコメントが欠落するバグを修正しました

• 生のScalaファイルがipynbファイルに変換されるバグを修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.42

変更済み¶

EntryPoints列に入力するようDataFramesInventoryを更新

デスクトップアプリ¶

追加済み¶

• UI結果ページのDBx EWIリンクを更新

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.39

追加済み¶

• 実行フローのインベントリ生成を追加しました

• すべてのDBxノートブック変換で暗黙的セッション設定を追加

変更済み¶

• DbUtilsUsagesInventory.csvをDbxElementsInventory.csvに名前変更

修正済み¶

• 型ヒントの後にバックスラッシュが来ると解析エラーが発生するバグを修正しました

• ドットで始まらない相対インポートと、スターで始まる相対インポートを修正しました

デスクトップアプリ¶

追加済み¶

• Sma-Checkpoints機能を有効または無効にするための新しい変換設定トグルを追加しました

• Post apiが500を返す場合にクラッシュしないようにレポートの問題を修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.26

追加済み¶

• DataFramesInventory.csvに基づく、checkpoints.jsonファイルの出力フォルダーへの生成を追加しました

• CLIコマンドに「disableCheckpoints」フラグを追加し、コードプロセッサーの追加パラメーターを追加しました

• dbutils.notebook.runノードを変換するための、Python用の新しいリマインダーを追加しました

• マジック%runコマンドを変換するための新しいリプレーサーを追加しました

• 新しいリプレーサー（PythonおよびScala）を追加して、dbutils.notebook.exitノードを削除しました

• アーティファクトインベントリにLocation列を追加しました

変更済み¶

• ソリューションの一部で使用されている正規化されたディレクトリ区切り文字を修正しました

• DBC抽出作業のフォルダー名処理を一元化しました

• SnowparkとPandasのバージョンをv1.27.0に更新しました

• アーティファクトのインベントリ列を更新しました

  • Name -> Dependency

  • File -> FileId

  • Status -> Status_detail

• アーティファクトインベントリに新しい列を追加しました

  • Success

修正済み¶

• データフレームのインベントリがステージに正しくアップロードされていませんでした

含まれているSMA コアバージョン ¶

• Snowpark変換コア7.2.0

追加 ¶

• アーティファクト依存関係インベントリ

• pyspark.sql.types.StructType.fieldNamesメソッドからsnowflake.snowpark.types.StructType.fieldNames属性のリプレーサーとEWI

• 次のステータスを持つ PySpark 関数：

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

次のステータスを持つ次の Pandas 関数

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

次のステータスを持つ Pyspark関数を更新

WorkAroundからDirect

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

NotSupportedからDirect

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

次のステータスを持つ Pandas関数を更新しました

NotSupportedからDirect

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

含まれているSMA コアバージョン ¶

• Snowpark変換コア7.1.13

追加 ¶

• 新しいインベントリ作成用のcsvジェネレータークラスを追加しました

• 使用状況インベントリをインポートするために「\full_name」列を追加しました

• pyspark.sql.functions.concat_wsからsnowflake.snowpark.functions._concat_ws_ignore_nullsへの変換を追加しました

• checkpoint.jsonの生成ロジックを追加しました

• インベントリを追加しました：

  • DataFramesInventory.csv

  • CheckpointsInventory.csv

デスクトップアプリ ¶

• ライセンス契約を更新しました、同意が必要です

含まれているSMAコアバージョン¶

• Snowpark変換コア7.1.2

追加済み

次のPandas要素のマッピングステータスを NotSupported から Direct に更新しました

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

次のPySpark要素のマッピングステータスを Rename から Direct に更新しました

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

修正 ¶

• インベントリのバージョン番号の形式を標準化しました

追加済み¶

変更済み¶

• .NET バージョンをv9.0.0に更新。

• EWI SPRKPY1068 を改善。

• SMA でサポートされるSnowpark Python API のバージョンを1.24.0 から 1.25.0に引き上げました。

• パンダのSnowparkバージョンを追加しました。

• 以下のライブラリを ThirdPartyLib から BuiltIn に変更。

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

既知の問題¶

• このバージョンでは、サンプルプロジェクトを変換する際に動作しない問題が含まれています。 次のリリースで修正される予定です

デスクトップアプリ¶

• クラッシュレポートモーダル内にトラブルシューティングガイドへのリンクを追加しました。

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.15.0

追加済み¶

• ConversionStatusPySpark.csvファイルに NotSupported として以下の PySpark 要素を追加しました

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

変更済み¶

• Hive SQL EWIs 形式を更新しました。

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Spark SQL EWIs 形式を更新しました。

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

修正済み¶

• ツールによって識別されない PySpark 要素があったバグを修正しました。

• ThirdParty が識別した呼び出しと ThirdParty のインポート呼び出し番号との不一致を修正しました。

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.14.0

追加済み¶

• ConversionStatusPySpark.csvに以下のSpark要素を追加しました。

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

変更済み¶

• Pandas EWIs、 PNDSPY1001、 PNDSPY1002、 PNDSPY1003、および SPRKSCL1137 のドキュメントを更新し、標準化された形式に合わせることで、すべての EWIs の一貫性と明瞭性を確保しました。

• 以下のScala EWIs のドキュメントを更新しました: SPRKSCL1106 と SPRKSCL1107。標準形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保。

修正済み¶

• UserDefined シンボルがサードパーティの使用インベントリに表示されるバグを修正しました。

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.13.1

コマンドラインインターフェース¶

変更済み

• 出力フォルダーにタイムスタンプを追加しました。

追加済み¶

• ライブラリマッピングテーブルに「Source Language」列を追加しました

• DetailedReport.docxのPandas API 概要テーブルに新しいカテゴリとして Others を追加しました。

変更済み¶

• Python EWI SPRKPY1058 のドキュメントを更新しました。

• pandas EWI PNDSPY1002 のメッセージを更新し、関連するpandas要素を表示するようにしました。

• .csvレポートの作成方法が更新され、2回目の実行で上書きされるようになりました。

修正済み¶

• Notebooksファイルが出力されない原因となっていたバグを修正しました。

• pyspark.sql.conf.RuntimeConfig から get、 set メソッドのリプレイサーを修正しました。リプレイサーが正しいフルネームと一致するようになりました。

• クエリタグのバージョンが間違っていたのを修正しました。

• ThirdPartyLib として報告された UserDefined パッケージを修正。

\

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.12.0

デスクトップアプリ¶

修正済み

• --sqlオプションの大文字と小文字を区別する問題を修正。

削除済み

• show-acメッセージからプラットフォーム名を削除。

追加済み¶

• Snowpark Python 1.23.0と1.24.0のサポートを追加しました。

• pyspark.sql.dataframe.DataFrame.writeTo 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1087 が指定されるようになりました。

変更済み¶

• Scala EWIs のドキュメントを SPRKSCL1137 から SPRKSCL1156 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• Scala EWIs のドキュメントを SPRKSCL1117 から SPRKSCL1136 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の EWIs に表示されるメッセージを更新しました。

  • SPRKPY1082

  • SPRKPY1083

• Scala EWIs のドキュメントを SPRKSCL1100 から SPRKSCL1105 に、 SPRKSCL1108 から SPRKSCL1116 に、 SPRKSCL1157 から SPRKSCL1175 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の PySpark 要素のマッピングステータスを、 EWI を使用して NotSupported から Direct に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: この関数の使用はすべて EWI SPRKPY1088 を使用するようになりました

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: この関数の使用は全て EWI SPRKPY1089 を使用するようになりました

• 以下の PySpark 要素のマッピングステータスを Workaround から Rename に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• EWI ドキュメントを更新しました: SPRKSCL1000、 SPRKSCL1001、 SPRKSCL1002、 SPRKSCL1100、 SPRKSCL1101、 SPRKSCL1102、 SPRKSCL1103、 SPRKSCL1104、 SPRKSCL1105。

削除済み¶

• pyspark.sql.dataframe.DataFrameStatFunctions.writeTo 要素を変換ステータスから削除しました。この要素は存在しません。

非推奨¶

• 以下の EWI コードを非推奨としました:

  • SPRKPY1081

  • SPRKPY1084

追加済み¶

• Issues.csv ファイルに、対応する EWI ドキュメントにリダイレクトする Url という新しい列を追加しました。

• 以下のSpark要素に新しい EWIs を追加しました:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38の新しいPandas要素を追加しました:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.10.0

デスクトップアプリ¶

修正済み¶

• Windowsバージョンのメニューバーで、 SMA に Snowpark Migration Accelerator ではなく SnowConvert というラベルが表示される原因となっていたバグを修正しました。

• macOS の .config ディレクトリ、およびWindowsの AppData ディレクトリに対する読み取り権限と書き込み権限がない場合に、 SMA がクラッシュする原因となっていたバグを修正しました。

コマンドラインインターフェース¶

変更済み

• CLI の実行ファイル名を snowct から sma に変更しました。

• ソース言語の引数が削除され、PythonかScalaの評価/変換を実行するかどうかを指定する必要がなくなりました。

• 以下の新しい引数を追加することにより、 CLI がサポートするコマンドライン引数を拡張しました:

  • --enableJupyter | -j:DatabricksノートブックのJupyterへの変換を有効にするかどうかを示すフラグ。

  • --sql | -f: SQL コマンドが検出されたときに使用されるデータベースエンジンの構文。

  • --customerEmail | -e: 顧客メールを構成します。

  • --customerCompany | -c: 顧客企業を構成します。

  • --projectName | -p: 顧客プロジェクトを構成します。

• アプリケーションの正しい名称を反映し、すべてのメッセージの一貫性と明瞭性を確保するために、一部のテキストを更新しました。

• アプリケーションの利用規約を更新しました。

• CLI のドキュメントを更新および拡充し、最新の機能、拡張、変更を反映させました。

• SMA の実行に移る前に表示されるテキストを更新しました。

• CLI を更新し、 「Yes」 を有効な引数として受け付けるようにしました。

• 引数 -y または --yes を指定することで、ユーザーの操作を待たずに CLI の実行を継続できるようにしました。

• --sql 引数のヘルプ情報を更新し、この引数が期待する値を表示するようにしました。

追加済み¶

• pyspark.sql.readwriter.DataFrameWriter.partitionBy 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1081 が指定されるようになりました。

• ImportUsagesInventory.csv ファイルに、 Technology という新しい列を追加しました。

変更済み¶

• サードパーティライブラリのレディネススコアが更新され、 Unknown ライブラリも考慮されるようになりました。

• AssessmentFiles.zip ファイルを更新し、 .pam ファイルの代わりに .json ファイルを含めるようにしました。

• CSV から JSON への変換メカニズムを改善し、在庫処理のパフォーマンスを向上しました。

• 以下の EWIs のドキュメントを改善しました:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• 以下のSpark Scala要素のマッピングステータスを Direct から Rename に更新しました。

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• 以下のSpark Scala要素のマッピングステータスを Not Supported から Direct に更新しました。

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

修正済み¶

• ImportUsagesInventory.csv ファイルの Origin 列に SMA が正しく入力されない原因となっていたバグを修正しました。

• SMA が io、 json、 logging、および unittest のライブラリのインポートをPython組み込みインポートとして ImportUsagesInventory.csv ファイルと DetailedReport.docx ファイルで分類しない原因となっていたバグを修正しました

追加済み¶

• EwiCatalog.csv と.mdファイルを追加し、ドキュメントを再編成しました。

• pyspark.sql.functions.ln Directのマッピングステータスを追加しました。

• pyspark.context.SparkContext.getOrCreate 用の変換を追加しました。

  • 詳細は EWI SPRKPY1080 をご確認ください。

• 関数内のパラメーターの型推論、 SymbolTable を改善しました。

• 静的メソッドの SymbolTable サポートを追加し、最初のパラメーターが自身であると仮定しないように動作を更新しました。

• 不足していた EWIs のドキュメントを追加しました。

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.functions.array_remove を NotSupported から Direct へ。

修正済み¶

• 詳細レポートのCode File Sizingテーブルを修正し、.sqlと.hqlファイルを除外し、テーブルにExtra Large行を追加しました。

• SparkSession が Python で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• SparkSession が Scala で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• いくつかの SQL ステートメントで解析エラーが発生した場合に、 EWI SPRKHVSQL1001 が欠落していたのを修正しました。

• 文字列リテラル内の改行値を保持するように修正しました

• File Type Summaryテーブルに表示されるコード行数を修正しました

• ファイル認識に成功した場合、解析スコアが0と表示されていた問題を修正しました

• Databricks Magic SQL セルのセルインベントリで LOC のカウントを修正しました。

追加済み¶

• pyspark.sql.readwriter.DataFrameReader.parquet の変換を追加。

• pyspark.sql.readwriter.DataFrameReader.option がParquetメソッドである場合の変換を追加しました。

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.types.StructType.fields を NotSupported から Direct へ。

  • pyspark.sql.types.StructType.names を NotSupported から Direct へ。

  • pyspark.context.SparkContext.setLogLevel を Workaround から Transformation へ。

    • 詳細は EWIs SPRKPY1078 および SPRKPY1079 をご覧ください

  • org.apache.spark.sql.functions.round を WorkAround から Direct へ。

  • org.apache.spark.sql.functions.udf を NotDefined から Transformation へ。

    • 詳細は EWIs SPRKSCL1174 および SPRKSCL1175 をご覧ください

• 以下のSpark要素のマッピングステータスを DirectHelper から Direct に更新しました:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile