Snowpark Migration Accelerator: SC Spark Scala 릴리스 노트¶
2.14.0¶
2023-10-24 \ \ 추가됨\ \ 파일 이름에 ID 를 압축하여 로그에 사용합니다.
변경됨
TrialMode 의 출력 폴더 계층 구조를 리팩터링합니다.
점수가 90점 이상이면 평가 모드에서 로컬로 보고서를 생성합니다.
평가 모드에서 로컬로 보고서를 생성하는 경우 Snowflake 사용자입니다.
인벤토리를 .csv 파일로 생성합니다.
인벤토리를 보고서 폴더로 이동합니다.
2.13.0¶
2023-10-19\
추가됨\
플래그를 추가하여 더 많은 로그 메시지를 사용하도록 설정합니다.
변환 실행을 비활성화하려면 플래그를 추가합니다.
Scala 기호 테이블 확인에 대한 시간 제한 메커니즘을 추가합니다.
Scala 구문 분석 단계에 시간 제한 메커니즘을 추가합니다.
Scala의 구문 분석 단계에서 진행 로그 메시지를 추가합니다.
변경됨\
보고서(HTML 및 문서 파일) 조정: 준비도 점수 이름 변경 및 부록 및 가져오기 호출 테이블 업데이트.
AssessmentMode를 8.1.6에서 9.0.4로 변경합니다Bump
Common.AssessmentModel3.1.12에서 3.1.14로경쟁 조건을 피하기 위한 잠금 추가
수정됨\
평가 모드와 변환 모드 간에 일관되지 않은 SparkReferences 수를 수정했습니다.
.sql 파일이 지원되는 파일로 인식되지 않는 문제를 수정했습니다.
백슬래시가 AtomElement 및 BracedSlices 사이에 있을 때 구문 분석 오류를 수정했습니다.
중첩 식이 많은 코드를 구문 분석하는 데 많은 시간이 걸리던 문제를 수정했습니다.
2.12.0¶
2023-10-13
추가됨
평가판 모드 지원 추가.
변경됨
Snowflake.SnowConvert.Python을 1.1.79에서 1.1.80으로 변경일부 시나리오에서 스택 오버플로를 방지하려면 ResolveType 의 베리언트를 추가하십시오.
수정됨
FullName 해결 시 스택 오버플로가 발생하는 시나리오를 수정했습니다.
2.11.0¶
추가됨
Python에서 Snowpark API 버전 1.7.0에 대한 지원을 추가합니다.
Python에서 Snowpark API 버전 1.6.1에 대한 지원을 추가합니다.
새로운 해결 방법 추가
4개의 새로운 매핑이 추가되었습니다
변경됨
Scala 통합 테스트 유효성 검사를 업데이트합니다.
Scala 통합 테스트 시간을 단축합니다.
내부 코드에서 나머지 어셈블리 이름 참조를 업데이트합니다.
회사 가이드라인에 맞게 소스 파일 헤더를 업데이트하십시오.
수정됨
인벤토리 및 보고서에 SessionId 및 ExecutionId 를 추가하여 동일한 ExecutionId 로 여러 실행을 수정했습니다.
storage.lck 파일로 실패한 CopyOtherFiles 작업을 수정합니다.
일부 값이 null일 때 .HTML 보고서를 생성하는 문제를 수정했습니다.
2.09.0¶
2023-10-03
추가됨
FilesInventory.pam 추가
4개의 새로운 매핑이 추가되었습니다
변경됨
어셈블리 이름을 변경합니다.
Snowflake.SnowConvert.Python을 1.1.70에서 1.1.79로 변경구문 분석 오류를 해결하기 위해 3가지 다른 규칙에 백슬래시를 추가합니다.
새 Spark 참조 기호를 추가합니다.
두(2) 개의 새로운 확인을 지원합니다.
.sql DBX 노트북에서 빈 명령을 지원합니다.
StopIfDedent 함수의 견고성을 개선합니다.
수정됨
매개 변수와 쉼표가 있는 백슬래시 시나리오에서 구문 분석 오류를 수정했습니다.
괄호 안의 기호 확인 문제를 수정했습니다.
.sql DBX 노트북에서 빈 명령어로 구문 분석 오류를 수정했습니다.
빈 괄호 기호 해결 문제를 수정했습니다.
SQL 문 인벤토리 수집 시 정규식 시간 제한 오류 수정.
혼합 들여쓰기와 관련된 구문 분석 오류를 수정했습니다.
구문 분석 오류 발견 시 잘못된 충돌 메시지 수정.
평가 모드와 변환 모드 간에 일관되지 않은 SparkReferences 수를 수정했습니다.
2.8.0¶
2023-09-27
추가됨
Python에서 Snowpark API 버전 1.5.1에 대한 지원을 추가합니다.
Python 3.10.10 구문에 대한 지원을 추가합니다.
인벤토리에 CellId 열을 추가했습니다(노트북, Databricks 및 Jupyter).
네(4) 개의 새로운 매핑 추가
변경됨
Mobilize.Python을 1.1.64에서 1.1.70으로 변경Python 3.10.10 구문에 대한 지원을 추가합니다.
구문 분석 오류를 해결하기 위해 새로운 백슬래시 시나리오 3개를 추가합니다.
일부 Pandas 기호에 명시적 반환 유형을 추가하여 로딩 오류를 방지하십시오.
수정됨
대괄호, 콜론 및 매개 변수 시나리오에서 백슬래시가 있을 때 발생하는 구문 분석 오류를 수정했습니다.
Pandas 기호 로딩 오류 수정.
2.7.0¶
2023-09-20\
추가됨\
Python에서 Snowpark API 버전 1.5.0에 대한 지원을 추가합니다.
3개의 새로운 매핑이 추가되었습니다
변경됨\
숨겨진 파일 처리하지 않기
`Mobilize.SparkCommon.Utils` 을 1.3.188에서 1.3.189로 변경
`Mobilize.Common.Utils` 을 3.2.0에서 3.2.2로 변경
수정됨\
PackageVersionInventory 수집 단계가 멈추는 문제를 수정했습니다.
DBC 파일을 사용할 때 상세 보고서의 Spark 사용량 요약 테이블에서 잘못된 비율을 수정했습니다.
상세 보고서의 파일 크기 조정 테이블이 비어 있거나 전혀 표시되지 않는 문제를 수정했습니다.
2.6.0¶
2023-09-12\
추가됨\
SQL 문 목록에 %SQL 셀(노트북에서)에 대한 지원을 추가합니다.
변경됨\
`Mobilize.Python` 을 1.1.62에서 1.1.64로 변경
Magic SQL에 대한 지원을 추가합니다.
유추된 유형이 `없음` 인 경우 함수 매개 변수 유형을 업데이트하지 마십시오.
수정됨\
특정 파일에 대한 기호이 무한 로딩되는 문제를 수정했습니다.
GenericScanner 파일이 생성되지 않는 문제를 수정했습니다.
보안\
Python 변환 테스트에서 테스트 비밀번호를 안전하게 보호하십시오.
2.5.0¶
2023-09-05
추가됨
노트북 크기 조정 인벤토리를 추가했습니다. (SCT-3876)
Snowflake.SparkCommon.MappingLoader 프로젝트(새 Snowflake.SnowMapGrammar 사용)를 추가합니다. (SCT-4281)
변경됨
Mobilize.Python을 1.1.59에서 1.1.62로 변경
GetSymbol 메서드에 대한 Python 기호 확인에 시간 제한 메커니즘을 추가합니다.
Mobilize.SparkCommon.Utils를 1.3.186에서 1.3.187로 변경
숨겨진 파일을 처리하는 Mobilize.SparkCommon.Utils.FilesHelper.CopyFilesRecursively 메서드를 업데이트했습니다.
수정됨
실행 후 이메일을 받지 못하는 문제 수정(기본적으로 디버그 메시지를 로깅하지 않도록 하여 로그 파일 크기를 줄임). (SCT-5320)
제거됨
Mobilize.SparkCommon.TransformationCore 프로젝트(기존 Mobilize.MapGrammar 사용)를 제거했습니다.
2.4.0¶
2023-08-28
추가됨
NotebookCells 인벤토리를 추가합니다.
Scala 및 Python에 대한 DataFrameReader.option 및 DataFrameWriter.option의 인자 값을 수집합니다.
2개의 새로운 매핑과 더 나은 별칭 유형 정보 수집 추가
추가 매개 변수가 제공되면 출력 파일을 암호화합니다.
SQLStatements 인벤토리를 다시 활성화합니다.
컬렉터에 병렬화를 다시 활성화합니다.
변경됨
세부 보고서(docx 및 html)의 파일 형식 요약 섹션을 업데이트합니다. (SCT-3867)
2개의 매핑에 대한 업데이트가 수행되었습니다.
Mobilize.SparkCommon.Utils를 1.3.181에서 1.3.186로 변경합니다.
CSV 파일 정렬 지원을 개선합니다.
Mobilize.Common.Utils를 3.1.6에서 3.2.0으로 상향 조정합니다.
CSV 파일 정렬 지원을 개선합니다.
Mobilize.Common.Utils를 3.1.6에서 3.2.0으로 상향 조정합니다.
NuGet 패키지 버전을 업데이트합니다.
로드 매핑 작업에 대한 리팩터링이 수행되었습니다.
SparkCommon Utils 프로젝트 참조에 대한 리팩터링이 수행되었습니다.
그룹 솔루션 프로젝트.
Scala 통합 테스트 JupyterTest, InventoryTests 및 TransformationTest 를 병합합니다.
수정됨
SQL 문의 인벤토리 항목을 수집할 때 Python 변환 도구가 멈추는 문제를 수정했습니다.
출력에 누락된 GenericScanner 파일을 수정했습니다.
마이그레이션된 DBC 파일이 Databricks에서 로딩되지 않던 문제를 수정했습니다.
도구 프로세스 종료 시 오류를 수정했습니다.
제거됨
InventoryStorageTemp 를 제거합니다.
중복된 StyleCop.Analyzers 프로젝트 참조를 제거합니다.
2.2.001¶
2023-07-19
추가됨
6개의 새로운 매핑 추가
변경됨
3.1.10에서 3.1.11로 평가 모델 업데이트
수정됨
평가 모드에서 Databricks 처리가 작동하지 않는 문제를 수정했습니다.
보안
HTML 링크에 하위 리소스 통합을 추가했습니다
2.1.161¶
2023-07-06
수정됨
Scala Spark 함수 테스트 수정 및 활성화
2.1.160¶
2023-07-05
변경됨
평가 모델을 3.1.9에서 3.1.10으로 업데이트
2.1.159¶
2023-07-05
변경됨
평가 모델을 3.1.7에서 3.1.9로 업데이트
2.1.158¶
2023-07-05
추가됨
작업의 예외 처리를 개선하여 도구 안정성 향상
2.1.157¶
2023-07-05
\ 변경됨
Spark Common을 1.3.178에서 1.3.181로 업데이트
2.1.155¶
2023-07-05
변경됨
Common Build를 2.0.2에서 3.0.4로 업데이트
MacOs 에서 솔루션 구축 개선
2.1.148¶
2023-07-04
변경됨
Spark Common을 1.3.177에서 1.3.178로 업데이트
Common Utils을 4.0.0-alpha.DevOps.9에서 3.1.6으로 업데이트
2.1.147¶
2023-07-03
보안
`Spark Common` 프로젝트에서 라이선스가 없는 패키지 참조를 제거했습니다.
2.1.146¶
2023-07-03
변경됨
`coverlet.collector` 를 3.2.0에서 6.0.0으로 변경
6.9.0에서 6.11.0으로 상향\
FluentAssertions\`Scriban.Signed` 를 5.5.2에서 5.7.0으로 변경
`DocumentFormat.OpenXml` 를 2.19.0에서 2.20.0으로 변경
\ 보안
SparkCommon\프로젝트에서 라이선스가 없는 패키지 참조를 제거합니다.
2.1.145¶
2023-06-28
변경됨
`Mobilize.Python` 을 1.1.49에서 1.1.50으로 업데이트
단일 셀을 구문 분석하지 않을 때 Databricks 노트북 전체 파일 구문 분석 문제를 수정했습니다.
2.1.144¶
2023-06-27
수정됨
MacOS 에서 .dbc 파일 추출을 수정했습니다.
2.1.143¶
2023-06-26
수정됨
다른 데이터 형식으로 인한 테스트 오류를 수정했습니다.
2.1.142¶
2023-06-26
변경됨
인벤토리 저장소를 리팩터링했습니다.
2.1.141¶
2023-06-23
변경됨
`Mobilize.Python` 를 1.1.46에서 1.1.49로 업데이트
기호를 확인하는 동안 재귀 주기 감지 및 중지
\_\_init\_\_.py 파일이 포함된 StackOverflow 예외를 수정했습니다.
백슬래시가 있는 PyArgExpr 노드를 수정했습니다.
2.1.140¶
2023-06-22
변경됨
`Mobilize.Python` 을 1.1.44에서 1.1.46으로 업데이트
백슬래시가 있는 PyTerm 노드를 수정했습니다.
2.1.138¶
2023-06-22
변경됨
Spark Common을 1.3.176에서 1.3.177로 업데이트
수정됨
Scala 코드 프로세서 빌드를 수정했습니다.
2.1.137¶
2023-06-22
보안
함수 테스트에서 자격 증명을 안전하게 보호합니다.
라이선스가 없는 패키지 참조를 제거합니다.
2.1.136¶
2023-06-21
변경됨
`Snowflake.Data` 를 2.0.15에서 2.0.25로 업데이트
Spark Common을 1.3.175에서 1.3.176으로 업데이트
보안
함수 테스트에서 참조 업그레이드
2.1.135¶
2023-06-21
추가됨
Python 및 Scala 코드 프로세서 도구에서 지원하는 .dbc 확장자를 추가합니다.
계약 프로젝트에 대한 테스트를 추가합니다.
보안
`SparkCommon.Contracts.Test` 에서 라이선스가 없는 패키지 참조를 제거합니다.
2.1.132¶
2023-06-21
제거됨
평가 모드의 IOFiles 인벤토리에서 `Supported` 열을 제거합니다.
2.1.131¶
2023-06-20
수정됨
Mac에서 테스트를 수정했습니다.
2.1.130¶
2023-06-19
변경됨
SparkCommon 리포지토리를 이 리포지토리와 병합합니다.
2.1.126¶
2023-06-16
수정됨
리포지토리 구축을 수정했습니다.
2.1.124¶
2023-06-15
수정됨
리포지토리 구축을 수정했습니다.
2.1.123¶
2023-06-15
변경됨
`Mobilize.Scala` 를 0.2.34에서 0.2.37로 업데이트
밑줄 및 제한이 있는 일반 유형과 관련된 구문 분석 오류 수정
따옴표 및 보간이 있는 식과 관련된 구문 분석 오류 수정
보안
안전하지 않은 패키지 참조를 제거합니다.
2.1.121¶
2023-06-15
보안
자격 증명 파일을 제거합니다.
2.1.120¶
2023-06-15
변경됨
Scala와 Python 모두 버전 구성이 약간 변경되었습니다.
1.0.306¶
2023년 2월 14일
Scala 0.2.13
SparkSnowConvert Core 1.1.27
\
새로운 기능
Jupyter 노트북(.ipynb) 처리
종속성을 프로젝트 구성 파일에 추가할 수 없을 때 EWI 생성
개선 사항
Lambda 범위 열기 및 닫기
\ 버그 수정 사항
버그 680497: 함수에 대한 정규화된 이름 바꾸기가 올바르게 작동하지 않습니다
버그 681704: 최종 보고서를 생성할 수 없음
\
1.0.273¶
2023년 2월 2일
Scala 0.2.4
SparkSnowConvert Core 1.1.8.0
\ 핫픽스
API 엔드포인트 업데이트
1.0.263¶
2023년 1월 31일
Scala 0.2.4
SparkSnowConvert Core 1.1.8.0
\ 추가됨
.NET Core 6 업그레이드
ElementPackage 열이 가져오기 인벤토리에 추가되었습니다
평가 보고서에 크기 조정 테이블 추가
BDS 와 동기화된 보고서에 변환 비율을 추가합니다
출력에 issues.csv 파일을 추가합니다
보고서 폴더에 로컬로 SummaryReport.html 및 DetailedReport.html(mirror docx html)을 생성합니다
GenericScanner 에 ConversionStatus 키워드를 추가합니다
전체 이름 변환 지원
개선 사항
Core 참조 테이블에 org.apache.spark.mllib 매핑 추가
[UI] 실행 취소 시 메시지 문구 수정
[UI] UI 단계 제목 변경
EWI 코드로 문제 그룹화
실행 정보 테이블의 TOOL_VERSION 열 값 형식 업데이트
문제 요약 테이블을 너무 크지 않게 간소화했습니다
버그 수정 사항
백슬래시 문제 해결
BreakLine 문제 해결
Lambda 블록 코너 케이스 해결
AssessmentReport.html 생성 제거(로컬 html 보고서)
1.0.191¶
2022년 12월 27일
Scala 0.1.493
SparkSnowConvert Core 1.0.117.0
추가됨
패키지 인벤토리를 클라우드 원격 분석에 업로드하기
개선 사항
상세 보고서
사소한 시각적 개선
문제 테이블을 기준으로 정렬합니다.
인스턴스
코드
설명
1.0.166¶
2022년 12월 21일
Scala 0.1.492
SparkSnowConvert Core 1.0.105.0
추가됨
상세 보고서에 오차 범위 설명 추가
개선 사항
상세 보고서의 문제 테이블 정렬 개선
상세 보고서의 백분율 표시가 개선되었습니다
버그 수정 사항
<#> 문자에 문제가 있습니다
작성은 키워드로 인식되지 않습니다
구문 분석기는 ‘join’ 인자에 대해 작동하지 않습니다
치명적인 오류를 throw하는 Scala 코드 프로세서
1.0.132¶
2022년 12월 13일
Scala 0.1.487
SparkSnowConvert Core 1.0.88
개선 사항
상세 평가 보고서에 추가되는 고객 정보
변환 로그 메시지
버그 수정 사항
(a, b) =>val c와 같은 식의 문제
_compose_가 키워드로 인식되지 않음
1.0.107¶
2022년 12월 7일
Scala 0.1.484
SparkSnowConvert Core 1.0.77
추가됨
Snowpark 매핑이 1.6.2 버전으로 업데이트되었습니다
괄호 없는 함수 컬렉션 평가 시 개선된 함수 제공
Maven 프로젝트(pom.xml) 파일 처리
ClassName 열의 이름이 SparkUsagesInventory.pam 및 ImportUsagesInventory.pam에서 ‘별칭’으로 변경되었습니다
준비도 점수에 오차 범위 추가
수정됨
Snowpark Python 및 Scala 게시 버전 업데이트
함수 이름 뒤에 새 라인로 문제 발생
1.0.59¶
2022년 11월 29일
Scala 0.1.478
SparkSnowConvert Core 1.0.60
추가됨
기본 컴패니언 오브젝트 지원
org.apache.sql.Column 매핑 업데이트
org.apache.spark.sql.Expression 매핑 업데이트
org.apache.sql.functions 매핑 업데이트
프로젝트 구성 파일(SBT)에서 확장자 종속성 참조
프로젝트 구성 파일(Gradle)의 참조 확장자 종속성
수정됨
“스크립트” 코드는 지원되지 않습니다
1.0.17¶
2022년 11월 23일
Scala 0.1.472
SparkSnowConvert Core 1.0.44
추가됨
Spark 매핑 업데이트
모든 .pam 파일에서 “FileId” 열 값을 잘라냅니다
ConversionStatus 및 Scala_spark_mappings_core.csv 통합
1.0.1¶
2022년 11월 17일
Scala 0.1.472
SparkSnowConvert Core 1.0.37
추가됨
SparkSession, DataFrameReader 및 DataFrameWriter 매핑 업데이트
단항식 및 바이너리 식에 대한 EWI 생성
수정됨
작성기 바꾸기는 csv, parquet, json 및 옵션을 지원합니다
리더 바꾸기는 괄호 없는 함수를 지원하지 않습니다
작성기 바꾸기는 괄호 없는 함수를 지원하지 않습니다
현재 InsertInto 의 변환은 유효한 코드가 아닙니다.
작성기 바꾸기는 모든 함수를 포함하지 않습니다.
0.1.873¶
2022년 11월 11일
Scala 0.1.468
SparkSnowConvert Core 1.0.23
추가됨:
괄호 없는 함수 호출에 대한 기호 확인
열기/닫기 예외 처리 범위(Replacer에서)
지원되지 않는 가져오기(복잡한 경우)에 대한 EWI 생성
정의되지 않은 가져오기에 대한 EWI 생성
SparkSession 변환 개선 사항
DataFrame 리더/작성기 변환 개선 사항
상세 보고서에 “Spark Usages by Support Category”, “Scala Import Call Summary” 섹션이 추가되었습니다
RDD 매핑 업데이트
수정 사항:
스택 오버플로, 출력 파일이 생성되지 않음
Spark 세션 리플레이서 변환에서 괄호 없는 식 표현
0.1.770¶
2022년 10월 21일
Scala 0.1.458
SparkSnowConvert Core 0.1.530
추가됨:
헬퍼/확장자 .jar를 최신 버전으로 업데이트했습니다
업데이트된 평가 .docx 보고서 템플릿
가져오기 사용량 인벤토리 생성
지원되지 않는 가져오기(단순 케이스)에 대해 EWIs 생성
수정 사항:
SymblTable 의 불확실성 문제
Spark 사용량 인벤토리 파일 정렬 시 오류 발생
SclSingleExprPath 는 null 멤버를 포함하지 않아야 합니다
컬렉션이 수정되었습니다. 열거 작업이 실행되지 않을 수 있습니다
닫는 여러 라인이 행에 여러 개 있을 때 구문 분석이 완료되지 않습니다
식 관련 문제
오류 FileNotGenerated
0.1.705¶
2022년 10월 04일
Scala 0.1.442
SparkSnowConvert Core 0.1.499
수정 사항:
라이선스가 변경되면 설정 버튼이 새로 고쳐지지 않습니다.
0.1.702¶
2022년 9월 28일
Scala 0.1.442
SparkSnowConvert Core 0.1.498
추가됨:
기호 테이블 내장 로딩 개선 사항
기호 테이블 로더 강화
수정 사항:
AssessmentReport 에서 Scala 파일 합계의 오류
별표를 사용한 일반 함수에 대한 기호 확인
댓글 내부 설명 및 id 접두사 및 보간 구문 분석 오류
식별자 구문 분석 오류 뒤의 쉼표
첫 번째 문이 두 번째 문의 패턴을 취할 때 식의 구문 분석 오류
“and”, “::”,”++” 및 “or” 연산자 구문 분석 오류
0.1.687¶
2022년 9월 20일
Scala 0.1.430
SparkSnowConvert Core 0.1.491.0
추가됨
기호 로딩/해결 - 별표 매개 변수가 있는 일반 메서드 지원을 추가합니다 .
기호 로딩/해석 - 유형 정의에 대한 유형 추론을 추가합니다.
기호 로딩/해결 일반 개선 사항
수정됨
Spark 참조가 없는 경우 가져오기 사용이 저장되지 않는 문제와 관련된 문제.
0.1.677¶
2022년 9월 15일
Scala 0.1.427
SparkSnowConvert Core 0.1.486.0
추가됨
이제 변환 모드에서 클라우드 원격 측정 및 이메일 전송 메커니즘 사용 가능
이메일 템플릿에서 연락처 정보 업데이트
0.1.653¶
9월 06, 2022
Scala 0.1.426
SparkSnowConvert Core 0.1.476.0
추가됨
SparkUsagesInventory 에 ‘SnowConvert Version’ 및 ‘Snowpark version’ 열
분석 속도 개선
0.1.624¶
2022년 8월 31일
Scala 0.1.422
SparkSnowConvert Core 0.1.454.0
추가됨
SparkReferenceInventory.csv에 자동 및 상태 열이 추가되었습니다
요약 및 상세 html 보고서를 Snowflake에 업로드
매핑 업데이트
수정 사항:
요약 및 상세 보고서 문구 수정
이메일 템플릿 문구 수정.
0.1.579¶
2022년 8월 23일
Scala 0.1.421 Spark
SnowConvert Core 0.1.414
추가됨
이메일 템플릿 업데이트
요약 보고서에 “Version information” 섹션 추가
상세 보고서에 “Resources” 섹션 추가
최종 화면 UI 변경 사항
수정됨
sparkUsagesInventory.pam에서 누락된 Spark 함수 보고서
상세 보고서 로고 업데이트
요약 및 상세 평가 보고서의 백분율 값 전체 자릿수
0.1.595¶
2022년 8월 17일
Scala 0.1.421
SparkSnowConvert Core 0.1.396
추가됨
Spark 읽기 및 쓰기 변환 개선
Spark 사용 인벤토리를 위한 세션 ID 열
0.1.479¶
2022년 6월 30일
Scala 0.1.411
SparkSnowConvert Core 0.1.279
추가됨
Spark 읽기 및 쓰기 변환
Spark trim, rtrim 및 ltrim 함수 변환
문자열 보간 구문 분석
SQL 추출 일치 패턴 증가
0.1.447¶
2022년 6월 14일
Scala 0.1.402
SparkSnowConvert Core 0.1.274
추가됨
파일 작업 견고성
출력 폴더 재구성
SparkSession 빌더 변환
평가 보고서에 “SQL이 포함된 Scala 파일” 수 추가
수정됨
기호 테이블의 순환 종속성 문제
빈 대/소문자 절 구문 분석
Lambda 블록 구문 분석에 대한 다중 문
대/소문자 절 패턴 구문 분석
0.1.380¶
2022년 6월 1일
Scala 0.1.391
SparkSnowConvert Core 0.1.229
추가됨
구문 분석의 견고성
.sbt 구성 파일 처리
평가 html 보고서에 문제 분석 섹션 추가
평가 html 보고서의 외관 개선
RapidScanner 인벤토리를 사용한 Spark 사용량 평가 계산
macOS CLI & UI 지원
가져오기 문 매핑 개선
0.1.7¶
2022년 5월 17일
Scala 0.1.380
추가됨
Scala 구문 분석기
느낌표 2개 지원
변환 도구
SQL 추출
object_struct 함수 변환
평균 함수 변환
Snowpark 확장자 .jar 업데이트
코드 라인 보고서
매핑 가져오기
문서 및 HTML 평가 보고서
RapidScan 통합
Linux OS 지원
수정됨
이진 식 특수 케이스 구문 분석
0.1.3¶
2022년 3월 18일
Scala 0.1.358
추가됨
Scala 구문 분석기
식 구문 분석 시 밑줄 뒤에 개행 지원
구문 분석 오류 처리 개선
기호
해결되지 않은 기호 지원 개선
기존 기호을 재사용할 수 있도록 일반 기호 생성 기능 개선
Lambda 식의 로딩 및 해석 지원
매핑:
.map 파일을 통해 함수 및 유형에 대한 사용자 지정 매핑 지원
사용자 지정 맵 디렉터리 매개 변수 추가
수정됨
알림 .pam 파일에서 누락된 열을 채웁니다.
지정된 보고서 폴더에 메트릭 데이터 파일(.pam)을 생성합니다
0.1.2¶
2022년 3월 4일
Scala 0.1.351
추가됨
UI 및 설명서의 로고 및 텍스트를 업데이트했습니다.
기호
일반 기호에 대한 유형 매개 변수에 일반 식별자 지원
필수가 아닌 종속성 제외
ScalaParser:
Backticks idents
ArgAssign 식
수정됨
ScalaParser:
들여쓰기 옆에 ColonType 이 있는 ExprLambda
Try가 키워드를 참조하지 않는 경우 Try 식
인수가 있는 빈 Lambda 식
TypeArgs 의 밑줄(“_”)
모든 소스에 설명이 있는 파일
SimpleExpr, SingleExpr, TailExpr 노드에 새 라인 추가
ConversionTool:
자바 스크립트 구문 분석 오류로 인한 변환 충돌 수정(jar 종속성 관련)
0.1.1¶
2022년 2월 14일
Scala 0.1.333
기능
명령줄 인터페이스.
Scala 코드 평가 기능.
여러 파일 또는 여러 오브젝트가 있는 단일 파일을 소비합니다.
처음 3번의 개발 스프린트 동안 상호 합의된 함수 및 구문으로 정의된 기본 Scala 프로그램을 변환합니다.
Scala 코드의 설명이 인라인으로 다시 삽입됩니다.
오류/경고/리뷰와 함께 설명을 삽입하십시오.
다음을 포함한 기본 보고
처리된 Spark 요소 수
변환된 요소, 파일 및 위치 요약
발생한 오류/경고/리뷰 요약.
지원되지 않는 Spark APIs 의 요약
다음과 같은 정의된 시나리오가 포함됨을 시연했습니다.
API 매핑
프로젝트를 SnowPark 프로젝트로 다시 생성
적절한 프로젝트 구조 설정
SnowPark 지원 Scala 버전으로 업데이트
임피던스 불일치를 줄이기 위한 헬퍼 생성
일부 패턴 재작성 정의
자동화할 수 없는 개념(예: 파일 사용 패턴, 데이터 소스 구성 또는 Kafka 스트림 읽기와 같이 직접적인 대응 개념이 없는 Spark 라이브러리)에 대한 문서 지침 제공
발효일에 Snowflake가 제공하는 초기 2개의 고객 코드 베이스(위 시나리오의 기준 코드)에 대한 변환 성공률이 90% 이상이어야 합니다.
Snowflake에서 컴파일 가능한 오브젝트 수에 따라 측정됩니다
지원되지 않거나 변환할 수 없는 함수가 있는 오브젝트는 계산되지 않습니다
코드 변환율은 모든 종속성 오브젝트를 포함하는 완전한 코드 베이스를 기준으로 합니다.
Snowflake는 사용 가능한 모든 비공개 미리 보기 기능에 대한 액세스를 제공하여 Mobilize 개발 혜택을 제공합니다.