Snowpark Migration Accelerator: 워크스루 설정¶

SMA 애플리케이션¶

Snowpark Migration Accelerator(SMA)는 개발자가 PySpark 및 Spark Scala 애플리케이션을 Snowflake에서 실행하도록 변환하는 데 도움을 줍니다. Python 또는 Scala 코드에서 Spark API 호출을 자동으로 감지하고 이를 동등한 Snowpark API 호출로 변환합니다. 이 가이드에서는 샘플 Spark 코드를 분석하고 마이그레이션 프로젝트를 지원하는 방법을 보여줌으로써 기본적인 SMA 기능을 시연합니다.

초기 평가 단계에서 Snowpark Migration Accelerator(SMA)는 소스 코드를 검사하고 코드의 모든 기능을 캡처하는 세부 모델을 구축합니다. 이 분석을 기반으로 SMA 는 이 가이드에서 검토할 세부 평가 보고서를 포함한 여러 보고서를 작성합니다. 이러한 보고서를 통해 코드를 Snowpark로 마이그레이션할 준비가 얼마나 되었는지 파악하고 변환에 필요한 노력을 추정할 수 있습니다. 이 실험을 계속 진행하면서 이러한 결과에 대해 더 자세히 살펴보겠습니다.

샘플 코드베이스¶

이 가이드에서는 Python 코드 예제를 사용하여 마이그레이션 프로세스를 설명합니다. 편견 없는 실제 사례로 서드 파티 Git 리포지토리에서 공개적으로 사용 가능한 샘플 코드베이스 2개를 선택했습니다. 이러한 코드베이스는 다음에서 액세스할 수 있습니다.

• PySpark Data Engineering Examples: https://github.com/spark-examples/pyspark-examples

• Apache Spark Machine Learning Examples: https://github.com/apache/spark/tree/master/examples/src/main/python

Snowpark Migration Accelerator(SMA)를 사용하여 코드베이스를 분석하려면 다음 단계를 따르십시오.

1. Download the codebases as zip files from GitHub. You can find instructions on how to do this in the GitHub documentation.

2. 컴퓨터에 각 코드베이스에 대해 별도의 폴더를 생성합니다.

3. 아래 이미지와 같이 각 zip 파일을 지정된 폴더에 압축을 풉니다.

These sample codebases demonstrate how SMA evaluates Spark API references to calculate the Spark API Readiness Score. Let’s look at two scenarios:

1. 높은 점수를 받은 코드베이스로, Snowpark와 호환성이 높고 마이그레이션 준비가 완료되었음을 나타냅니다

2. 낮은 점수를 받은 코드베이스로, 마이그레이션 전에 추가 검토 및 잠재적 수정이 필요함을 나타냅니다

준비도 점수는 귀중한 인사이트를 제공하지만, 마이그레이션을 계획할 때 고려해야 할 유일한 요소는 아닙니다. 성공적인 마이그레이션을 위해서는 고득점 평가와 저득점 평가 모두 모든 측면에 대한 종합적인 평가가 필요합니다.

After unzipping the directories, SMA will analyze only files that use supported code formats and notebook formats. These files are checked for references to Spark API and other Third Party APIs. To see which file types are supported, please check the list here.

이 글의 나머지 부분에서는 이 두 코드베이스가 어떻게 실행되는지 분석해 보겠습니다.