Snowpark Migration Accelerator: 워크스루 설정¶

SMA 애플리케이션¶

Snowpark Migration Accelerator(SMA)는 개발자가 PySpark 및 Spark Scala 애플리케이션을 Snowflake에서 실행하도록 변환하는 데 도움을 줍니다. Python 또는 Scala 코드에서 Spark API 호출을 자동으로 감지하고 이를 동등한 Snowpark API 호출로 변환합니다. 이 가이드에서는 샘플 Spark 코드를 분석하고 마이그레이션 프로젝트를 지원하는 방법을 보여줌으로써 기본적인 SMA 기능을 시연합니다.

초기 평가 단계에서 Snowpark Migration Accelerator(SMA)는 소스 코드를 검사하고 코드의 모든 기능을 캡처하는 세부 모델을 구축합니다. 이 분석을 기반으로 SMA 는 이 가이드에서 검토할 세부 평가 보고서를 포함한 여러 보고서를 작성합니다. 이러한 보고서를 통해 코드를 Snowpark로 마이그레이션할 준비가 얼마나 되었는지 파악하고 변환에 필요한 노력을 추정할 수 있습니다. 이 실험을 계속 진행하면서 이러한 결과에 대해 더 자세히 살펴보겠습니다.

샘플 코드베이스¶

이 가이드에서는 Python 코드 예제를 사용하여 마이그레이션 프로세스를 설명합니다. 편견 없는 실제 사례로 서드 파티 Git 리포지토리에서 공개적으로 사용 가능한 샘플 코드베이스 2개를 선택했습니다. 이러한 코드베이스는 다음에서 액세스할 수 있습니다.

• PySpark 데이터 엔지니어링 예시: https: https://github.com/spark-examples/pyspark-examples

• Apache Spark 머신 러닝 예제: https://github.com/apache/spark/tree/master/examples/src/main/python

Snowpark Migration Accelerator(SMA)를 사용하여 코드베이스를 분석하려면 다음 단계를 따르십시오.

1. GitHub 에서 코드베이스를 zip 파일로 다운로드합니다. 이 작업에 대한 지침은 GitHub 설명서 를 참조하십시오.

2. 컴퓨터에 각 코드베이스에 대해 별도의 폴더를 생성합니다.

3. 아래 이미지와 같이 각 zip 파일을 지정된 폴더에 압축을 풉니다.

이 샘플 코드베이스는 SMA 가 Spark API 참조를 평가하여 Spark API 준비도 점수를 계산하는 방법을 보여 줍니다. 두 가지 시나리오를 살펴보겠습니다.

1. 높은 점수를 받은 코드베이스로, Snowpark와 호환성이 높고 마이그레이션 준비가 완료되었음을 나타냅니다

2. 낮은 점수를 받은 코드베이스로, 마이그레이션 전에 추가 검토 및 잠재적 수정이 필요함을 나타냅니다

준비도 점수는 귀중한 인사이트를 제공하지만, 마이그레이션을 계획할 때 고려해야 할 유일한 요소는 아닙니다. 성공적인 마이그레이션을 위해서는 고득점 평가와 저득점 평가 모두 모든 측면에 대한 종합적인 평가가 필요합니다.

디렉터리 압축을 푼 후 SMA 는 지원되는 코드 형식과 노트북 형식을 사용하는 파일만 분석합니다. 이 파일은 Spark API 및 기타 서드 파티 APIs 에 대한 참조 여부를 확인합니다. 지원되는 파일 유형을 확인하려면 목록 여기를 참조하십시오.

이 글의 나머지 부분에서는 이 두 코드베이스가 어떻게 실행되는지 분석해 보겠습니다.