SQL Server에서 Snowflake로의 마이그레이션 가이드¶

포괄적인 인벤토리 수행: 첫 번째 단계는 마이그레이션 범위 내의 모든 자산에 대한 상세하고 철저한 매니페스트를 만드는 것입니다. 이 인벤토리는 자동화된 검색 도구, 시스템 카탈로그 쿼리, 애플리케이션 소유자와의 인터뷰를 함께 활용하여 생성해야 합니다. 인벤토리에는 다음이 포함되어야 합니다.

• 데이터베이스 오브젝트: 모든 데이터베이스, 스키마, 테이블, 뷰. 테이블의 경우 행 수와 원시 데이터 크기를 문서화합니다.

• 프로시저 코드: 모든 저장 프로시저, 사용자 정의 함수(UDFs), 트리거 및 커서를 사용하는 모든 논리.

• 자동화 및 ETL: 모든 SQL Server 에이전트 작업, 해당 일정 및 종속성. SQL Server Integration Services(SSIS) 패키지의 전체 카탈로그는 특히 중요합니다.

• 다운스트림 컨슈머: 모든 애플리케이션 및 데이터베이스에 연결하는 BI 도구(예: SSRS 보고서, Power BI 대시보드, Tableau 통합 문서).

• 보안 주체: 모든 사용자, 역할 및 세분화된 권한.

• 시스템 데이터베이스 제외: SQL Server의 내부 시스템 데이터베이스(master, msdb, tempdb, model)를 마이그레이션하는 것은 중대한 실수입니다. 이는 SQL Server 인스턴스에 필수적이지만 Snowflake에는 함수 또는 이와 상응하는 기능이 없으므로, 모든 마이그레이션 계획에서 명시적으로 제외해야 합니다.

마이그레이션 목표, 범위 및 성공 메트릭 정의: 전체 인벤토리를 통해 팀은 비즈니스 결과와 관련된 명확하고 측정 가능한 목표를 정의할 수 있습니다. 몇 가지 예는 다음과 같습니다.

• 목표: 월말 재무 보고의 성능을 개선합니다.

• 메트릭: “MonthEnd_Consolidation” 보고서 세트의 런타임을 50% 단축합니다.

• 목표: 데이터 웨어하우징 총 소유 비용(TCO)을 절감합니다.

• 메트릭: 전년도 비용 대비 연간 TCO를 30% 절감합니다.

이해관계자 정렬 및 마이그레이션 팀 구성(RACI): 데이터 플랫폼 마이그레이션은 비즈니스 혁신입니다. 모든 이해관계자의 조기 참여와 지속적 참여가 중요합니다. 마이그레이션 팀에는 비즈니스 사용자, 데이터 엔지니어링, 재무, 보안 및 법률 담당자가 포함되어야 합니다. 담당자, 책임자, 조언자, 정보 수신자(RACI) 행렬을 만들어 역할과 책임을 공식화해야 합니다.

** FinOps 소개:** Snowflake의 소비량 기반 비용 모델로의 전환은 처음부터 계획해야 합니다. 마이그레이션 팀은 재무 부서와 협력하여 가격 모델을 이해하고, 예산을 설정하며, 보통 Snowflake의 오브젝트 태그 지정 기능을 사용해 비용을 추적 및 산정하는 방법을 정의합니다.

초기 평가 및 분류: 인벤토리는 중요한 분류 프로세스에 필요한 데이터를 제공합니다. 팀은 사용량 로그를 분석하여 중복되거나 더 이상 사용되지 않는 데이터, 사용되지 않는 오브젝트, 그리고 해제할 수 있거나 마이그레이션하는 대신 보관할 수 있는 임시 스테이징 데이터를 식별해야 합니다.

Snowflake 계정 구조 설계: 대부분의 기업에서는 데이터와 메타데이터를 완벽하게 격리하기 위해 다중 계정 전략을 사용하는 것이 좋습니다. 여기에는 일반적으로 다음에 대한 별도의 계정이 포함됩니다.

• 프로덕션 계정: 가장 엄격한 보안 제어를 통해 모든 프로덕션 데이터와 워크로드를 보관합니다.

• 개발 및 QA 계정: 모든 개발 및 테스트 활동을 위한 별도의 계정입니다.

• 샌드박스 계정(선택 사항): 데이터 과학자 또는 분석가의 실험적 작업을 위한 계정입니다.

강력한 보안 모델 구현: 보안은 계층으로 구현되어야 합니다.

• 네트워크 정책: 첫 번째 방어선으로, Snowflake 계정에 대한 액세스를 신뢰할 수 있는 IP 주소가 포함된 허용 목록으로 제한하는 네트워크 정책을 만듭니다.

• 인증: 모든 사용자에게 다단계 인증(MFA)을 적용합니다. 원활하고 안전한 사용자 환경을 위해 Snowflake를 Azure Active Directory(Azure AD) 또는 Okta와 같은 기업 Single Sign-On(SSO) 공급자와 통합합니다.

• 역할 기반 액세스 제어(RBAC) 계층 구조 설계: 이는 Snowflake 보안의 초석입니다. 오브젝트에 대한 모든 권한은 오직 역할에 부여된 후 사용자에게 부여됩니다. 모범 사례 계층 구조에는 고유한 유형의 역할을 만드는 작업이 포함됩니다.

  • 시스템 정의 역할: ACCOUNTADMIN, SYSADMIN 등이 있으며 관리 작업에만 사용됩니다.

  • 기능 역할: 비즈니스 기능으로 매핑되는 사용자 지정 역할(예: FINANCE_ADMIN, MARKETING_ANALYST)입니다.

  • 액세스 역할: 특정 권한을 정의하는 세분화된 역할(예: READ_ONLY, WRITE_ACCESS)입니다. 그리고 이러한 역할은 관리를 간소화하기 위해 계층 구조에 따라 부여됩니다.

리소스 모니터 및 비용 제어 구성: 리소스 모니터는 Snowflake 내에서 비용 제어를 구현하기 위한 기본 도구입니다. 계정 및 웨어하우스 수준 모두에서 크레딧 소비를 추적하려면 초기 환경 설정의 일부로 구성해야 합니다. 각 모니터에 대해 알림 및 일시 중단 트리거(예: 할당량의 75% 도달 시 이메일 보내기, 100% 도달 시 웨어하우스 일시 중단)를 설정하여 예산 초과를 방지합니다.

데이터 정의 언어(DDL) 변환: 여기에는 CREATE TABLE 및 CREATE VIEW 문을 추출하고 변환하는 작업이 포함됩니다. Snowflake의 SnowConvert AI와 같은 자동화된 코드 변환 도구를 통해 T-SQL DDL을 구문 분석하고, 상응하는 Snowflake SQL을 생성하고, 구문 차이 및 데이터 타입 매핑을 처리하는 것이 좋습니다.

데이터 타입 매핑: 정확한 데이터 타입 매핑은 기본입니다. 많은 유형이 직접 매핑되지만(예: INT에서 NUMBER로), 특히 날짜 및 시간 유형의 경우 몇 가지 주요 차이점에 주의해야 합니다. SQL Server의 DATETIME 및 DATETIME2는 타임존을 인식하지 못하며 Snowflake의 TIMESTAMP_NTZ로 매핑되어야 합니다. 반대로, DATETIMEOFFSET에는 타임존 오프셋이 포함되어 있으며 이 정보를 보존하려면 TIMESTAMP_TZ로 매핑해야 합니다.

제약 조건 처리(강제 적용 및 강제 적용되지 않음): 이는 상당한 개념적 변화를 나타냅니다. SQL 서버에서, 기본 키 및 외래 키와 같은 제약 조건은 데이터베이스 엔진에 의해 적용됩니다. Snowflake에서는 이러한 제약 조건을 정의할 수 있지만 적용되지는 않습니다. 이는 순수하게 메타데이터로 존재합니다. 데이터 무결성 유지에 대한 책임은 전적으로 데이터베이스에서 데이터 파이프라인(ETL 및 ELT 프로세스)으로 전환됩니다.

저장 프로시저 및 T-SQL 변환: T-SQL 저장 프로시저 마이그레이션은 중요한 작업입니다.

• SQL 언어 불일치: 다양한 T-SQL 함수 및 구문 구성에는 변환이 필요합니다(예: GETDATE()는 CURRENT_TIMESTAMP()가, ISNULL()은 COALESCE()가 됨).

• 리팩터링 논리: 권장 방법은 SQL 기반 프로시저 언어인 Snowflake Scripting을 사용하여 T-SQL 프로시저를 다시 작성하는 것입니다 가장 중요한 목표는 가능한 한 (커서와 같은) 행 단위 처리를 제거하고 세트 기반 SQL 문을 사용하는 것입니다.

• 커서 및 트리거 바꾸기: 커서는 Snowflake에서 심각한 성능 저하 패턴이므로 제거해야 합니다. Snowflake는 트리거를 지원하지 않으므로, Streams 및 Tasks의 클라우드 네이티브 패턴을 사용하여 해당 기능을 다시 구현해야 합니다. 여기서 스트림은 테이블 변경 사항을 캡처하고, 예약된 태스크는 이러한 변경 사항을 사용하여 비즈니스 논리를 적용합니다.

SQL Server에서 데이터 추출: 과거 데이터를 초기 마이그레이션할 때 SQL Server의 네이티브 대량 복사 프로그램(BCP) 명령줄 유틸리티는 매우 효율적인 옵션입니다. 대용량 테이블을 플랫 파일(예: CSV)에 고속으로 내보낼 수 있습니다. 그런 다음 이러한 파일을 클라우드 스테이지(예: Amazon S3, Azure Blob Storage)에 업로드할 수 있습니다.

스테이지에서 Snowflake로 데이터 로드: 데이터 파일이 클라우드 스테이지에 있으면, 기본 수집 메커니즘은 COPYINTO<table> 명령입니다. 이는 고성능 대량 데이터 로딩을 위한 핵심 SQL 명령입니다. 대규모 병렬 방식으로 작동하도록 설계되었습니다. 최적의 성능을 위해서는 대규모 데이터 세트를 적당한 크기(100~250MB는 일반적인 권장 사항임)의 여러 파일로 분할하여 이 병렬 처리를 최대화하는 것이 좋습니다.

증분 데이터 복제: 초기 로드 후 진행 중인 변경 사항을 복제하는 경우, SQL Server의 네이티브 변경 데이터 캡처(CDC) 기능이 권장됩니다. CDC는 데이터베이스의 트랜잭션 로그를 읽어 모든 INSERT, UPDATE, DELETE 작업이 발생하는 즉시 캡처하여 영향이 적고 거의 실시간에 가까운 변경 사항 스트림을 제공합니다.

Snowpipe를 사용한 연속 수집: Snowpipe는 스트리밍 및 마이크로 배치 사용 사례를 위해 설계된 Snowflake의 연속 데이터 수집 서비스입니다. 스테이지를 “구독”하는 PIPE 오브젝트를 생성합니다. CDC 프로세스에서 생성한 새 변경 파일이 스테이지에 도착하면 Snowpipe가 자동으로 트리거되어 데이터를 로드합니다.

MERGE로 변경 사항 적용 : Snowflake의 임시 스테이징 테이블에 변경 데이터가 로드되면(Snowpipe를 통해) 이러한 변경 사항을 최종 프로덕션 테이블에 적용하기 위해 MERGE 명령이 사용됩니다. 단일 원자성 문으로 삽입, 업데이트, 삭제를 처리할 수 있습니다.

SSIS 및 SQL Server 에이전트 작업 현대화:

• SSIS 마이그레이션: 단순히 기존 SSIS 패키지를 Snowflake로 지정하는 것은 실행 가능한 전략이 아닙니다. 권장되는 접근 방식은 클라우드 네이티브 도구를 사용하여 SSIS 논리를 재설계하고 추출, 로드, 변환(ELT) 패턴을 수용하는 것입니다. 여기에는 SSIS 해제 및 **dbt(데이터 빌드 도구)**와 같은 도구를 사용하여 웨어하우스 내 변환을 위한 비즈니스 논리를 재구축하고 Apache Airflow와 같은 도구로 오케스트레이션을 관리하는 작업이 포함됩니다.

• **SQL Server 에이전트 마이그레이션:**SQL Server Agent의 예약 기능을 마이그레이션해야 합니다. 단순하고 종속성이 없는 작업은 네이티브 Snowflake Tasks를 사용하여 예약할 수 있습니다. 종속성이 있는 복잡한 워크플로에는 Apache Airflow 또는 Azure Data Factory와 같은 더 강력한 외부 오케스트레이터가 필요합니다.

BI 도구(Tableau, Power BI) 연결: Tableau 및 Power BI는 모두 Snowflake 에코시스템의 핵심 요소이며, 기본 고성능 커넥터를 제공합니다. 두 도구 모두 실시간 연결(예: Tableau Live, Power BI DirectQuery) 및 가져온 모델 및 추출된 모델 간에 대시보드별로 중요한 결정을 내려야 합니다.

• 실시간 및 DirectQuery: 실시간 데이터를 제공하지만, 모든 사용자 상호 작용에 대해 Snowflake에 직접 쿼리를 전송하므로 상당한 컴퓨팅 비용이 발생할 수 있습니다.

• 추출 및 가져오기: 데이터의 메모리 내 복사본에서 쿼리를 처리하여 우수한 성능을 제공하지만, 데이터는 마지막으로 새로 고친 시점에만 최신 상태로 유지됩니다.

** SSRS 과제 및 대체:** SSRS(SQL Server Reporting Services)를 Snowflake에 연결하는 작업은 매우 까다로우므로, 권장되는 장기 전략이 아닙니다. Snowflake로의 마이그레이션은 SSRS 해제를 위한 전략적 계획의 촉매제 역할을 해야 합니다. 중요한 SSRS 보고서는 평가를 거쳐 Power BI 또는 Tableau 등의 최신 클라우드 네이티브 BI 플랫폼에서 다시 작성해야 합니다.

워크로드 격리: BI 도구의 성능 및 비용 영향을 관리하기 위해 BI 워크로드에는 Snowflake에 적절한 크기의 전용 가상 웨어하우스를 만드는 것이 가장 좋습니다. 이를 통해 ETL과 같은 다른 워크로드로부터 BI 쿼리를 격리할 수 있습니다.

다계층 데이터 유효성 검사 전략:

• 레벨 1: 파일 및 오브젝트 유효성 검사: 체크섬 또는 해시 함수를 사용하여 소스 시스템에서 클라우드 스테이지로 전송된 데이터 파일이 전송 중에 손상되지 않았는지 확인합니다.

• 레벨 2: 조정 및 집계 유효성 검사: 소스 SQL Server 데이터베이스 및 대상 Snowflake 테이블 모두에서 쿼리를 실행하여 모든 주요 숫자 열에 대한 행 수 및 집계 함수(SUM, AVG, MIN, MAX)와 같은 주요 메트릭을 비교합니다.

• 레벨 3: 셀 수준 유효성 검사(데이터 차이): 비즈니스에 가장 중요한 테이블의 경우, 미묘한 데이터 타입 변환 오류 또는 변환 논리 버그를 포착하려면 통계적으로 유의미한 행 샘플을 셀별로 세분화하여 비교해야 합니다.

성능 테스트 및 사용자 수용 테스트(UAT):

• 성능 테스트: 마이그레이션된 ETL 및 ELT 파이프라인과 BI 보고서는 계획 단계에서 정의된 성능 SLAs를 기준으로 테스트해야 합니다.

• 사용자 수용 테스트(UAT): 여기에서 비즈니스 사용자는 새 시스템을 직접 체험할 수 있습니다. 보고서를 실행하고, 쿼리를 실행하고, 마이그레이션된 시스템이 기능 요구 사항을 충족하며 레거시 시스템과 동일한 결과를 생성하는지 검증할 수 있는 시간과 리소스가 제공되어야 합니다. UAT는 프로덕션 배포 전의 마지막 관문입니다.

전환 계획 수립: 잠재적인 문제의 “파급 범위”를 제한하기 위해 단일 “일괄” 전환 대신 단계적 전환 방식이 권장됩니다.

• 단계적 롤아웃(권장): 일정 기간 동안 애플리케이션, 보고서 또는 사업부를 하나씩 마이그레이션합니다.

• 병렬 실행: 일정 기간 동안 레거시 SQL Server와 새로운 Snowflake 시스템을 병렬 실행하여 두 시스템에 데이터를 공급하고 출력을 비교해 레거시 시스템을 해제하기 전에 100% 일관성을 보장합니다.

• 브리징 전략: 단계적 롤아웃 또는 병렬 실행 중에 사용자가 서로 다른 두 시스템을 쿼리할 필요가 없도록 브리징 전략을 구현하는 것이 중요합니다. 비즈니스에 단일 통합 뷰를 제공하는 것이 목표입니다.

최종 배포 검사 목록 및 이해관계자 승인: 최종 전환 전에 팀은 최종 준비 검토를 수행해야 합니다. 모든 권한과 역할을 확인하고, 모든 서비스 계정이 준비되어 있는지 확인하며, 모니터링 및 경고가 활성화되어 있는지 확인합니다. 서비스를 제공하기 전에 모든 주요 비즈니스 및 기술 이해관계자로부터 공식 서면 승인을 받습니다.

성능 튜닝:

• 가상 웨어하우스 크기 조정 및 관리: 이는 성능과 비용 모두를 조정하는 주요 수단입니다. 웨어하우스를 지속적으로 모니터링하고 적절한 크기로 조정하며, 다양한 워크로드에 대해 별도의 웨어하우스를 만들고(워크로드 격리), 모든 웨어하우스에 적극적인 자동 일시 중단 정책을 적용합니다.

• 쿼리 최적화: Snowflake의 쿼리 프로필 도구를 사용하여 느리게 실행되는 쿼리를 시각적으로 분석하고 디버깅할 수 있습니다.

• 클러스터링 키: 매우 큰 테이블(일반적으로 1TB 이상)의 경우 클러스터링 키를 정의하면 관련 데이터를 물리적으로 함께 배치하여 쿼리 성능을 크게 향상할 수 있습니다.

장기적인 FinOps 구현:

• 지속적인 모니터링: ACCOUNT_USAGE 스키마의 비용 및 사용량 데이터를 정기적으로 검토합니다.

• 쇼백 및 차지백: 책임을 강화하기 위해 비용이 발생하는 사업부 또는 프로젝트에 비용을 산정하는 모델을 구현합니다.

• 오브젝트 태그 지정: Snowflake의 태그 지정 기능을 통해 오브젝트에 메타데이터 태그를 적용하여 비용 할당 및 거버넌스를 간소화합니다.

데이터 거버넌스 및 보안 설정:

• RBAC 구체화: RBAC 계층 구조를 지속적으로 업데이트하고 정기적으로 감사를 수행하여 사용하지 않는 역할이나 과도한 권한을 제거합니다.

• 고급 보안 기능: 매우 민감한 데이터의 경우 동적 데이터 마스킹 및 행 액세스 정책과 같은 Snowflake의 고급 데이터 거버넌스 기능을 구현합니다.