SnowConvert AI - Teradata - SnowConvert AI 스크립트 헬퍼¶

SnowConvert AI 헬퍼는 Teradata 스크립트 파일을 Snowflake가 해석할 수 있는 Python 파일로 쉽게 변환하도록 설계된 함수가 포함된 클래스 세트입니다.

Teradata용 SnowConvert AI는 모든 Teradata SQL 또는 스크립트(BTEQ, FastLoad, MultiLoad, TPump)를 가져와 이를 기능적으로 동등한 Snowflake SQL, Snowflake SQL에 임베드된 JavaScript, Python으로 변환할 수 있습니다. SnowConvert AI의 모든 출력 Python 코드는 이러한 헬퍼 클래스의 함수를 호출하여 변환을 완료하고 Snowflake에서 기능적으로 동등한 출력을 생성합니다.

또한 Snowflake 계정에 연결하고 SnowConvert 에서 생성한 출력 Python 코드를 실행하기 위해 Python용 Snowflake Connector 가 호출됩니다.

패키지의 최신 버전 정보는 여기 에서 확인할 수 있습니다.

참고

Python 패키지 snowconvert-helpers 는 Python 3.6, 3.7, 3.8 및 3.9 버전을 지원합니다.

스크립트 마이그레이션¶

원본¶

마이그레이션할 BTEQ 코드가 다음과 같다고 가정합니다.

 insert into table1 values(1, 2);
insert into table1 values(3, 4);
insert into table1 values(5, 6);

Copy

출력¶

아래와 같은 출력이 표시됩니다.

참고

log_on 함수 매개 변수(‘사용자’, ‘비밀번호’, ‘계정’, ‘데이터베이스’, ‘웨어하우스’, ‘역할’, ‘토큰’)는 사용자가 정의해야 합니다.

 #*** Generated code is based on the SnowConvert AI Python Helpers version 2.0.6 ***
 
import os
import sys
import snowconvert.helpers
from snowconvert.helpers import Export
from snowconvert.helpers import exec
from snowconvert.helpers import BeginLoading
con = None
def main():
  snowconvert.helpers.configure_log()
  con = snowconvert.helpers.log_on()
  exec("""
    INSERT INTO table1
    VALUES (1, 2)
    """)
  exec("""
    INSERT INTO table1
    VALUES (3, 4)
    """)
  exec("""
    INSERT INTO table1
    VALUES (5, 6)
    """)
  snowconvert.helpers.quit_application()

if __name__ == "__main__":
  main()

Copy

시작하기¶

패키지를 설치하려면 Python 환경에서 다음 명령을 실행해야 합니다. Python에서 패키지를 설치하는 데 익숙하지 않은 경우 다음 페이지(https://packaging.python.org/tutorials/installing-packages/)를 참조하십시오.

 pip install snowconvert-helpers

Copy

패키지가 설치되면 Python에서 스크립트 마이그레이션된 코드를 실행할 수 있습니다.

코드 실행¶

마이그레이션된 코드를 실행하려면 명령 프롬프트 또는 터미널 을 열고 다음 명령을 실행하기만 하면 됩니다.

 python sample_BTEQ.py

Copy

스크립트에 오류가 없으면 콘솔에 아래와 같은 출력이 표시됩니다.

 Executing: INSERT INTO PUBLIC.table1 VALUES (1, 2).
Printing Result Set:
number of rows inserted
1

Executing: INSERT INTO PUBLIC.table1 VALUES (3, 4).
Printing Result Set:
number of rows inserted
1

Executing: INSERT INTO PUBLIC.table1 VALUES (5, 6).
Printing Result Set:
number of rows inserted
1

Error Code 0
Script done >>>>>>>>>>>>>>>>>>>>
Error Code 0

Copy

연결 매개 변수 전달하기¶

데이터베이스 연결에 연결 매개 변수를 전달하는 방법에는 여러 가지가 있습니다.

함수의 매개 변수로 Python 파일 내에서 snowconvert.helpers.log_on을 호출합니다.
명령줄에서 Python이 실행될 때 사용자, 비밀번호, 계정, 데이터베이스, 웨어하우스, 역할의 특정 순서를 가진 위치 매개 변수입니다.
명령줄에서 python이 실행될 때 SNOW_USER, SNOW_PASSWORD, SNOW_ACCOUNT, SNOW_DATABASE, SNOW_WAREHOUSE, SNOW_ROLE, SNOW_QUERYTAG, SNOWAUTHENTICATOR 및 SNOWTOKEN 의 순서 제한이 없는 명명된 매개 변수로, –param-VARNAME=VALUE 와 같이 전달됩니다.
환경 변수로 SNOW_USER, SNOW_PASSWORD, SNOW_ACCOUNT, SNOW_DATABASE, SNOW_WAREHOUSE, SNOW_ROLE, SNOW_QUERYTAG, SNOWAUTHENTICATOR 및 SNOWTOKEN 라는 이름으로 Python 실행 전에 설정합니다.

지정된 이전 순서는 우선순위를 결정하는 방식입니다.

함수 호출의 매개 변수¶

다음과 같이 함수 호출에서 위치 매개 변수로 설정할 수 있습니다.

    .....
   con = snowconvert.helpers.log_on(
     'myuser',
     'mypassword',
     'myaccount',
     'mydatabase',
     'mywarehouse',
     'myrole',
     5,
     'myauthenticator',
     'mytoken')
   .....

Copy

또는 다음과 같이 함수 호출에서 원하는 순서대로 명명된 매개 변수를 설정할 수 있습니다.

    .....
   con = snowconvert.helpers.log_on(
     account:'myaccount',
     password:'mypassword',
     user:'myuser',     
     warehouse:'mywarehouse',
     login_timeout:5,
     authenticator:'myauthenticator',
     toke:'mytoken')
   .....

Copy

위치 매개 변수¶

명령줄에서 다음과 같이 특정 순서로 설정해야 합니다.

 python sample_BTEQ.py myuser mypassword myaccount mydatabase mywarehouse myrole myauthenticator mytokenr

Copy

또는 일부 매개 변수만 설정할 수 있지만 항상 다음과 같이 사용자 매개 변수부터 시작할 수 있습니다.

 python sample_BTEQ.py myuser mypassword myaccount

Copy

명명된 매개 변수¶

명명된 매개 변수는 다음과 같이 명령줄에서 원하는 순서대로 설정할 수 있습니다(가독성을 위해 한 라인로 표시하고 여러 라인로 표시).

python sample_BTEQ.py --param-SNOW_WAREHOUSE=mywarehouse 
  --param-SNOW_ROLE=myrole 
  --param-SNOW_PASSWORD=mypassword 
  --param-SNOW_USER=myuser 
  --param-SNOW_QUERYTAG=mytag 
  --param-SNOW_ACCOUNT=myaccount
  --param-SNOW_DATABASE=mydatabase 
  --param-SNOW_AUTHENTICATOR=myauthenticator
  --param-SNOW_TOKEN=mytoken
  --param-PRIVATE_KEY_PATH=myprivatekey
  --param-PRIVATE_KEY_PASSWORD=myprivatekeypassword

Copy

환경 변수¶

Python 스크립트를 호출하기 전에 다음 환경 변수를 설정할 수 있습니다.

SNOW_USER
SNOW_PASSWORD
SNOW_ACCOUNT
SNOW_DATABASE
SNOW_WAREHOUSE
SNOW_ROLE
SNOW_QUERYTAG
SNOW_AUTHENTICATOR
SNOW_TOKEN
PRIVATE_KEY_PATH
PRIVATE_KEY_PASSWORD

키 페어 인증¶

log_on 함수는 키 페어 인증 프로세스도 지원할 수 있습니다. 키 생성에 대한 자세한 내용은 다음 Snowflake 설명서를 검토하세요. 필수 매개 변수를 확인하세요.

log_on(

user='YOUR_USER',

account='YOUR_ACCOUNT',

role = 'YOUR_ROLE',

warehouse = 'YOUR_WAREHOUSE',

database = 'YOUR_DATABASE',

private_key_path='/YOUR_PATH/rsa_key.p8',

private_key_password='YOUR_PASSWORD')

환경 변수 전달 예제¶

다음은 SNOW_AUTHENTICATOR, SNOW_USER 및 SNOW_PASSWORD 를 사용하는 예제입니다. 출력 Python 파일을 실행하기 전에 정의한 다음 생성된 Python 파일을 실행해야 합니다.

Windows¶

 SET SNOW_AUTHENTICATOR=VALUE
SET SNOW_USER=myuser
SET SNOW_PASSWORD=mypassword
python sample_BTEQ.py

Copy

Linux/Mac¶

 export SNOW_AUTHENTICATOR=VALUE
export SNOW_USER=myuser
export SNOW_PASSWORD=mypassword
python3 sample_BTEQ.py

Copy

로그 활성화¶

로깅을 활성화하려면 SNOW_LOGGING 이라는 환경 변수를 true로 설정해야 합니다.

그런 다음 로깅 구성을 사용자 정의하려면 다음과 같이 snowconvert.helpers.configure_log() 메서드에 매개 변수를 전달할 수 있습니다.

 snowconvert.helpers.configure_log("SOMEPATH.conf")

Copy

구성 파일에는 다음 구조가 포함되어야 합니다. Python 로깅에 대한 자세한 내용을 보려면 여기를 클릭 하십시오.

 [loggers]
keys=root

[handlers]
keys=consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=0

[handler_consoleHandler]
class=FileHandler
level=DEBUG
formatter=simpleFormatter
args=('python2.log', 'w')

[formatter_simpleFormatter]
format=%(asctime)s -%(levelname)s - %(message)s

Copy

Snowflake¶

마이그레이션한 코드가 실행되면 Snowflake로 이동하여 변경 사항이나 배포를 확인할 수 있습니다.

 select * from PUBLIC.table1;

Copy

위의 예에서 삽입한 행을 볼 수 있습니다.

쿼리 결과

로컬 헬퍼 설명서¶

우선, pydoc이라는 이름의 Python 패키지를 설치해야 합니다(snowconvert-helpers 버전 2.0.2부터 사용 가능).

 pip install pydoc

Copy

그런 다음 snowconvert-helpers 패키지의 Python 설명서를 표시하려면 변환된 출력 코드가 있고 Python 출력이 있는 폴더로 이동해야 합니다.

D:\bteq\Output>dir

 Volume in drive D is Storage
 Volume Serial Number is 203C-168C

 Directory of D:\bteq\Output

05/25/2021  03:55 PM    <DIR>          .
05/25/2021  03:55 PM    <DIR>          ..
05/25/2021  03:55 PM               630 input_BTEQ.py
               1 File(s)            630 bytes
               2 Dir(s)  1,510,686,502,912 bytes free

Copy

이 디렉터리에 위치해야 실행할 수 있습니다.

 python -m pydoc -b

Copy

콘솔은 설치된 모든 패키지에 대한 설명서의 HTML 도움말과 함께 선호하는 브라우저를 엽니다.

D:\bteq\Output>python -m pydoc -b
Server ready at http://localhost:61355/
Server commands: [b]rowser, [q]uit
server>

Copy

그러면 다음과 같은 코드 설명서가 있는 브라우저가 열립니다.

![생성된 로컬 설명서의 홈페이지](../../../../../images/migrations/sc-assets/ builtin.png)

페이지 끝으로 스크롤하여 설치된 패키지를 확인합니다. 그리고 다음과 유사하게 표시됩니다.

로컬 설치 패키지 설명서 인덱스

SnowConvert AI(패키지)에서 클릭하면 다음과 같은 내용이 표시됩니다.

snowconvert-helpers 설명서 홈페이지

모듈 헬퍼를 클릭하면 다음과 유사한 화면이 표시됩니다.

헬퍼 모듈 홈페이지

그런 다음 모듈의 함수와 클래스를 스크롤할 수 있습니다.

함수 설명서

알려진 문제 ¶

문제가 발견되지 않았습니다.

기술 설명서¶

함수¶

프로젝트에 정의된 모든 함수.

액세스¶

참고

access(path, mode, *, dir_fd=None, effective_ids=False, follow_symlinks=True)

설명:¶

경로에 대한 액세스를 테스트하려면 실제 UID/GID를 사용하십시오

dir_fd, effective_ids, and follow_symlinks는 플랫폼에서 구현되지 않을 수 있습니다. 사용할 수 없는 경우 이를 사용하면 NotImplementedError 가 표시됩니다.

대부분의 작업은 유효한 UID/GID를 사용하므로 이 루틴은 호출하는 사용자가 경로에 대해 지정된 액세스 권한을 가지고 있는지 테스트하기 위해 suid/sgid 환경에서 사용할 수 있습니다.

매개 변수:¶

path, 테스트할 경로; 문자열, 바이트 또는 경로와 유사한 오브젝트 일 수 있습니다
모드, 운영 체제 모드 비트필드. 존재를 테스트할 OK 또는 R_OK, W_OK 및 X_OK의 포함 OR 일 수 있음
dir_fd, 없음이 아니라면 디렉터리에 열려있는 파일 설명자여야 하며, 경로는 상대적이어야 합니다. 그러면 경로는 해당 디렉터리에 상대적입니다
effective_ids, true이면 액세스는 실제 uid/gid 대신 유효 uid/gid를 사용합니다
follow_symlinks, false이고 경로의 마지막 요소가 심볼릭 링크인 경우 액세스는 링크가 가리키는 파일 대신 심볼릭 링크 자체를 검사합니다

at_exit_helpers¶

참고

at_exit_helpers()

설명:¶

스크립트 실행 종료 시 실행됩니다.

colored¶

참고

colored(text, color='blue')

설명:¶

지정된 색상에서 컬러 텍스트를 인쇄합니다.

매개 변수:¶

text , 인쇄할 텍스트
color="blue" , 인쇄할 색상

configure_log¶

참고

configure_log(configuration_path)

설명:¶

_Snowflake 연결에서 모든 데이터 관련 실행에 대해 수행될 로깅을 구성합니다. 로그 파일의 기본 이름은 ‘snowflake_python_connector.log’_입니다.

매개 변수:

configuration_path , 로깅에 필요한 모든 설정이 포함된 파일의 구성 경로입니다

drop_transient_table¶

참고

drop_transient_table(tempTableName, con=None)

설명:¶

지정된 이름의 일시적 테이블을 삭제합니다

매개 변수:

tempTableName , 임시 테이블의 이름
con=None , 사용할 연결, None이 전달되면 마지막으로 수행된 연결을 사용합니다

exception_hook¶

참고

exception_hook(exctype, value, tback)

설명:¶

매개 변수:

exctype
값
tback

exec¶

참고

exec(sql_string, using=None, con=None)

설명:¶

마지막 연결을 사용하여 SQL 문자열을 실행하며, 선택적으로 인자 또는 특정 연결을 사용합니다. 예제:

_ exec("SELECT * FROM USER")_
_ exec("SELECT * FROM USER", con)_
_ exec("SELECT * FROM CUSTOMER WHERE CUSTOMERID= %S", customer)_

매개 변수:

sql_string , SQL의 정의
using=None , 전달된 SQL에 사용할 수 있는 선택적 매개 변수입니다
con=None , 사용할 연결, None이 전달되면 마지막으로 수행된 연결을 사용합니다

exec_file¶

참고

exec_file(filename, con=None)

설명:¶

파일의 내용을 읽고 지정된 연결에 포함된 SQL 문을 실행합니다.

매개 변수:

filename , 읽고 실행할 파일 이름
con=None , 사용할 연결, None이 전달되면 마지막으로 수행된 연결을 사용합니다

exec_os¶

참고

exec_os(command)

설명:¶

target_schema , 빠른 로딩에 사용할 스키마의 이름입니다
filepath , 테이블에 로딩할 파일 이름 경로
target_table_name , 데이터가 로딩될 테이블의 이름입니다
con=None , 사용할 연결, None이 전달되면 마지막으로 수행된 연결을 사용합니다

file_exists_and_readable¶

참고

file_exists_and_readable(filename)

설명:¶

매개 변수:

filename ,

get_argkey¶

참고

get_argkey(astr)

설명:¶

전달된 문자열에서 인자 키 값을 가져옵니다. 문자열 ‘–param-‘로 시작해야 합니다

매개 변수:

astr , 사용할 인자 문자열입니다. 문자열은 –param-column=32와 유사한 값을 가져야 하며 반환 값은 ‘32’가 됩니다

get_error_position¶

참고

get_error_position()

설명:¶

filename, 읽을 파일의 이름입니다
tempTableName, 임시 테이블의 이름
columnDefinition, 임시 테이블을 가질 모든 필드의 정의

설명:¶

매개 변수:

args,

print_table¶

참고

print_table(dictionary)

설명:¶

사용자 및 비밀번호 값을 노출하지 않고 사전을 인쇄합니다.

매개 변수:

dictionary,

quit_application¶

참고

quit_application(code=None)

설명:¶

애플리케이션을 종료하고 선택적으로 전달된 코드를 반환합니다.

매개 변수:

code=None, 종료 후 반환할 코드입니다

read_params_args¶

참고

read_param_args(args)

설명:¶

전달된 배열에서 매개 변수 인자를 읽습니다

매개 변수:

args, 사용할 인자

readrun¶

참고

readrun(line, skip=0)

설명:¶

지정된 파일 이름 라인을 읽고 파일 시작 부분의 일부 라인을 선택적으로 건너뜁니다

매개 변수:

라인, 읽을 파일 이름
skip=0, 건너뛸 라인은 다음과 같습니다

remark¶

참고

remark(arg)

설명:¶

인자를 인쇄합니다.

매개 변수:

arg, 인쇄할 인자

repeat_previous_sql_statement¶

참고

repeat_previous_sql_statement(con=None, n=1)

설명:¶

이전에 실행된 sql 문을 반복합니다.

매개 변수:

con=None, 지정된 경우 연결. 전달되지 않으면 마지막으로 수행된 연결 성능을 사용합니다
n=1, 다시 실행할 이전 문 수

set_default_error_level¶

참고

set_default_error_level(severity_value)

설명:¶

매개 변수:

severity_value,

set_error_level¶

참고

set_error_level(arg, severity_value)

설명:¶

매개 변수:

arg,
severity_value,

simple_fast_load¶

참고

simple_fast_load(con, target_schema, filepath, stagename, target_table_name)

설명:¶

연결과 전달된 매개 변수 target_schema, 파일 경로, 스테이지 이름 및 대상 테이블 이름에서 간단한 빠른 로딩을 실행합니다.

매개 변수:

arg, 사용할 연결
target_schema, 빠른 로딩에 사용할 스키마의 이름입니다
filepath, 테이블에 로딩할 파일 이름 경로
target_table_name, 데이터가 로딩될 테이블의 이름입니다

stat¶

참고

stat(path, *, dir_fd=None, follow_symlinks=True)

설명:¶

_지정된 경로에서 통계 시스템 호출을 수행합니다._dir_fd 및 follow_symlink는 플랫폼에서 구현되지 않을 수 있습니다. 사용할 수 없는 경우 이를 사용하면 NotImplementedError 가 발생합니다. 열린 파일 설명자로 경로를 지정할 때 dir_fd 또는 follow_symlinks를 사용하는 것은 오류입니다

매개 변수:

path, 검사할 경로; 문자열, 바이트, 경로와 유사한 오브젝트 또는\open-file-descriptor int일 수 있습니다
dir_fd, 없음이 아닌 경우 디렉터리에 열려있는 파일 설명자이어야 하며, 경로는 상대 문자열이어야 합니다. 그러면 경로는 해당 디렉터리에 상대적입니다
follow_symlinks, false이고 경로의 마지막 요소가 심볼릭 링크인 경우, stat는 링크가 가리키는 파일 대신 심볼릭 링크 자체를 검사합니다

system¶

참고

system(command)

설명:¶

서브셸에서 명령을 실행합니다.

매개 변수:

_ command_ ,

using¶

참고

using(*argv)

설명:¶

매개 변수:

_ *argv_ ,

클래스¶

프로젝트에 정의된 모든 클래스

BeginLoading 클래스¶

이 클래스에는 BEGIN LOADING 및 FastLoad 의 관련 명령을 지원하는 import_file_to_tab 정적 함수가 포함되어 있습니다.

`import_file_to_tab()`¶

매개 변수:

target_schema_table
- 대상 스키마(선택 사항) 및 테이블 이름
define_file
- 읽을 파일의 이름입니다
define_columns
- 임시 테이블의 모든 열에 대한 정의입니다
begin_loading_columns
- 삽입할 열 이름입니다. 값이 삽입되는 순서를 지정합니다
begin_loading_values
- 변환할 원시 삽입 값 목록
field_delimiter
- 필드 구분 기호
(선택 사항) skip_header
- 건너뛸 행 수입니다
(선택 사항) input_data_place_holder
- 지원되는 클라우드 공급자에서 파일의 위치입니다. 파일이 로컬에 저장되지 않은 경우 매개 변수 설정
(선택 사항) con
- 사용할 연결은 다음과 같습니다

Export 클래스¶

클래스의 정적 메서드

defaults()
null(value=None)
record_mode(value=None)
report(file, separator=' ')
reset()
separator_string(value=None)
separator_width(value=None)
side_titles(value=None)
title_dashes(value=None, withValue=None)
title_dashes_with(value=None)
width(value=None)

\ 여기에 정의된 데이터 및 기타 특성

expandedfilename = None
separator = '' \

Import 클래스¶

클래스의 메서드

reset()

클래스의 정적 메서드

file(file, separator=' ')
using(globals, *argv)

클래스에 정의된 데이터 및 기타 특성

expandedfilename = None
no_more_rows = False
read_obj = None
reader = None
separator = ' '

`Parameters` 클래스¶

클래스에 정의된 데이터 및 기타 특성

passed_variables = {}

SnowConvert AI - Teradata - SnowConvert AI 스크립트 헬퍼¶

스크립트 마이그레이션¶

원본¶

출력¶

시작하기¶

코드 실행¶

연결 매개 변수 전달하기¶

함수 호출의 매개 변수¶

위치 매개 변수¶

명명된 매개 변수¶

환경 변수¶

키 페어 인증¶

환경 변수 전달 예제¶

Windows¶

Linux/Mac¶

로그 활성화¶

Snowflake¶

로컬 헬퍼 설명서¶

알려진 문제 ¶

관련 EWIs ¶

기술 설명서¶

함수¶

액세스¶

설명:¶

매개 변수:¶

at_exit_helpers¶

설명:¶

colored¶

설명:¶

매개 변수:¶

configure_log¶

설명:¶

drop_transient_table¶

설명:¶

exception_hook¶

설명:¶

exec¶

설명:¶

exec_file¶

설명:¶

exec_os¶

설명:¶

exec_sql_statement¶

설명:¶

expands_using_params¶

설명:¶

expandvar¶

설명:¶

expandvars¶

설명:¶

fast_load¶

설명:¶

file_exists_and_readable¶

설명:¶

get_argkey¶

설명:¶

get_error_position¶

설명:¶

get_from_vars_or_args_or_environment¶

설명:¶

import_data_to_temptable¶

설명:¶

import_file¶

설명:¶

import_file_to_temptable¶

설명:¶

import_reset¶

설명:¶

log¶

설명:¶

log_on¶

설명:¶

os¶

설명:¶

print_table¶

설명:¶

quit_application¶

설명:¶

read_params_args¶

설명:¶

`import_file_to_tab()`¶

`Parameters` 클래스¶