SnowConvert : Référence de la traduction des scripts Teradata vers Python¶

Opérateur DDL¶

Code source pour l’opérateur DDL

 DEFINE OPERATOR DDL_OPERATOR()
DESCRIPTION 'TERADATA PARALLEL TRANSPORTER DDL OPERATOR'
TYPE DDL
ATTRIBUTES
(
  VARCHAR PrivateLogName ,
  VARCHAR TdpId          = @MyTdpId,
  VARCHAR UserName       = @MyUserName,
  VARCHAR UserPassword   = 'SomePassWord',
  VARCHAR AccountID,
  VARCHAR ErrorList      = ['3807','2580']
);

Code traduit

 class JobName:
    def DDL_OPERATOR(self):
        #'TERADATA PARALLEL TRANSPORTER DDL OPERATOR'
        global args
        self.con = log_on(user = args.MyUserName, password = 'SomePassWord')

Opérateur UPDATE¶

Code source pour l’opérateur UPDATE

 DEFINE OPERATOR LOAD_OPERATOR()
DESCRIPTION 'TERADATA PARALLEL TRANSPORTER LOAD OPERATOR'
TYPE UPDATE
SCHEMA AC_MASTER_SCHEMA
ATTRIBUTES
(
    VARCHAR PrivateLogName ,
    INTEGER MaxSessions       =  32,
    INTEGER MinSessions       =  1,
    VARCHAR TargetTable       = '&TARGET_TABLE',
    VARCHAR TdpId             = @MyTdpId,
    VARCHAR UserName          = @MyUserName,
    VARCHAR UserPassword      = @MyPassword,
    VARCHAR AccountId,
    VARCHAR ErrorTable1       = '&LOG_DB_NAME.ERR1',
    VARCHAR ErrorTable2       = '&LOG_DB_NAME.ERR2',
    VARCHAR LogTable          = '&LOG_DB_NAME.LOG_TABLE'
);

Code traduit

 class JobName:
    def LOAD_OPERATOR(self, query):
        #'TERADATA PARALLEL TRANSPORTER LOAD OPERATOR'
        #USES SCHEMA AC_MASTER_SCHEMA
        operator_name = "LOAD_OPERATOR"
        return query

Opérateur DATACONNECTORPRODUCER¶

Code source pour l’opérateur Data Connector Producer

 DEFINE OPERATOR FILE_READER()
DESCRIPTION 'TERADATA PARALLEL TRANSPORTER DATA CONNECTOR OPERATOR'
TYPE DATACONNECTOR PRODUCER
SCHEMA AC_MASTER_SCHEMA
ATTRIBUTES
(
  VARCHAR PrivateLogName ,
  VARCHAR DirectoryPath   = '&INPUTFILEPATH' ,
  VARCHAR FileName        = '&INPUTTEXTFILE' ,
  VARCHAR Format          = 'delimited',
  VARCHAR OpenMode        = 'Read',
  VARCHAR TextDelimiter     = '~',
  VARCHAR IndicatorMode   = 'N'
);

Code traduit

 class JobName:
    def FILE_READER(self):
        #'TERADATA PARALLEL TRANSPORTER DATA CONNECTOR OPERATOR'
        #USES SCHEMA AC_MASTER_SCHEMA
        operator_name = "FILE_READER"
        stage_name = f"{self.jobname}_{operator_name}"
        format_name = f"{self.jobname}_{operator_name}_FILEFORMAT"
        exec(f"""CREATE OR REPLACE FILE FORMAT {format_name} TYPE = 'CSV' FIELD_DELIMITER = '~' TRIM_SPACE = TRUE SKIP_HEADER = 0""")
        exec(f"""CREATE STAGE IF NOT EXISTS {self.jobname}_STAGE""")
        exec(f"""PUT file://{INPUTFILEPATH}/{INPUTTEXTFILE} @{stage_name} OVERWRITE = TRUE AUTO_COMPRESS = FALSE;""")
        temp_table_name = f"{self.jobname}_{operator_name}_TEMP"
        exec(f"""DROP TABLE IF EXISTS {temp_table_name}""")
        exec(f"""CREATE TEMPORARY TABLE {temp_table_name} {self.AC_MASTER_SCHEMA}""")
        exec(f"""COPY INTO {temp_table_name} FROM @{stage_name} FILE_FORMAT = (format_name = '{format_name}')""")
        return temp_table_name

Paramètres dans l’appel de la fonction¶

Ils peuvent être définis en tant que paramètres de position dans l’appel de la fonction comme suit.

    .....
   con = snowconvert.helpers.log_on(
     'myuser',
     'mypassword',
     'myaccount',
     'mydatabase',
     'mywarehouse',
     'myrole',
     5,
     'myauthenticator',
     'mytoken')
   .....

Ou bien ils peuvent être définis avec n’importe lequel des paramètres nommés, dans n’importe quel ordre, dans l’appel de la fonction, comme suit.

    .....
   con = snowconvert.helpers.log_on(
     account:'myaccount',
     password:'mypassword',
     user:'myuser',     
     warehouse:'mywarehouse',
     login_timeout:5,
     authenticator:'myauthenticator',
     toke:'mytoken')
   .....

Paramètres de position¶

Ils doivent être définis dans l’ordre spécifique de la ligne de commande, comme suit.

 python sample_BTEQ.py myuser mypassword myaccount mydatabase mywarehouse myrole myauthenticator mytokenr

Il est également possible de ne définir que certains des paramètres, en commençant toujours par le paramètre utilisateur, comme suit.

 python sample_BTEQ.py myuser mypassword myaccount

Paramètres nommés¶

L’ensemble des paramètres nommés peut être défini dans n’importe quel ordre dans la ligne de commande, comme suit (utilisez une seule ligne, les lignes multiples étant indiquées pour des raisons de lisibilité).

python sample_BTEQ.py --param-SNOW_WAREHOUSE=mywarehouse 
  --param-SNOW_ROLE=myrole 
  --param-SNOW_PASSWORD=mypassword 
  --param-SNOW_USER=myuser 
  --param-SNOW_QUERYTAG=mytag 
  --param-SNOW_ACCOUNT=myaccount
  --param-SNOW_DATABASE=mydatabase 
  --param-SNOW_AUTHENTICATOR=myauthenticator
  --param-SNOW_TOKEN=mytoken
  --param-PRIVATE_KEY_PATH=myprivatekey
  --param-PRIVATE_KEY_PASSWORD=myprivatekeypassword

Variables d’environnement¶

Avant d’appeler le script Python, l’une des variables d’environnement suivantes peut être définie :

• SNOW_USER

• SNOW_PASSWORD

• SNOW_ACCOUNT

• SNOW_DATABASE

• SNOW_WAREHOUSE

• SNOW_ROLE

• SNOW_QUERYTAG

• SNOW_AUTHENTICATOR

• SNOW_TOKEN

• PRIVATE_KEY_PATH

• PRIVATE_KEY_PASSWORD

Authentification par paire de clés¶

La fonction log_on peut également prendre en charge le processus d’authentification de la paire de clés. Consultez la documentation Snowflake suivante pour plus d’informations sur la création de clés . Veuillez noter les paramètres requis :

log_on(

user='YOUR_USER',

account='YOUR_ACCOUNT',

role = 'YOUR_ROLE',

warehouse = 'YOUR_WAREHOUSE',

database = 'YOUR_DATABASE',

private_key_path='/YOUR_PATH/rsa_key.p8',

private_key_password='YOUR_PASSWORD')

Description :¶

Utilisez le vrai uid/gid pour tester l’accès à un chemin.

_Les fonctions suivantes peuvent ne pas être mises en œuvre sur votre plateforme : dir_fd, effective_ids, et follow_symlinks. Si elles ne sont pas disponibles, leur utilisation provoquera un NotImplementedError.

Notez que la plupart des opérations utiliseront l’uid/gid effectif, cette routine peut donc être utilisée dans un environnement suid/sgid pour tester si l’utilisateur qui l’invoque a l’accès spécifié au chemin.

Paramètres :¶

• path, Chemin à tester ; peut être une chaîne, des octets ou un objet de type chemin

• mode, Champ de bits du mode du système d’opération. Il peut s’agir de F_OK pour tester l’existence, ou de l’inclusion deOR de R_OK, W_OK et X_OK

• dir_fd, Si non défini sur None, il doit s’agir d’un descripteur de fichier ouvert sur un répertoire, et le chemin doit être relatif ; le chemin sera alors relatif à ce répertoire

• effective_ids, Si True, l’accès utilisera l’uid/gid effectif au lieu de l’uid/gid réel

• follow_symlinks, Si False, et que le dernier élément du chemin est un lien symbolique, l’accès examinera le lien symbolique lui-même au lieu du fichier vers lequel pointe le lien

Description :¶

S’exécute à la fin de l’exécution du script.

Description :¶

Imprime un texte coloré à partir de la couleur spécifiée.

Paramètres :¶

• texte , Le texte à imprimer

• color="blue" , La couleur à imprimer

Description :¶

Configure la connectivité qui sera effectuée pour toute exécution liée aux données sur la connexion Snowflake. Le fichier journal est nommé par défaut « Snowflake\Npython\Nconnector.log ».

Paramètres :

• configuration_path , Le chemin de configuration du fichier qui contient l’ensemble des paramètres souhaités pour la connexion

Description :¶

Supprime la table transitoire portant le nom spécifié.

Paramètres :

• tempTableName , Le nom de la table temporaire

• con=None , La connexion à utiliser, si None est passé, la dernière connexion effectuée sera utilisée

Description :¶

Paramètres :

• exctype

• valeur

• tback

Description :¶

Exécute une chaîne SQL en utilisant la dernière connexion, en utilisant éventuellement des arguments ou une connexion spécifique. Exemples :

• _ exec("SELECT * FROM USER")_

• _ exec("SELECT * FROM USER", con)_

• _ exec("SELECT * FROM CUSTOMER WHERE CUSTOMERID= %S", customer)_

Paramètres :

• sql_string , La définition de la chaîne sql

• using=None , Le paramètre optionnel qui peut être utilisé dans la requête sql transmise

• con=None , La connexion à utiliser, si None est passé, la dernière connexion effectuée sera utilisée

Description :¶

Lit le contenu d’un fichier et exécute les instructions sql contenues avec la connexion spécifiée.

Paramètres :

• filename , Nom du fichier à lire et à exécuter

• con=None , La connexion à utiliser, si None est passé, la dernière connexion effectuée sera utilisée

Description :¶

Exécute une commande dans le système d’exploitation.

Description :¶

Exécute une instruction SQL dans la connexion transmise, avec les arguments optionnels.

Paramètres :

• sql_string , Le sql contenant la chaîne à exécuter

• con , La connexion à utiliser

• using , Les paramètres optionnels à utiliser dans l’exécution sql

Description :¶

Développe l’instruction transmise avec les paramètres.

Paramètres :

• statement , Le sql contenant la chaîne à exécuter

• params , Les paramètres de l’instruction sql

Description :¶

Développe la variable à partir de la chaîne passée.

Paramètres :

• str , La chaîne à développer à l’aide des variables

Description :¶

_Expansion des variables d’environnement de la forme $var et ${var}. Si le paramètre « skip_escaped » vaut True, toutes les références de variables échappées (c’est-à-dire précédées de barres obliques inverses) sont ignorées. Les variables inconnues sont définies sur « default ». Si « default » est None, ils sont laissés inchangés

Paramètres :

• path ,

• params ,

• skip_escaped=False ,

Description :¶

Exécute le chargement rapide avec les paramètres transmis : target_schema, filepath, stagename et target_table_name.

Paramètres :

• target_schema , Nom du schéma à utiliser pour le chargement rapide

• filepath , Chemin du nom de fichier à charger dans la table

• target_table_name , Nom de la table dont les données seront chargées

• con=None , La connexion à utiliser, si None est passé, la dernière connexion effectuée sera utilisée

Description :¶

Paramètres :

• filename ,

Description :¶

Récupère la valeur de la clé de l’argument à partir de la chaîne transmise. Elle doit commencer par la chaîne « –param- »

Paramètres :

• astr , Chaîne de l’argument à utiliser. La chaîne doit avoir une valeur similaire à –param-column=32 et la chaîne retournée sera 32

Description :¶

Récupère la position de l’erreur dans le fichier en utilisant les informations de la pile de l’erreur produite.

Description :¶

Récupère l’argument à la position spécifiée ou la valeur de la table vars ou le nom de la variable d’environnement passée.

Paramètres :

• arg_pos , Position de l’argument à utiliser à partir du paramètre arguments

• variable_name , Nom de la variable à obtenir

• vars , Le hachage avec les noms et les valeurs des variables

• args , Le paramètre du tableau des arguments

Description :¶

Importe les données dans une table temporaire à l’aide d’un espace réservé de données d’entrée.

Paramètres :

• tempTableName, Nom de la table temporaire.

• inputDataPlaceholder, Le marqueur d’entrée utilisé qui est une zone de préparation de la base de données Snowflake

• con, La connexion à utiliser

Description :¶

Importe le nom de fichier passé avec le séparateur optionnel.

Paramètres :

• filename, Le chemin du fichier à importer

• separator=' ', Le séparateur optionnel

Description :¶

Importe le fichier passé dans une table temporaire. Il utilisera une zone de préparation publique nommée comme table temporaire avec le préfixe Stage_. À la fin du chargement de la table temporaire, il supprimera la zone de préparation utilisée dans le processus.

Paramètres :

• filename, Le nom du fichier à lire

• tempTableName, Le nom de la table temporaire

• columnDefinition, La définition de tous les champs qui composeront la table temporaire

Description :¶

Description :¶

Imprime un message sur la console (sortie standard) ou dans le fichier journal, selon que la fonction de connexion est activée ou non.

Paramètres :

• *msg, Le message à imprimer ou à journaliser

• level=20,

• writter=None,

Description :¶

Se connecte à la base de données Snowflake avec les identifiants, la base de données, l’entrepôt, le rôle, login_timeout et l’authentificateur transmis comme paramètres.

Paramètres :

• user, L’utilisateur de la base de données

• password Le mot de passe de l’utilisateur de la base de données

• database, La base de données à connecter

• warehouse, L’entrepôt de la base de données à connecter

• role, Le rôle à connecter

• login_timeout, Le délai d’expiration maximum avant d’émettre une erreur si la connexion prend trop de temps

• authentificator, Valeur de l’authentificateur à utiliser comme SNOWFLAKE, EXTERNALBROWSER, SNOWFLAKE_JWT ou OAUTH

• token, Le jeton OAUTH ou JWT

Description :¶

Paramètres :

• args,

Description :¶

Imprime le dictionnaire sans exposer les valeurs de l’utilisateur et du mot de passe.

Paramètres :

• dictionary,

Description :¶

Quitte l’application et renvoie éventuellement le code transmis.

Paramètres :

• code=None, Le code à renvoyer après l’arrêt de l’application

Description :¶

Lit les arguments des paramètres à partir du tableau passé.

Paramètres :

• args, Les arguments à utiliser

Description :¶

Lit les lignes du nom de fichier donné et, éventuellement, saute certaines lignes au début du fichier.

Paramètres :

• ligne, Nom du fichier à lire

• skip=0, Les lignes à sauter

Description :¶

Imprime l’argument.

Paramètres :

• arg, L’argument à imprimer

Description :¶

Répète la ou les instructions sql exécutées précédemment.

Paramètres :

• con=None, Connexion si spécifiée. Si ce n’est pas le cas, la dernière connexion établie sera utilisée

• n=1, Le nombre d’instructions précédentes à exécuter à nouveau

Description :¶

Paramètres :

• severity_value,

Description :¶

Paramètres :

• arg,

• severity_value,

Description :¶

Exécute un simple chargement rapide dans la connexion et le paramètre transmis target_schema, chemin de fichier, nom de zone de préparation et le nom de la table cible.

Paramètres :

• arg, La connexion à utiliser

• target_schema, Nom du schéma à utiliser pour le chargement rapide

• filepath, Chemin du nom de fichier à charger dans la table

• target_table_name, Nom de la table dont les données seront chargées

Description :¶

Effectue un appel système stat sur le chemin donné. dir_fd et follow_symlinks peuvent ne pas être implémentés sur votre plateforme. S’ils ne sont pas disponibles, leur utilisation entraînera NotImplementedError. C’est une erreur d’utiliser dir_fd ou follow_symlinks lorsque le chemin est spécifié comme descripteur de fichier ouvert

Paramètres :

• path, Chemin à examiner ; il peut s’agir d’une chaîne, d’octets, d’un objet semblable à un chemin ou de \ open-file-descriptor int

• dir_fd, Si non défini sur None, il doit s’agir d’un descripteur de fichier ouvert sur un répertoire, et le chemin doit être une chaîne relative ; le chemin sera alors relatif à ce répertoire

• follow_symlinks, Si False, et que le dernier élément du chemin est un lien symbolique, stat examinera le lien symbolique lui-même au lieu du fichier vers lequel le lien pointe

Description :¶

Exécute la commande dans un sous-shell.

Paramètres :

• _ command_ ,

Description :¶

Paramètres :

• _ *argv_ ,

import_file_to_tab()¶

Paramètres :

1. target_schema_table

   • le schéma cible (facultatif) et le nom de la table

2. define_file

   • Le nom du fichier à lire

3. define_columns

   • La définition de toutes les colonnes de la table temporaire

4. begin_loading_columns

   • Les noms des colonnes à insérer. Détermine l’ordre dans lequel les valeurs sont insérées

5. begin_loading_values

   • La liste des valeurs brutes d’insertion à convertir

6. field_delimiter

   • Le délimiteur de champ

7. (facultatif) skip_header

   • Le nombre de lignes à sauter

8. (facultatif) input_data_place_holder

   • L’emplacement du fichier dans un fournisseur de Cloud pris en charge. Paramètre d’ensemble lorsque le fichier n’est pas stocké localement

9. (facultatif) con

   • La connexion à utiliser

¶

SET RECORD¶

Comme indiqué plus haut, cette commande n’est pas nécessaire pour la transformation de BEGIN LOADING. Si introuvable, le paramètre de délimiteur par défaut sera « , » (virgule). Dans le cas contraire, le délimiteur défini sera utilisé.

Teradata (FastLoad)

 BEGIN LOADING FastTable ERRORFILES Error1,Error2
   CHECKPOINT 10000;

Snowflake (Python)

 #*** Generated code is based on the SnowConvert Python Helpers version 2.0.6 ***
 
import os
import sys
import snowconvert.helpers
from snowconvert.helpers import Export
from snowconvert.helpers import exec
from snowconvert.helpers import BeginLoading
con = None
def main():
  snowconvert.helpers.configure_log()
  con = snowconvert.helpers.log_on()
  #** SSC-FDM-0027 - REMOVED NEXT STATEMENT, NOT APPLICABLE IN SNOWFLAKE. TRANSLATED BELOW **
  #BEGIN LOADING FastTable ERRORFILES Error1, Error2 CHECKPOINT 10000
   
  snowconvert.helpers.quit_application()

if __name__ == "__main__":
  main()

Dans l’exemple ci-dessus, FastTable est le nom de la table associée à la commande BEGIN LOADING. Notez l’utilisation de la variable PythoninputDataPlaceholder, qui doit être définie par l’utilisateur lors d’une étape précédente. La valeur représente la zone de préparation Snowflake qui peut être interne ou externe comme indiqué dans la table suivante ou comme expliqué ici.