SnowConvert: Teradata – Referenz zur Übersetzung von Skripten in Python¶

DDL-Operator¶

Quellcode für DDL-Operator

 DEFINE OPERATOR DDL_OPERATOR()
DESCRIPTION 'TERADATA PARALLEL TRANSPORTER DDL OPERATOR'
TYPE DDL
ATTRIBUTES
(
  VARCHAR PrivateLogName ,
  VARCHAR TdpId          = @MyTdpId,
  VARCHAR UserName       = @MyUserName,
  VARCHAR UserPassword   = 'SomePassWord',
  VARCHAR AccountID,
  VARCHAR ErrorList      = ['3807','2580']
);

Übersetzter Code

 class JobName:
    def DDL_OPERATOR(self):
        #'TERADATA PARALLEL TRANSPORTER DDL OPERATOR'
        global args
        self.con = log_on(user = args.MyUserName, password = 'SomePassWord')

UPDATE-Operator¶

Quellcode für UPDATE-Operator

 DEFINE OPERATOR LOAD_OPERATOR()
DESCRIPTION 'TERADATA PARALLEL TRANSPORTER LOAD OPERATOR'
TYPE UPDATE
SCHEMA AC_MASTER_SCHEMA
ATTRIBUTES
(
    VARCHAR PrivateLogName ,
    INTEGER MaxSessions       =  32,
    INTEGER MinSessions       =  1,
    VARCHAR TargetTable       = '&TARGET_TABLE',
    VARCHAR TdpId             = @MyTdpId,
    VARCHAR UserName          = @MyUserName,
    VARCHAR UserPassword      = @MyPassword,
    VARCHAR AccountId,
    VARCHAR ErrorTable1       = '&LOG_DB_NAME.ERR1',
    VARCHAR ErrorTable2       = '&LOG_DB_NAME.ERR2',
    VARCHAR LogTable          = '&LOG_DB_NAME.LOG_TABLE'
);

Übersetzter Code

 class JobName:
    def LOAD_OPERATOR(self, query):
        #'TERADATA PARALLEL TRANSPORTER LOAD OPERATOR'
        #USES SCHEMA AC_MASTER_SCHEMA
        operator_name = "LOAD_OPERATOR"
        return query

DATACONNECTORPRODUCER-Operator¶

Quellcode für Data Connector Producer-Operator

 DEFINE OPERATOR FILE_READER()
DESCRIPTION 'TERADATA PARALLEL TRANSPORTER DATA CONNECTOR OPERATOR'
TYPE DATACONNECTOR PRODUCER
SCHEMA AC_MASTER_SCHEMA
ATTRIBUTES
(
  VARCHAR PrivateLogName ,
  VARCHAR DirectoryPath   = '&INPUTFILEPATH' ,
  VARCHAR FileName        = '&INPUTTEXTFILE' ,
  VARCHAR Format          = 'delimited',
  VARCHAR OpenMode        = 'Read',
  VARCHAR TextDelimiter     = '~',
  VARCHAR IndicatorMode   = 'N'
);

Übersetzter Code

 class JobName:
    def FILE_READER(self):
        #'TERADATA PARALLEL TRANSPORTER DATA CONNECTOR OPERATOR'
        #USES SCHEMA AC_MASTER_SCHEMA
        operator_name = "FILE_READER"
        stage_name = f"{self.jobname}_{operator_name}"
        format_name = f"{self.jobname}_{operator_name}_FILEFORMAT"
        exec(f"""CREATE OR REPLACE FILE FORMAT {format_name} TYPE = 'CSV' FIELD_DELIMITER = '~' TRIM_SPACE = TRUE SKIP_HEADER = 0""")
        exec(f"""CREATE STAGE IF NOT EXISTS {self.jobname}_STAGE""")
        exec(f"""PUT file://{INPUTFILEPATH}/{INPUTTEXTFILE} @{stage_name} OVERWRITE = TRUE AUTO_COMPRESS = FALSE;""")
        temp_table_name = f"{self.jobname}_{operator_name}_TEMP"
        exec(f"""DROP TABLE IF EXISTS {temp_table_name}""")
        exec(f"""CREATE TEMPORARY TABLE {temp_table_name} {self.AC_MASTER_SCHEMA}""")
        exec(f"""COPY INTO {temp_table_name} FROM @{stage_name} FILE_FORMAT = (format_name = '{format_name}')""")
        return temp_table_name

Parameter im Funktionsaufruf¶

Sie können als Positionsparameter im Funktionsaufruf wie folgt festgelegt werden.

    .....
   con = snowconvert.helpers.log_on(
     'myuser',
     'mypassword',
     'myaccount',
     'mydatabase',
     'mywarehouse',
     'myrole',
     5,
     'myauthenticator',
     'mytoken')
   .....

Oder Sie können jeden der genannten Parameter in beliebiger Reihenfolge im Funktionsaufruf wie folgt setzen.

    .....
   con = snowconvert.helpers.log_on(
     account:'myaccount',
     password:'mypassword',
     user:'myuser',     
     warehouse:'mywarehouse',
     login_timeout:5,
     authenticator:'myauthenticator',
     toke:'mytoken')
   .....

Positionsbezogene Parameter¶

Sie müssen in der Befehlszeile wie folgt in einer bestimmten Reihenfolge eingegeben werden.

 python sample_BTEQ.py myuser mypassword myaccount mydatabase mywarehouse myrole myauthenticator mytokenr

Sie können auch nur einige der Parameter einstellen, aber immer beginnend mit dem Benutzer-Parameter wie folgt.

 python sample_BTEQ.py myuser mypassword myaccount

Benannte Parameter¶

Sie können jeden der genannten Parameter in beliebiger Reihenfolge in der Befehlszeile wie folgt setzen (aus Gründen der Lesbarkeit einzeilig, mehrzeilig dargestellt).

python sample_BTEQ.py --param-SNOW_WAREHOUSE=mywarehouse 
  --param-SNOW_ROLE=myrole 
  --param-SNOW_PASSWORD=mypassword 
  --param-SNOW_USER=myuser 
  --param-SNOW_QUERYTAG=mytag 
  --param-SNOW_ACCOUNT=myaccount
  --param-SNOW_DATABASE=mydatabase 
  --param-SNOW_AUTHENTICATOR=myauthenticator
  --param-SNOW_TOKEN=mytoken
  --param-PRIVATE_KEY_PATH=myprivatekey
  --param-PRIVATE_KEY_PASSWORD=myprivatekeypassword

Umgebungsvariablen¶

Bevor Sie das Python-Skript aufrufen, können Sie eine der folgenden Umgebungsvariablen setzen:

• SNOW_USER

• SNOW_PASSWORD

• SNOW_ACCOUNT

• SNOW_DATABASE

• SNOW_WAREHOUSE

• SNOW_ROLE

• SNOW_QUERYTAG

• SNOW_AUTHENTICATOR

• SNOW_TOKEN

• PRIVATE_KEY_PATH

• PRIVATE_KEY_PASSWORD

Schlüsselpaar-Authentifizierung¶

Die Funktion log_on kann auch den Authentifizierungsprozess des Schlüsselpaares unterstützen. In der folgenden Snowflake-Dokumentation finden Sie weitere Informationen zur Schlüsselerstellung. Bitte beachten Sie die erforderlichen Parameter:

log_on(

user='YOUR_USER',

account='YOUR_ACCOUNT',

role = 'YOUR_ROLE',

warehouse = 'YOUR_WAREHOUSE',

datenbank = 'YOUR_DATABASE',

private_key_path='/YOUR_PATH/rsa_key.p8',

private_key_password='YOUR_PASSWORD')

Beschreibung:¶

_Verwenden Sie die echte UID/GID, um den Zugriff auf einen Pfad zu testen

dir_fd, effective_ids und follow_symlinks sind auf Ihrer Plattform möglicherweise nicht implementiert. Wenn sie nicht verfügbar sind, wird bei ihrer Verwendung eine NotImplementedError angezeigt.

_Beachten Sie, dass die meisten Operationen die effektive UID/GID verwenden werden. Daher kann diese Routine in einer SUID/SGID-Umgebung verwendet werden, um zu testen, ob der aufrufende Benutzer den angegebenen Zugriff auf den Pfad hat

Parameter:¶

• path, Zu testender Pfad; kann eine Zeichenfolge, Bytes oder ein pfadähnliches Objekt sein

• mode, Bitfeld für den Betriebssystemmodus. Kann F_OK sein, um die Existenz zu testen, oder das inklusive OR von R_OK, W_OK, und X_OK

• dir_fd, Wenn es nicht None ist, sollte es ein Dateideskriptor sein, der für ein Verzeichnis geöffnet ist, und der Pfad sollte relativ sein; der Pfad ist dann relativ zu diesem Verzeichnis

• effective_ids, Wenn „true“, verwendet der Zugriff die effektive UID/GID anstelle der realen UID/GID

• follow_symlinks, Wenn „false“ und das letzte Element des Pfads ein symbolischer Link ist, überprüft „access“ den symbolischen Link selbst anstelle der Datei, auf die der Link verweist

Beschreibung:¶

wird am Ende der Ausführung des Skripts ausgeführt

Beschreibung:¶

Druckt farbigen Text in der angegebenen Farbe.

Parameter:¶

• text , Der zu druckende Text

• color="blue" , Die zu druckende Farbe

Beschreibung:¶

Konfiguriert die Protokollierung, die für jede datenbezogene Ausführung auf der Snowflake-Verbindung durchgeführt wird. Die Protokolldatei heißt standardmäßig ‚snowflake_python_connector.log‘.

Parameter:

• configuration_path , Der Konfigurationspfad der Datei, die alle gewünschten Einstellungen für die Protokollierung enthält

Beschreibung:¶

löscht die transiente Tabelle mit dem angegebenen Namen

Parameter:

• tempTableName , Der Name der temporären Tabelle

• con=None , Die zu verwendende Verbindung, wenn None übergeben wird, wird die zuletzt durchgeführte Verbindung verwendet

Beschreibung:¶

Parameter:

• exctype

• Wert

• tback

Beschreibung:¶

Führt eine SQL-Zeichenfolge unter Verwendung der letzten Verbindung aus, optional unter Verwendung von Argumenten oder einer bestimmten Verbindung. Beispiele:

• _ exec("SELECT * FROM USER")_

• _ exec("SELECT * FROM USER", con)_

• _ exec("SELECT * FROM CUSTOMER WHERE CUSTOMERID= %S", customer)_

Parameter:

• sql_string , Die Definition der SQL

• using=None , Der optionale Parameter, der in der übergebenen SQL verwendet werden kann

• con=None , Die zu verwendende Verbindung, wenn None übergeben wird, wird die zuletzt durchgeführte Verbindung verwendet

Beschreibung:¶

liest den Inhalt einer Datei und führt die darin enthaltenen SQL-Anweisungen mit der angegebenen Verbindung aus

Parameter:

• filename , Der Dateiname, der gelesen und ausgeführt werden soll

• con=None , Die zu verwendende Verbindung, wenn None übergeben wird, wird die zuletzt durchgeführte Verbindung verwendet

Beschreibung:¶

führt einen Befehl im operativen System aus

Beschreibung:¶

Führt eine SQL-Anweisung in der übergebenen Verbindung mit den optionalen Argumenten aus.

Parameter:

• sql_string , Die SQL-Anweisung, die die auszuführende Zeichenfolge enthält

• con , Die zu verwendende Verbindung

• using , Die optionalen Parameter, die bei der SQL-Ausführung verwendet werden sollen

Beschreibung:¶

Erweitert die mit den Parametern übergebene Anweisung.

Parameter:

• statement , Die SQL-Anweisung mit der auszuführenden Zeichenfolge

• Params , Die Parameter der SQL-Anweisung

Beschreibung:¶

Erweitert die Variable anhand der übergebenen Zeichenfolge.

Parameter:

• str , Die mit den Variablen zu erweiternde Zeichenfolge

Beschreibung:¶

Erweitern Sie die Umgebungsvariablen der Form $var und ${var}. Wenn der Parameter ‚skip_escaped‘ auf „true“ gesetzt ist, werden alle Variablenreferenzen mit Escape-Zeichen (d. h. denen ein Backslash vorangestellt ist) übersprungen. Unbekannte Variablen werden auf „default“ gesetzt. Wenn „default“ None ist, bleiben sie unverändert.

Parameter:

• path ,

• params ,

• skip_escaped=False ,

Beschreibung:¶

Führt das schnelle Laden mit den übergebenen Parametern target_schema, filepath, stagename und target_table_name aus.

Parameter:

• target_schema , Der Name des Schemas, das beim schnellen Laden verwendet werden soll

• filepath , Der Pfad des Dateinamens, der in die Tabelle geladen werden soll

• target_table_name , Der Name der Tabelle, in die die Daten geladen werden sollen

• con=None , Die zu verwendende Verbindung, wenn None übergeben wird, wird die zuletzt durchgeführte Verbindung verwendet

Beschreibung:¶

Parameter:

• filename ,

Beschreibung:¶

Holt das Argument Schlüsselwert aus der übergebenen Zeichenfolge. Sie muss mit der Zeichenfolge ‚–param-‘ beginnen

Parameter:

• astr , Die zu verwendende Argumentzeichenfolge. Die Zeichenfolge sollte einen ähnlichen Wert haben wie –param-column=32 und die zurückgegebene Zeichenfolge lautet ‚32

Beschreibung:¶

-Holt die Fehlerposition aus der Datei anhand der Informationen des Stapels des erzeugten Fehlers._

Beschreibung:¶

Holt das Argument von der angegebenen Position oder holt den Wert aus der Tabelle vars oder holt den Namen der übergebenen Umgebungsvariablen.

Parameter:

• arg_pos , Die zu verwendende Position des Arguments aus dem Parameter „Arguments“

• variable_name , Der Name der abzurufenden Variable

• vars , Der Hashwert mit den Namen und Werten der Variablen

• args , Der Array-Parameter „Arguments“

Beschreibung:¶

Importiert Daten in eine temporäre Tabelle unter Verwendung eines Platzhalters für Eingabedaten.

Parameter:

• tempTableName, Der Name der temporären Tabelle.

• inputDataPlaceholder, Der verwendete Eingabeplatzhalter, der ein Stagingbereich in der Snowflake-Datenbank ist

• con, Die zu verwendende Verbindung

Beschreibung:¶

Importiert den übergebenen Dateinamen mit dem optionalen Trennzeichen.

Parameter:

• filename, Der Pfad des zu importierenden Dateinamens

• separator=' ', Das optionale Trennzeichen

Beschreibung:¶

Importiert die übergebene Datei in eine temporäre Tabelle. Verwendet einen öffentlichen Stagingbereich, der als temporäre Tabelle mit dem Präfix Stagingbereich_ benannt wird. Am Ende des Ladevorgangs in die temporäre Tabelle wird der Stagingbereich gelöscht, der in diesem Prozess verwendet wurde.

Parameter:

• filename, Der Name der zu lesenden Datei

• tempTableName, Der Name der temporären Tabelle

• columnDefinition, Die Definition aller Felder, die die temporäre Tabelle haben wird

Beschreibung:¶

Beschreibung:¶

Druckt eine Meldung auf der Konsole (Standardausgabe) oder in der Protokolldatei, je nachdem, ob die Protokollierung aktiviert ist

Parameter:

• *msg, Die zu druckende oder zu protokollierende Nachricht

• level=20,

• writter=None,

Beschreibung:¶

Meldet sich bei der Snowflake-Datenbank mit den übergebenen Parametern user, password, database, warehouse, role, login_timeout and authenticator an.

Parameter:

• user, Der Benutzer der Datenbank

• password Das Kennwort des Benutzers der Datenbank

• database, Die zu verbindende Datenbank

• warehouse, Das Warehouse der zu verbindenden Datenbank

• role, Die zu verbindende Rolle

• login_timeout, Der maximale Timeout, bevor eine Fehlermeldung ausgegeben wird, wenn die Verbindung zu lange dauert

• authenticator, Der vom Authentifikator unterstützte Wert, z. B. SNOWFLAKE, EXTERNALBROWSER, SNOWFLAKE_JWT oder OAUTH

• token, Das OAUTH- oder JWT-Token

Beschreibung:¶

Parameter:

• args,

Beschreibung:¶

Druckt das Wörterbuch, ohne die Werte von Benutzern und Kennwörtern preiszugeben.

Parameter:

• dictionary,

Beschreibung:¶

Beendet die Anwendung und gibt optional den übergebenen Code zurück.

Parameter:

• code=None, Der Code, der nach dem Beenden zurückgegeben wird

Beschreibung:¶

Liest die Parameterargumente aus dem übergebenen Array.

Parameter:

• args, Die zu verwendenden Argumente

Beschreibung:¶

Liest die angegebenen Zeilen des Dateinamens und überspringt optional einige Zeilen am Anfang der Datei.

Parameter:

• line, Der zu lesende Dateiname

• skip=0, Die zu überspringenden Zeilen

Beschreibung:¶

Druckt das Argument.

Parameter:

• arg, Das zu druckende Argument

Beschreibung:¶

Wiederholt die zuvor ausgeführte(n) SQL-Anweisung(en).

Parameter:

• con=None, Verbindung, falls angegeben. Wenn sie nicht übergeben wird, wird die zuletzt durchgeführte Verbindung verwendet

• n=1, Die Anzahl der vorherigen Anweisungen, die erneut ausgeführt werden sollen

Beschreibung:¶

Parameter:

• severity_value,

Beschreibung:¶

Parameter:

• arg,

• severity_value,

Beschreibung:¶

Führt eine einfache Schnellladung in der Verbindung und den übergebenen Parametern target_schema, filepath, stagename und target table name aus.

Parameter:

• arg, Die zu verwendende Verbindung

• target_schema, Der Name des Schemas, das beim schnellen Laden verwendet werden soll

• filepath, Der Pfad des Dateinamens, der in die Tabelle geladen werden soll

• target_table_name, Der Name der Tabelle, in die die Daten geladen werden sollen

Beschreibung:¶

Führen Sie einen stat-Systemaufruf für den angegebenen Pfad durch. dir_fd und follow_symlinks sind auf Ihrer Plattform möglicherweise nicht implementiert. Wenn sie nicht verfügbar sind, wird bei ihrer Verwendung eine NotImplementedError-Meldung angezeigt. Es ist ein Fehler, dir_fd oder follow_symlinks zu verwenden, wenn der Pfad als offener Dateideskriptor angegeben wird

Parameter:

• path, Zu untersuchender Pfad; kann eine Zeichenfolge, Bytes, ein pfadähnliches Objekt oder\ open-file-descriptor int sein

• dir_fd, Falls nicht None, sollte es sich um einen Dateideskriptor handeln, der für ein Verzeichnis geöffnet ist, und „path“ sollte eine relative Zeichenfolge sein; „path“ ist dann relativ zu diesem Verzeichnis

• follow_symlinks, Wenn „false“, und das letzte Element des Pfades ein symbolischer Link ist, untersucht „stat“ den symbolischen Link selbst anstatt der Datei, auf die der Link zeigt

Beschreibung:¶

Führen Sie den Befehl in einer Subshell aus.

Parameter:

• _ command_ ,

Beschreibung:¶

Parameter:

• _ *argv_ ,

import_file_to_tab()¶

Parameter:

1. target_schema_table

   • Das Zielschema (optional) und den Tabellennamen

2. define_file

   • Der Name der zu lesenden Datei

3. definieren_Spalten

   • Die Definition aller Spalten für die temporäre Tabelle

4. begin_loading_columns

   • Die einzufügenden Spaltennamen. Legt die Reihenfolge fest, in der die Werte eingefügt werden

5. begin_loading_values

   • Die Liste der zu konvertierenden rohen Einfügewerte

6. field_delimiter

   • Das Feldtrennzeichen

7. (optional) skip_header

   • Die Anzahl der zu überspringenden Zeilen

8. (optional) input_data_place_holder

   • Der Speicherort der Datei bei einem unterstützten Cloud-Anbieter. Parameter setzen, wenn die Datei nicht lokal gespeichert ist

9. (optional) con

   • Die zu verwendende Verbindung

¶

SET RECORD¶

Wie bereits erwähnt, ist dieser Befehl für die Transformation von BEGIN LOADING nicht erforderlich. Wenn er nicht gefunden wird, wird das Standardtrennzeichen auf ‚,‘ (Komma) gesetzt. Andernfalls wird das definierte Trennzeichen verwendet.

Teradata (FastLoad)

 BEGIN LOADING FastTable ERRORFILES Error1,Error2
   CHECKPOINT 10000;

Snowflake (Python)

 #*** Generated code is based on the SnowConvert Python Helpers version 2.0.6 ***
 
import os
import sys
import snowconvert.helpers
from snowconvert.helpers import Export
from snowconvert.helpers import exec
from snowconvert.helpers import BeginLoading
con = None
def main():
  snowconvert.helpers.configure_log()
  con = snowconvert.helpers.log_on()
  #** SSC-FDM-0027 - REMOVED NEXT STATEMENT, NOT APPLICABLE IN SNOWFLAKE. TRANSLATED BELOW **
  #BEGIN LOADING FastTable ERRORFILES Error1, Error2 CHECKPOINT 10000
   
  snowconvert.helpers.quit_application()

if __name__ == "__main__":
  main()

In dem obigen Beispiel ist FastTable der Name der Tabelle, die mit dem Befehl BEGIN LOADING verknüpft ist. Beachten Sie die Verwendung der Python-VariableinputDataPlaceholder, die vom Benutzer in einem vorherigen Schritt definiert werden muss. Der Wert steht für den Stagingbereich von Snowflake, der intern oder extern sein kann, wie in der folgenden Tabelle gezeigt oder hier erklärt.