SnowConvert AI – Teradata – MLOAD¶

Übersetzungsreferenzen zur Konvertierung von Teradata-MLOAD-Dateien in Python

Teradata MultiLoad ist ein befehlsgesteuertes Dienstprogramm für die schnelle, umfangreiche Wartung mehrerer Tabellen und Ansichten in der Teradata-Datenbank.

Um die MultiLoad-Funktionalität für Teradata in Snowflake zu simulieren, werden MultiLoad-Dateien und -Befehle in Python-Code umgewandelt, ähnlich wie die Transformationen, die für BTEQ- und FastLoad-Skripte ausgeführt werden. Der generierte Code verwendet das Snowflake-Python-Projekt namens snowconvert.helpers, das die erforderlichen Funktionen zur Simulation der MultiLoad-Anweisungen in Snowflake enthält.

Übersetzung von MultiLoad-Befehlen¶

Die meisten der MultiLoad-Befehle werden in Snowflake als nicht relevant angesehen, diese Befehle sind auskommentiert. Im Folgenden finden Sie eine zusammenfassende Liste der MultiLoad-Befehle und deren Transformationsstatus in Snowflake:

Commands	Transformation Status	Note
ACCEPT	Commented
BEGIN MLOAD	Transformed	The node is commented out since the transformation occurs in other related statements instead.
BEGIN DELETE MLOAD	Commented
DATEFORM	Commented
DELETE	Partially transformed	Check known issues.
DISPLAY	Commented
DML LABEL	Transformed
END MLOAD	Transformed	Commented out since is not necessary for the transformation of the BEGIN MLOAD.
EOC	Commented
FIELD	Transformed
FILLER	Transformed	This command needs to be with a FIELD and LAYOUT command to be converted.
IF, ELSE, and ENDIF	Commented
IMPORT	Transformed
INSERT	Transformed	This is taken as a Teradata Statement, so it doesn't appear in this chapter.
LAYOUT	Transformed	This command needs to be with a FIELD and FILLER command to be converted.
LOGDATA	Commented
LOGMECH	Commented
LOGOFF	Commented
LOGON	Commented
LOGTABLE	Commented
PAUSE ACQUISITION	Commented
RELEASE MLOAD	Commented
ROUTE MESSAGES	Commented
RUN FILE	Commented
SET	Commented
SYSTEM	Commented
TABLE	Commented
UPDATE	Transformed	This is taken as a Teradata Statement, so it doesn't appear in this chapter.
VERSION	Commented

Es gibt jedoch einige außergewöhnliche Befehle, die in Python-spezifischen Code umgewandelt werden müssen, damit sie in Snowflake wie vorgesehen funktionieren. Siehe Abschnitt BEGIN MLOAD.

Wenn Sie weitere Fragen zu dieser Dokumentation haben, können Sie uns eine E-Mail an snowconvert-support@snowflake.com senden.

BEGIN MLOAD¶

Die Transformation für den Befehl .BEGIN MLOAD ist eine mehrteilige Transformation, die die Befehle .LAYOUT, .FIELD, .FILLER,.DML LABEL und .IMPORT benötigt, um ihre Verhaltensweise korrekt zu simulieren.

Diese Transformation wird in den folgenden Unterabschnitten ausführlich erklärt.

.LAYOUT, .FIELD und .FILLER¶

Die Transformation für die Befehle .LAYOUT, .FIELD, und .FILLER erstellt Variablendefinitionen, die in einem zukünftigen Funktionsaufruf von IMPORT dieses Layouts verwendet werden.

Teradata (MultiLoad)

.LAYOUT INFILE_LAYOUT;
.FIELD TABLE_ID        * INTEGER;
.FIELD TABLE_DESCR     * CHAR(8);
.FILLER COL1           * CHAR(1);
.FIELD TABLE_NBR       * SMALLINT;
.FIELD TABLE_SOMEFIELD * SMALLINT;

Copy

Snowflake (Python)

#*** Generated code is based on the SnowConvert AI Python Helpers version 2.0.6 ***
 
import os
import sys
import snowconvert.helpers
from snowconvert.helpers import Export
from snowconvert.helpers import exec
from snowconvert.helpers import BeginLoading
con = None
def main():
  snowconvert.helpers.configure_log()
  con = snowconvert.helpers.log_on()
  INFILE_LAYOUT_TableName = "INFILE_LAYOUT_TEMP_TABLE"
  INFILE_LAYOUT_Columns = """TABLE_ID INTEGER, 
TABLE_DESCR CHAR(8), 
COL1 CHAR(1), 
TABLE_NBR SMALLINT, 
TABLE_SOMEFIELD SMALLINT"""
  INFILE_LAYOUT_Conditions = """TABLE_ID AS TABLE_ID, TABLE_DESCR AS TABLE_DESCR, COL1 AS COL1, TABLE_NBR AS TABLE_NBR, TABLE_SOMEFIELD AS TABLE_SOMEFIELD"""
  snowconvert.helpers.quit_application()

if __name__ == "__main__":
  main()

Copy

.DML LABEL¶

Die Transformation für den Befehl .DML LABELerstellt eine Funktion, die die Anweisungen nach der Definition des Labels enthält. Beachten Sie, dass nach dem Befehl .DML LABEL normalerweise ein Insert, Update oder Delete folgt.

Teradata (MultiLoad)

-- Example of .DML LABEL with INSERT:
.DML LABEL INSERT_TABLE;                                                                                    
INSERT INTO mydb.mytable( TABLE_ID,TABLE_DESCR,TABLE_NBR ) VALUES( :TABLE_ID,:TABLE_DESCR,:TABLE_NBR );

-- Example of .DML LABEL with DELETE:
.DML LABEL DELETE_TABLE;              
DELETE FROM Employee WHERE EmpNo  = :EmpNo;

-- Example of .DML LABEL with an UPDATE, followed by an INSERT:
.DML LABEL UPSERT_TABLE DO INSERT FOR MISSING UPDATE ROWS;
UPDATE   mydb.mytable SET TABLE_ID = :TABLE_ID WHERE TABLE_DESCR = :somedescription
INSERT INTO mydb.mytable(TABLE_ID, TABLE_DESCR, TABLE_NBR) VALUES(:TABLE_ID, :TABLE_DESCR, :TABLE_NBR );

Copy

Snowflake (Python)

#*** Generated code is based on the SnowConvert AI Python Helpers version 2.0.6 ***
 
import os
import sys
import snowconvert.helpers
from snowconvert.helpers import Export
from snowconvert.helpers import exec
from snowconvert.helpers import BeginLoading
con = None
def main():
  snowconvert.helpers.configure_log()
  con = snowconvert.helpers.log_on()
  def INSERT_TABLE(tempTableName, queryConditions = ""):
    exec(f"""INSERT INTO mydb.mytable (TABLE_ID, TABLE_DESCR, TABLE_NBR)
SELECT
   :TABLE_ID,
   :TABLE_DESCR,
   :TABLE_NBR
FROM {tempTableName} SRC {queryConditions}""")
  exec("""
    DELETE FROM
      Employee
    WHERE
      EmpNo = :EmpNo
    """)
  def UPSERT_TABLE(tempTableName, queryConditions = ""):
    exec(f"""MERGE INTO mydb.mytable TGT USING (SELECT * FROM {tempTableName} {queryConditions}) SRC ON TABLE_DESCR = :somedescription
WHEN MATCHED THEN UPDATE SET
   TABLE_ID = :TABLE_ID
WHEN NOT MATCHED THEN INSERT (TABLE_ID, TABLE_DESCR, TABLE_NBR)
VALUES (:TABLE_ID, :TABLE_DESCR, :TABLE_NBR)""")
  snowconvert.helpers.quit_application()

if __name__ == "__main__":
  main()

Copy

.IMPORT¶

Die Transformation des Befehls .IMPORT erzeugt einen Aufruf des Hilfsmittelsimport_file_to_temptable, um die Daten aus der Datei in eine temporäre Tabelle zu laden. Dann werden die Aufrufe allerAPPLY-Labels, die im ursprünglichen Import verwendet wurden, erstellt. Schließlich werden die Aufrufe für einINSERT-Label in einen Abfrageparameter umgewandelt und können optional eine Abfragebedingung enthalten.

Teradata (MultiLoad)

.IMPORT INFILE INFILE_FILENAME
    LAYOUT INFILE_LAYOUT
    APPLY INSERT_TABLE
    APPLY UPSERT_TABLE
    Apply DELETE_TABLE;

Copy

Snowflake (Python)

#*** Generated code is based on the SnowConvert AI Python Helpers version 2.0.6 ***
 
import os
import sys
import snowconvert.helpers
from snowconvert.helpers import Export
from snowconvert.helpers import exec
from snowconvert.helpers import BeginLoading
con = None
def main():
  snowconvert.helpers.configure_log()
  con = snowconvert.helpers.log_on()
  #** SSC-FDM-0027 - REMOVED NEXT STATEMENT, NOT APPLICABLE IN SNOWFLAKE. TRANSLATED BELOW **
  #.IMPORT INFILE INFILE_FILENAME LAYOUT INFILE_LAYOUT APPLY INSERT_TABLE APPLY UPSERT_TABLE Apply DELETE_TABLE
   
  snowconvert.helpers.import_file_to_temptable(fr"INFILE_FILENAME", INFILE_LAYOUT_TableName, INFILE_LAYOUT_Columns, INFILE_LAYOUT_Conditions, ',')
  INSERT_TABLE(INFILE_LAYOUT_TableName)
  UPSERT_TABLE(INFILE_LAYOUT_TableName)
  DELETE_TABLE(INFILE_LAYOUT_TableName)
  exec(f"""DROP TABLE {INFILE_LAYOUT_TableName}""")
  snowconvert.helpers.quit_application()

if __name__ == "__main__":
  main()

Copy

Großes Beispiel¶

Betrachten Sie anhand der oben gezeigten Transformationen für eine Vielzahl von Befehlen das folgende Beispiel.

Mit diesen Eingabedaten:

id,name,age
1,John,25
2,Maria,29
3,Carlos,31
4,Mike,40
5,Laura,27

Copy

Teradata (MultiLoad)

Abfrage

.begin import mload
        tables
	mySampleTable1
sessions 20
ampcheck none;

.layout myLayOut;
 .field ID * VARCHAR(2) NULLIF ID = '1';
 .field NAME * VARCHAR(25);
 .field AGE * VARCHAR(10);
.dml label insert_data;

INSERT INTO mySampleTable1
 ( 
    ID,
    NAME,
    AGE	
 )
VALUES
 (
    :ID,
    SUBSTRING(:NAME FROM 2),
    :AGE
 );

.import infile sampleData.txt
layout myLayOut
apply insert_data

.end mload;
.logoff;

Copy

Ergebnis

ROW	ID	NAME	AGE
1	NULL	ohn	25
2	2	aria	29
3	3	arlos	31
4	4	ike	40
5	5	aura	27

Snowflake (Python)

Abfrage

#*** Generated code is based on the SnowConvert AI Python Helpers version 2.0.6 ***
#** SSC-FDM-0007 - MISSING DEPENDENT OBJECT "mySampleTable1" **
 
import os
import sys
import snowconvert.helpers
from snowconvert.helpers import Export
from snowconvert.helpers import exec
from snowconvert.helpers import BeginLoading
con = None
def main():
  snowconvert.helpers.configure_log()
  con = snowconvert.helpers.log_on()
  #** SSC-FDM-0027 - REMOVED NEXT STATEMENT, NOT APPLICABLE IN SNOWFLAKE.  **
  #.begin import mload tables mySampleTable1 sessions 20 ampcheck none
   
  myLayOut_TableName = "myLayOut_TEMP_TABLE"
  myLayOut_Columns = """ID VARCHAR(2), 
NAME VARCHAR(25), 
AGE VARCHAR(10)"""
  myLayOut_Conditions = """CASE
   WHEN UPPER(RTRIM(ID)) = UPPER(RTRIM('1'))
      THEN NULL
   ELSE ID
END AS ID, NAME AS NAME, AGE AS AGE"""
  def insert_data(tempTableName, queryConditions = ""):
    exec(f"""INSERT INTO mySampleTable1 (ID, NAME, AGE)
SELECT
   SRC.ID,
   SUBSTRING(SRC.NAME, 2),
   SRC.AGE
FROM {tempTableName} SRC {queryConditions}""")
  #** SSC-FDM-0027 - REMOVED NEXT STATEMENT, NOT APPLICABLE IN SNOWFLAKE. TRANSLATED BELOW **
  #.import infile sampleData.txt layout myLayOut apply insert_data
   
  snowconvert.helpers.import_file_to_temptable(fr"sampleData.txt", myLayOut_TableName, myLayOut_Columns, myLayOut_Conditions, ',')
  insert_data(myLayOut_TableName)
  exec(f"""DROP TABLE {myLayOut_TableName}""")

  if con is not None:
    con.close()
    con = None
  snowconvert.helpers.quit_application()

if __name__ == "__main__":
  main()

Copy

Ergebnis

ROW	ID	NAME	AGE
1	NULL	ohn	25
2	2	aria	29
3	3	arlos	31
4	4	ike	40
5	5	aura	27

Bekannte Probleme¶

1. DELETE-Anweisung wird teilweise unterstützt

Die DELETE-Anweisung wird nur teilweise unterstützt, da die Where-Bedingungen, wenn sie gefunden werden, nicht korrekt konvertiert werden, wenn sie auf eine mit LAYOUT definierte Spalte verweisen.

In dem folgenden Beispiel verweist :EmpNo auf eine LAYOUT definierte Spalte. Die Transformation berücksichtigt dies jedoch nicht, so dass der Code auf eine Spalte verweist, die nicht existiert.

  exec("""
    DELETE FROM
      Employee
    WHERE
      EmpNo = :EmpNo
    """)

Copy

Wenn Sie weitere Fragen zu dieser Dokumentation haben, können Sie uns eine E-Mail an snowconvert-support@snowflake.com senden.

SnowConvert AI – Teradata – MLOAD¶

Übersetzung von MultiLoad-Befehlen¶

BEGIN MLOAD¶

.LAYOUT, .FIELD und .FILLER¶

.DML LABEL¶

.IMPORT¶

Großes Beispiel¶

Bekannte Probleme¶

Zugehörige EWIs ¶