SnowConvert AI – Teradata – Considerações sobre a migração de dados¶

Esta seção descreve considerações importantes ao migrar dados do Teradata para o Snowflake.

Nota

Considere que este é um trabalho em andamento.

Ao migrar dados do Teradata para o Snowflake, é fundamental considerar as diferenças funcionais entre os bancos de dados. Esta página apresenta as melhores sugestões para a migração de dados.

Analise as informações a seguir:

Migração de dados UNION ALL¶

Considerações sobre migração de dados para UNION ALL.

UNION ALL é um operador SQL que permite a combinação de vários conjuntos de resultados. A sintaxe é a seguinte:

 query_expression_1 UNION [ ALL ] query_expression_2

Para obter mais informações, consulte a seguinte documentação do Teradata.

Diferenças no tamanho da coluna¶

Mesmo que o operador seja convertido para o mesmo operador no Snowflake, pode haver diferenças detalhadas na equivalência funcional. Por exemplo, a união de colunas diferentes que têm tamanhos de coluna diferentes. O Teradata trunca os valores quando a primeira instrução SELECT contém menos espaço nas colunas.

Comportamento do Teradata¶

Nota

O mesmo comportamento nos modos de sessão ANSI e TERA.

Para este exemplo, a entrada a seguir mostrará o comportamento do Teradata.

Dados de configuração do Teradata¶

 CREATE TABLE table1
(
col1 VARCHAR(20)
);

INSERT INTO table1 VALUES('value 1 abcdefghijk');
INSERT INTO table1 VALUES('value 2 abcdefghijk');

CREATE TABLE table2
(
col1 VARCHAR(10)
);

INSERT INTO table2 VALUES('t2 row 1 a');
INSERT INTO table2 VALUES('t2 row 2 a');
INSERT INTO table2 VALUES('t2 row 3 a');

Dados de configuração do Snowflake¶

 CREATE OR REPLACE TABLE table1
(
col1 VARCHAR(20)
)
COMMENT = '{ "origin": "sf_sc", "name": "snowconvert", "version": {  "major": 0,  "minor": 0,  "patch": "0" }, "attributes": {  "component": "teradata",  "convertedOn": "10/14/2024" }}'
;

INSERT INTO table1
VALUES ('value 1 abcdefghijk');

INSERT INTO table1
VALUES ('value 2 abcdefghijk');

CREATE OR REPLACE TABLE table2
(
col1 VARCHAR(10)
)
COMMENT = '{ "origin": "sf_sc", "name": "snowconvert", "version": {  "major": 0,  "minor": 0,  "patch": "0" }, "attributes": {  "component": "teradata",  "convertedOn": "10/14/2024" }}'
;

INSERT INTO table2
VALUES ('t2 row 1 a');

INSERT INTO table2
VALUES ('t2 row 2 a');

INSERT INTO table2
VALUES ('t2 row 3 a');

Case 1 - one single column: UNION ALL for a column VARCHAR(20) over a column VARCHAR(10)¶

SuccessPlaceholder

Para esse caso, a equivalência funcional é a mesma

Entrada do Teradata¶

 SELECT col1 FROM table1
UNION ALL
SELECT col1 FROM table2;

Saída do Teradata¶

value 1 abcdefghijk
t2 row 3 a
value 2 abcdefghijk
t2 row 1 a
t2 row 2 a

Entrada do Snowflake¶

 SELECT
col1 FROM
table1
UNION ALL
SELECT
col1 FROM
table2;

Saída do Snowflake¶

value 1 abcdefghijk
t2 row 3 a
value 2 abcdefghijk
t2 row 1 a
t2 row 2 a

Case 2 - one single column: UNION ALL for a column VARCHAR(10) over a column VARCHAR(20)¶

Perigo

In this case, the functional equivalence is not the same.

O caso a seguir não mostra equivalência funcional no Snowflake. Os valores das colunas devem ser truncados como na amostra do Teradata.

Entrada do Teradata¶

 SELECT col1 FROM table2
UNION ALL
SELECT col1 FROM table1;

Saída do Teradata¶

t2 row 3 a
value 1 ab --> truncated
t2 row 1 a
t2 row 2 a
value 2 ab --> truncated

Entrada do Snowflake¶

 SELECT
col1 FROM
table2
UNION ALL
SELECT
col1 FROM
table1;

Saída do Snowflake¶

t2 row 3 a
value 1 abcdefghijk --> NOT truncated
t2 row 1 a
t2 row 2 a
value 2 abcdefghijk --> NOT truncated

Solução alternativa para obter a mesma funcionalidade

In this case, the size of the column of the table2 is 10 and the table1 is 20. So, the size of the first column in the query should be the element to complete the LEFT() function used here. For more information, see the Snowflake LEFT function documentation.

Entrada do Snowflake¶

 SELECT col1 FROM table2 -- size (10)
UNION ALL
SELECT LEFT(col1, 10) AS col1 FROM table1;

Saída do Snowflake¶

t2 row 1 a
t2 row 2 a
t2 row 3 a
value 1 ab
value 2 ab

Case 3 - multiple columns - same size by table: UNION ALL for columns VARCHAR(20) over columns VARCHAR(10)¶

Para esse caso, é necessário configurar novos dados da seguinte forma:

Dados de configuração do Teradata¶

 CREATE TABLE table3
(
col1 VARCHAR(20),
col2 VARCHAR(20)
);

INSERT INTO table3 VALUES('value 1 abcdefghijk', 'value 1 abcdefghijk');
INSERT INTO table3 VALUES('value 2 abcdefghijk', 'value 2 abcdefghijk');

CREATE TABLE table4
(
col1 VARCHAR(10),
col2 VARCHAR(10)
);

INSERT INTO table4 VALUES('t2 row 1 a', 't2 row 1 b');
INSERT INTO table4 VALUES('t2 row 2 a', 't2 row 2 b');
INSERT INTO table4 VALUES('t2 row 3 a', 't2 row 3 b');

Dados de configuração do Snowflake¶

 CREATE OR REPLACE TABLE table3
(
col1 VARCHAR(20),
col2 VARCHAR(20)
)
COMMENT = '{ "origin": "sf_sc", "name": "snowconvert", "version": {  "major": 0,  "minor": 0,  "patch": "0" }, "attributes": {  "component": "teradata",  "convertedOn": "10/14/2024" }}'
;

INSERT INTO table3
VALUES ('value 1 abcdefghijk', 'value 1 abcdefghijk');

INSERT INTO table3
VALUES ('value 2 abcdefghijk', 'value 2 abcdefghijk');

CREATE OR REPLACE TABLE table4
(
col1 VARCHAR(10),
col2 VARCHAR(10)
)
COMMENT = '{ "origin": "sf_sc", "name": "snowconvert", "version": {  "major": 0,  "minor": 0,  "patch": "0" }, "attributes": {  "component": "teradata",  "convertedOn": "10/14/2024" }}'
;

INSERT INTO table4
VALUES ('t2 row 1 a', 't2 row 1 b');

INSERT INTO table4
VALUES ('t2 row 2 a', 't2 row 2 b');

INSERT INTO table4
VALUES ('t2 row 3 a', 't2 row 3 b');

Depois que as novas tabelas e dados forem criados, a seguinte consulta poderá ser avaliada.

Nota

Para esse caso, a equivalência funcional é a mesma

Entrada do Teradata¶

 select col1, col2 from table3
union all
select col1, col2 from table4;

Saída do Teradata¶


col1	col2
value 1 abcdefghijk	value 1 abcdefghijk
t2 row 3 a	t2 row 3 b
value 2 abcdefghijk	value 2 abcdefghijk
t2 row 1 a	t2 row 1 b
t2 row 2 a	t2 row 2 b

Entrada do Snowflake¶

 SELECT
col1, col2 FROM
table3
UNION ALL
SELECT
col1, col2 FROM
table4;

Saída do Snowflake¶


col1	col2
value 1 abcdefghijk	value 1 abcdefghijk
value 2 abcdefghijk	value 2 abcdefghijk
t2 row 1 a	t2 row 1 b
t2 row 2 a	t2 row 2 b
t2 row 3 a	t2 row 3 b

Case 4 - multiple columns - same size by table: UNION ALL for columns VARCHAR(10) over columns VARCHAR(20)¶

Aviso

In this case, the functional equivalence is not the same.

Entrada do Teradata¶

 select col1, col2 from table4
union all
select col1, col2 from table3;

Saída do Teradata¶


col1	col2
t2 row 3 a	t2 row 3 b
value 1 ab	value 1 ab
t2 row 1 a	t2 row 1 b
t2 row 2 a	t2 row 2 b
value 2 ab	value 2 ab

Entrada do Snowflake¶

 SELECT
col1, col2 FROM
table4
UNION ALL
SELECT
col1, col2 FROM
table3;

Saída do Snowflake¶


col1	col2
t2 row 1 a	t2 row 1 b
t2 row 2 a	t2 row 2 b
t2 row 3 a	t2 row 3 b
value 1 abcdefghijk	value 1 abcdefghijk
value 2 abcdefghijk	value 2 abcdefghijk

Solução alternativa para obter a mesma funcionalidade

Aplique o tamanho da coluna ao segundo SELECT nas colunas para obter a mesma funcionalidade.

Entrada do Snowflake¶

 SELECT col1, col2 FROM table4 -- size (10)
UNION ALL
SELECT LEFT(col1, 10) AS col1, LEFT(col2, 10) AS col2 FROM table3;

Saída do Snowflake¶


col1	col2
t2 row 1 a	t2 row 1 b
t2 row 2 a	t2 row 2 b
t2 row 3 a	t2 row 3 b
value 1 ab	value 1 ab
value 2 ab	value 2 ab

Case 5 - multiple columns - different sizes by table: UNION ALL for columns VARCHAR(10) over columns VARCHAR(20)¶

Para esse caso, é necessário configurar novos dados da seguinte forma:

Dados de configuração do Teradata¶

 CREATE TABLE table5
(
col1 VARCHAR(20),
col2 VARCHAR(12)
);

INSERT INTO table5 VALUES('value 1 abcdefghijk', 'value 1 abcdefghijk');
INSERT INTO table5 VALUES('value 2 abcdefghijk', 'value 2 abcdefghijk');

CREATE TABLE table6
(
col1 VARCHAR(10),
col2 VARCHAR(5)
);

INSERT INTO table6 VALUES('t2 row 1 a', 't2 row 1 b');
INSERT INTO table6 VALUES('t2 row 2 a', 't2 row 2 b');
INSERT INTO table6 VALUES('t2 row 3 a', 't2 row 3 b');

Dados de configuração do Snowflake¶

 CREATE OR REPLACE TABLE table5
(
col1 VARCHAR(20),
col2 VARCHAR(12)
)
COMMENT = '{ "origin": "sf_sc", "name": "snowconvert", "version": {  "major": 0,  "minor": 0,  "patch": "0" }, "attributes": {  "component": "teradata",  "convertedOn": "10/14/2024" }}'
;

INSERT INTO table5
VALUES ('value 1 abcdefghijk', 'value 1 abcd');

INSERT INTO table5
VALUES ('value 2 abcdefghijk', 'value 2 abcd');

CREATE OR REPLACE TABLE table6
(
col1 VARCHAR(10),
col2 VARCHAR(5)
)
COMMENT = '{ "origin": "sf_sc", "name": "snowconvert", "version": {  "major": 0,  "minor": 0,  "patch": "0" }, "attributes": {  "component": "teradata",  "convertedOn": "10/14/2024" }}'
;

INSERT INTO table6
VALUES ('t2 row 1 a', 't2 1b');

INSERT INTO table6
VALUES ('t2 row 2 a', 't2 2b');

INSERT INTO table6
VALUES ('t2 row 3 a', 't2 3b');

Depois que as novas tabelas e dados forem criados, a seguinte consulta poderá ser avaliada.

Nota

Para esse caso, a equivalência funcional é a mesma

Entrada do Teradata¶

 select col1, col2 from table5
union all
select col1, col2 from table6;

Saída do Teradata¶


col1	col2
value 1 abcdefghijk	value 1 abcd
t2 row 3 a	t2 3b
value 2 abcdefghijk	value 2 abcd
t2 row 1 a	t2 1b
t2 row 2 a	t2 2b

Entrada do Snowflake¶

 SELECT
col1, col2 FROM
table5
UNION ALL
SELECT
col1, col2 FROM
table6;

Saída do Snowflake¶


col1	col2
value 1 abcdefghijk	value 1 abcd
value 2 abcdefghijk	value 2 abcd
t2 row 1 a	t2 1b
t2 row 2 a	t2 2b
t2 row 3 a	t2 3b

Case 6 - multiple columns - different sizes by table: UNION ALL for columns VARCHAR(20), VARCHAR(10) over columns VARCHAR(10), VARCHAR(5)¶

Aviso

In this case, the functional equivalence is not the same.

Entrada do Teradata¶

 select col1, col2 from table6
union all
select col1, col2 from table5;

Saída do Teradata¶


col1	col2
t2 row 3 a	t2 3b
value 1 ab	value
t2 row 1 a	t2 1b
t2 row 2 a	t2 2b
value 2 ab	value

Entrada do Snowflake¶

 SELECT
col1, col2 FROM
table6
UNION ALL
SELECT
col1, col2 FROM
table5;

Saída do Snowflake¶


col1	col2
t2 row 1 a	t2 1b
t2 row 2 a	t2 2b
t2 row 3 a	t2 3b
value 1 abcdefghijk	value 1 abcd
value 2 abcdefghijk	value 2 abcd

Solução alternativa para obter a mesma funcionalidade

A coluna com o menor tamanho da primeira SELECT é usada para determinar o tamanho das colunas da segunda SELECT.

Entrada do Snowflake¶

 SELECT
col1, col2 FROM
table6
UNION ALL
SELECT
LEFT(col1, 5) as col1, LEFT(col2, 5) AS col2 FROM
table5;

Saída do Snowflake¶


col1	col2
t2 row 3 a	t2 3b
value 1 ab	value
t2 row 1 a	t2 1b
t2 row 2 a	t2 2b
value 2 ab	value

Case 7 - multiple columns expression - different sizes by table: UNION ALL for columns VARCHAR(20), VARCHAR(20) over columns VARCHAR(10), VARCHAR(10)¶

Use the data set up in Case 3 — Multiple columns — Same size by table. Once the new tables and data are created, the following query can be evaluated.

Nota

Para esse caso, a equivalência funcional é a mesma

Entrada do Teradata¶

 select col1 || col2 from table3
union all
select col1 || col2 from table4;

Saída do Teradata¶


col1 \|\| col2
value 1 abcdefghijkvalue 1 abcdefghijk
t2 row 3 at2 row 3 b
value 2 abcdefghijkvalue 2 abcdefghijk
t2 row 1 at2 row 1 b
t2 row 2 at2 row 2 b

Entrada do Snowflake¶

 SELECT
col1 || col2 FROM
table3
UNION ALL
SELECT
col1 || col2 FROM
table4;

Saída do Snowflake¶


col1 \|\| col2
value 1 abcdefghijkvalue 1 abcdefghijk
value 2 abcdefghijkvalue 2 abcdefghijk
t2 row 1 at2 row 1 b
t2 row 2 at2 row 2 b
t2 row 3 at2 row 3 b

Case 8 - multiple columns expression - different sizes by table: UNION ALL for columns VARCHAR(20), VARCHAR(20) over columns VARCHAR(10), VARCHAR(10)¶

Aviso

Esse caso tem diferenças funcionais.

Entrada do Teradata¶

 select col1 || col2 from table4
union all
select col1 || col2 from table3;

Saída do Teradata¶


col1 \|\| col2
t2 row 1 at2 row 1 b
t2 row 2 at2 row 2 b
t2 row 3 at2 row 3 b
value 1 abcdefghijkv
value 2 abcdefghijkv

Entrada do Snowflake¶

 SELECT
col1 || col2 FROM
table4
UNION ALL
SELECT
col1 || col2 FROM
table3;

Saída do Snowflake¶


col1 \|\| col2
t2 row 1 at2 row 1 b
t2 row 2 at2 row 2 b
t2 row 3 at2 row 3 b
value 1 abcdefghijkvalue 1 abcdefghijk
value 2 abcdefghijkvalue 2 abcdefghijk

Solução alternativa para obter a mesma funcionalidade

The sum of the column sizes of the smaller column should be used in the LEFT function. For example, if the smaller column is VARCHAR(10), then the limit of the LEFT function should be 20 (10 + 10).

Aviso

If the first SELECT result is smaller, its sum would be used for the truncation of the values.

Entrada do Snowflake¶

 SELECT
col1 || col2 FROM
table4
UNION ALL
SELECT
LEFT(col1 || col2, 20) FROM
table3;

Saída do Snowflake¶


col1 \|\| col2
t2 row 1 at2 row 1 b
t2 row 2 at2 row 2 b
t2 row 3 at2 row 3 b
value 1 abcdefghijkv
value 2 abcdefghijkv

Outras considerações sobre as diferenças de tamanho de coluna¶

CHAR e VARCHAR se comportam da mesma forma.
As colunas de números podem se comportar de forma diferente. Os números não podem ser truncados, portanto, há um estouro no ambiente Teradata. Portanto, isso não é aplicado a esses tipos de dados. Veja o exemplo a seguir:

-- Teradata number sample 
CREATE TABLE table11
(
col1 NUMBER(2)
);

INSERT INTO table11 VALUES(10);
INSERT INTO table11 VALUES(10);

CREATE TABLE table12
(
col1 NUMBER(1)
);

INSERT INTO table12 VALUES(1);
INSERT INTO table12 VALUES(1);
INSERT INTO table12 VALUES(1);

-- ERROR!  Overflow occurred when computing an expression involving table11.col1
SELECT col1 FROM table12
UNION ALL
SELECT col1 FROM table11;