Execução de cargas de trabalho em lote do Spark de Snowpark Submit¶

É possível executar cargas de trabalho do Spark de forma assíncrona e não interativa diretamente na infraestrutura do Snowflake enquanto você usa a semântica conhecida do Spark. Com Snowpark Submit, você pode enviar aplicativos Spark prontos para produção, como ETL Pipelines de e transformações de dados programadas, usando uma interface CLI simples. Dessa forma, você pode manter seus fluxos de trabalho existentes de desenvolvimento do Spark sem um cluster Spark dedicado.

Por exemplo, você pode empacotar seu script PySpark ETL, e então usar a Snowpark Submit CLI para executar o script como um trabalho em lote em um contêiner Snowpark Container Services. Este método permite automatizar pipelines de dados todas as noites com Apache Airflow ou ferramentas CI/CD. Seu código Spark é executado em modo de cluster em Snowpark Container Services, escalonando perfeitamente com dependência integrada e gerenciamento de recursos.

Para exemplos de Snowpark Submit em uso, consulte Exemplos Snowpark Submit.

Snowpark Submit executa cargas de trabalho do Spark no Snowflake usando Snowpark Connect for Spark. Para obter mais informações sobre Snowpark Connect for Spark, consulte Execute cargas de trabalho do Spark no Snowflake com Snowpark Connect for Spark.

Snowpark Submit oferece os seguintes benefícios:

• Capacidade de execução em modo de cluster em infraestrutura gerenciada pelo Snowflake sem configuração externa do Spark

• Integração do fluxo de trabalho, suporte à automação através de pipelines de CI/CD, Apache Airflow ou agendamento baseado em cron

• Suporte para Python, permitindo a reutilização de aplicativos Spark existentes em todas as linguagens

• Gerenciamento de dependências, com suporte para empacotamento de módulos Python externos ou JARs