Como usar pacotes de terceiros¶

Importação de pacotes pelo estágio Snowflake¶

Os estágios do Snowflake podem ser usados para importar pacotes. Você pode incluir qualquer código Python que siga as diretrizes definidas em Limitações gerais. Para obter mais informações, consulte Como criar uma UDF Python com código carregado de um estágio.

Só é possível fazer upload de pacotes Python puros ou pacotes com código nativo por meio de um estágio Snowflake. Se seu pacote carregado tiver dependência da arquitetura de CPU x86, será necessário usar Warehouses otimizados para Snowpark e utilizar a propriedade de warehouse RESOURCE_CONSTRAINT, com arquitetura de CPU x86.

Como exemplo, é possível usar o seguinte SQL, que cria um warehouse nomeado so_warehouse com arquitetura de CPU x86:

CREATE WAREHOUSE so_warehouse WITH
   WAREHOUSE_SIZE = 'LARGE'
   WAREHOUSE_TYPE = 'SNOWPARK-OPTIMIZED'
   RESOURCE_CONSTRAINT = 'MEMORY_16X_X86';

Para instalar um pacote com código nativo por meio da importação do estágio, use o seguinte exemplo:

create or replace function native_module_test_zip()
returns string
language python
runtime_version=3.9
handler='compute'
imports=('@mystage/mycustompackage.zip')
as
$$
import os
import sys
def compute():
   from zipfile import ZipFile
   if os.path.exists('/tmp/mycustompackage'):
      shutil.rmtree('/tmp/mycustompackage')
   os.mkdir('/tmp/mycustompackage')
   zippath = os.path.join(sys._xoptions["snowflake_import_directory"], 'mycustompackage.zip')
   ZipFile(zippath).extractall('/tmp/mycustompackage')
   sys.path.insert(0, '/tmp/mycustompackage')
   #return os.listdir('/tmp/mycustompackage')
   import mycustompackage
   return mycustompackage.mycustompackage()
$$;

Como usar pacotes de terceiros do Anaconda¶

Por conveniência, vários pacotes populares de terceiros de código aberto do Python que são criados e fornecidos pelo Anaconda são disponibilizados para uso imediato dentro dos warehouses virtuais do Snowflake. Não há custo adicional para esse uso dos pacotes Anaconda além do preço padrão baseado no consumo da Snowflake. Com exceção dos Snowflake Notebooks, os pacotes Anaconda atualmente não são elegíveis para uso no Snowpark Container Services (SPCS). Para usar pacotes Python em uma imagem de contêiner para SPCS, é possível instalar esses pacotes de PyPi usando pip.

Para ver a lista de pacotes de terceiros do Anaconda, veja o canal Anaconda do Snowflake.

Para solicitar a adição de novos pacotes, vá para a página Snowflake Ideas na comunidade Snowflake. Selecione a categoria Python Packages & Libraries e verifique se alguém já enviou uma solicitação. Em caso afirmativo, vote nisso. Caso contrário, clique em New Idea e envie sua sugestão.

select * from information_schema.packages where language = 'python';

select * from information_schema.packages where (package_name = 'numpy' and language = 'python');

desc function stock_sale_average(varchar, number, number);

Desenvolvimento local e testes¶

Para ajudar você a criar um ambiente no conda em sua máquina local para desenvolvimento e testes, o Anaconda criou um canal Snowflake que espelha um subconjunto dos pacotes e versões que são suportados no ambiente de UDF de Python no Snowflake. Você pode usar o canal Snowflake do Conda para testes e desenvolvimento local sem custo sob os Termos Suplementares de Software Incorporado dos Termos de Serviço do Anaconda.

Por exemplo, para criar um novo ambiente conda localmente usando o canal do Snowflake, digite algo como isso na linha de comando:

conda create --name py38_env -c https://repo.anaconda.com/pkgs/snowflake python=3.9 numpy pandas

Observe que, devido às diferenças de plataforma, seu ambiente local conda pode não ser exatamente o mesmo que o ambiente do servidor.

Práticas recomendadas¶

Dentro da instrução create function, a especificação do pacote (por exemplo, packages = ('numpy','pandas')) deve especificar apenas os pacotes de nível superior que a UDF está usando diretamente. O Anaconda realiza o gerenciamento de dependência de pacotes e instalará automaticamente as dependências necessárias. Devido a isso, você não deve especificar pacotes de dependência.

O Anaconda instalará a versão mais atualizada do pacote e suas dependências se você não especificar uma versão do pacote. Geralmente, não é necessário especificar uma versão de pacote específica. Observe que a resolução da versão é executada uma vez, quando a UDF é criada usando o comando create function. Depois disso, a resolução da versão resultante é congelada e o mesmo conjunto de pacotes será usado quando essa UDF específica for executada.

Para um exemplo de como usar a especificação do pacote dentro da instrução create function, veja Como importar um pacote em um manipulador em linha.

Problemas conhecidos com pacotes de terceiros¶

import xgboost as xgb
model = xgb.Booster()
model.set_param('nthread', 1)
model.load_model(...)

import xgboost as xgb
model = xgb.XGBRegressor(n_jobs=1)

import keras
model = keras.models.load_model(...)
model.predict_on_batch(np.array([input]))