Snowflake Model Registry : modèles personnalisés partitionnés¶

De nombreux ensembles de données peuvent être facilement partitionnés en plusieurs sous-ensembles indépendants. Par exemple, un ensemble de données contenant des données de vente pour une chaîne de magasins peut être partitionné par numéro de magasin. Un modèle distinct peut ensuite être entraîné pour chaque partition. Les opérations d’entraînement et d’inférence sur les partitions peuvent être parallélisées, réduisant ainsi le temps d’exécution de ces opérations. De plus, étant donné que les magasins individuels diffèrent probablement quelque peu dans la manière dont leurs caractéristiques affectent leurs ventes, cette approche peut en fait conduire à des inférences plus précises au niveau du magasin.

Snowflake Model Registry prend en charge le traitement distribué de l’entraînement et de l’inférence des données partitionnées lorsque :

• L’ensemble de données contient une colonne qui identifie de manière fiable les partitions dans les données.

• Les données de chaque partition individuelle ne sont pas corrélées avec les données des autres partitions et contiennent suffisamment de lignes pour entraîner le modèle.

• Le modèle est sans état : il effectue à la fois l’ajustement (entraînement) et l’inférence (prédiction) à chaque fois qu’il est appelé et ne conserve pas les poids ou autres états du modèle entre les appels.

Avec Snowflake Model Registry, vous implémentez un entraînement et une inférence partitionnés à l’aide de modèles personnalisés. Lors de l’utilisation du modèle, le registre partitionne l’ensemble de données, ajuste et prédit les partitions en parallèle à l’aide de tous les nœuds et cœurs de votre entrepôt, puis combine les résultats en un seul ensemble de données.

class ExampleForecastingModel(custom_model.CustomModel):

  @custom_model.partitioned_inference_api
  def predict(self, input: pd.DataFrame) -> pd.DataFrame:
      # All data in the partition will be loaded in the input dataframe.
      #… implement model logic here …
      return output_df

my_model = ExampleForecastingModel()

reg = Registry(session=sp_session, database_name="ML", schema_name="REGISTRY")
mv = reg.log_model(my_model,
  model_name="my_model",
  version_name="v1",
  options={"function_type": "TABLE_FUNCTION"},    ###
  conda_dependencies=["scikit-learn"],
  sample_input_data=train_features
)

model_version = reg.log_model(my_model,
    model_name="my_model",
    version_name="v1",
    options={
      "method_options": {                                 ###
        "METHOD1": {"function_type": "TABLE_FUNCTION"},   ###
        "METHOD2": {"function_type": "FUNCTION"}          ###
      }
    }
    conda_dependencies=["scikit-learn"],
    sample_input_data=train_features
)

mv.run(
  input_df,
  function_name="PREDICT",
  partition_column="STORE_NUMBER"
)

SELECT OUTPUT1, OUTPUT2, PARTITION_COLUMN
  FROM input_table,
      table(
          MY_MODEL!PREDICT(input_table.INPUT1, input_table.INPUT2)
          OVER (PARTITION BY input_table.STORE_NUMBER)
      )
  ORDER BY input_table.STORE_NUMBER;