Snowflake Model Registry: Partitionierte benutzerdefinierte Modelle¶

Viele Datensätze lassen sich leicht in mehrere unabhängige Teilmengen partitionieren. Ein Datensatz, der die Verkaufsdaten einer Ladenkette enthält, kann z. B. nach Ladennummern partitioniert werden. Für jede Partition kann dann ein eigenes Modell trainiert werden. Trainings- und Inferenzoperationen auf den Partitionen können parallelisiert werden, so dass diese Operationen weniger Zeit in Anspruch nehmen. Da sich die einzelnen Läden wahrscheinlich etwas darin unterscheiden, wie sich ihre Features auf ihre Umsätze auswirken, kann dieser Ansatz sogar zu genaueren Schlussfolgerungen auf der Ladenebene führen.

Die Snowflake Model Registry unterstützt die verteilte Verarbeitung von Training und Inferenz von partitionierten Daten:

• Das Dataset enthält eine Spalte, die Partitionen in den Daten zuverlässig identifiziert.

• Die Daten in jeder einzelnen Partition sind unkorreliert mit den Daten in den anderen Partitionen und enthalten genügend Zeilen, um das Modell zu trainieren.

• Das Modell ist zustandslos: Es führt bei jedem Aufruf sowohl die Anpassung (Training) als auch die Inferenz (Vorhersage) durch und behält zwischen den Aufrufen weder Gewichte noch andere Zustände des Modells bei.

Mit der Snowflake Model Registry implementieren Sie partitioniertes Training und Inferenz unter Verwendung von benutzerdefinierten Modellen. Wenn Sie das Modell verwenden, partitioniert die Registry den Datensatz, passt die Partitionen an, prognostiziert sie parallel unter Verwendung aller Knoten und Kerne in Ihrem Warehouse und kombiniert die Ergebnisse anschließend zu einem einzigen Datensatz.

class ExampleForecastingModel(custom_model.CustomModel):

  @custom_model.partitioned_inference_api
  def predict(self, input: pd.DataFrame) -> pd.DataFrame:
      # All data in the partition will be loaded in the input dataframe.
      #… implement model logic here …
      return output_df

my_model = ExampleForecastingModel()

reg = Registry(session=sp_session, database_name="ML", schema_name="REGISTRY")
mv = reg.log_model(my_model,
  model_name="my_model",
  version_name="v1",
  options={"function_type": "TABLE_FUNCTION"},    ###
  conda_dependencies=["scikit-learn"],
  sample_input_data=train_features
)

model_version = reg.log_model(my_model,
    model_name="my_model",
    version_name="v1",
    options={
      "method_options": {                                 ###
        "METHOD1": {"function_type": "TABLE_FUNCTION"},   ###
        "METHOD2": {"function_type": "FUNCTION"}          ###
      }
    }
    conda_dependencies=["scikit-learn"],
    sample_input_data=train_features
)

mv.run(
  input_df,
  function_name="PREDICT",
  partition_column="STORE_NUMBER"
)

SELECT OUTPUT1, OUTPUT2, PARTITION_COLUMN
  FROM input_table,
      table(
          MY_MODEL!PREDICT(input_table.INPUT1, input_table.INPUT2)
          OVER (PARTITION BY input_table.STORE_NUMBER)
      )
  ORDER BY input_table.STORE_NUMBER;