ML 可観測性：時間経過に伴うモデルの動作のモニタリング¶

ML 可観測性ワークフロー¶

Snowflake Model Registry にログされたモデルを推論に使用すると、推論メソッドに渡された入力 DataFrame のタイプに応じて、Snowpark または pandas DataFrame の形式で結果を受け取ります。このデータは通常Snowflakeで生成されます。推論をSnowflakeの外で実行する場合でも、結果をSnowflakeに保存するのが一般的です。ML 可観測性は、保存された推論データを操作することで、これらのシナリオの両方でモデルのパフォーマンスを監視することができます。典型的なワークフローを以下に示します。

モニタリングログは推論データと予測値を保存し、 ML 可観測性 機能が予測値の経時変化を観察できるようにします。モニタリングログは、 ID、タイムスタンプ、特徴、予測、および与えられた行が予測データであるか観測データであるかを示すグランドトゥルースラベルを含むテーブルに格納されます。基本構造を以下に示します。

モニターしたいモデルのバージョンごとに、明示的にモデルモニターオブジェクトを作成する必要があります。各モデルバージョンは正確に1つのモニターを持つことができ、各モニターは正確に1つのモデルバージョンを監視することができます。モニターオブジェクトは、ソースデータをクエリすることでモニターログを自動的に更新し、ログに基づいてモニタリングレポートを更新します。

各モニターは以下の情報をカプセル化しています。

• モニターするモデルのバージョン。

• モニターログが保存されているテーブル。

• データを保存する最小の時間粒度（アグリゲーションウィンドウ）、現在は最小1日です。

• ドリフトなどの比較指標演算のためのオプションのベースライン・テーブル。

前提条件¶

始める前に、以下をご確認ください。

• Snowflakeアカウント。

• snowflake-ml-python Pythonパッケージのバージョン1.7.1以降。

• Snowflake Model Registry に精通していること。

モデルモニターの作成¶

CREATE MODEL MONITOR コマンドを使用してモデルモニターを作成します。モデルモニターは、モニターするモデルのバージョンと同じスキーマで作成する必要があります。モニターを作成するスキーマには CREATE MODEL MONITOR 権限が必要です。1アカウントにつき最大250人のモデルモニターを作成できます。

CREATE MODEL MONITOR コマンドの詳細は CREATE MODEL MONITOR をご参照ください。

モニタリングの一時停止と再開¶

ALTER MODEL MONITOR ... SUSPEND を使ってモデルモニターをサスペンド（一時停止）することができます。監視を再開するには、 ALTER MODEL MONITOR ... RESUME を発行します。

モニタリングレポートの表示¶

モニターレポートを表示するには、Snowsightの ML Monitoringダッシュボードにアクセスしてください。Snowsightのナビゲーションペインで、 AI & ML を選択し、 Models を選択します。結果のリストには、現在のロールがアクセスできるすべてのデータベースとスキーマのSnowflake Model Registry内のすべてのモデルが含まれます。

Models リストの該当行を選択して、モデルの詳細ページを開きます。詳細ページには、モデルの説明、タグ、バージョン、モニターなど、モデルのキー情報が表示されます。

詳細ページの Monitors のリストには、モデルモニターのリスト、そのモニターがアタッチされているモデルバージョン、ステータス、作成日が表示されます。

モニターリストで対応する行を選択して、モデルモニターダッシュボードページを開きます。ダッシュボードには、経時的なモデルのキー指標がグラフで表示されます。表示される正確なグラフは、モニターが基づいているモデルのタイプ（つまり、バイナリ分類または回帰）によって異なります。

ダッシュボードでは、以下のアクションを実行できます。

• 時間範囲セレクタをクリックして、グラフの範囲を変更します。

• Settings ボタンをクリックして、表示されるグラフを変更します。(メトリック名にマウスカーソルを合わせると、そのメトリックの詳細情報が表示されます。)

• モデルモニターを比較するには、 Compare モデルセレクタドロップダウンをクリックします。

• Display monitor details を選択して、モデルモニターの詳細情報を表示します。

モニタリング結果のクエリ¶

作成した各モデルモニターには、以下のメトリックがあります。

• ドリフトメトリック: 分布の変化またはデータのシフト

• パフォーマンスメトリック: 分布の変化またはデータのシフト

• 統計的メトリック: カウントまたはnull値

モニターによって計算されたメトリックをクエリするには、 モニターメトリック関数 を使用します。メトリック関数は、モデルモニターオブジェクトからメトリックを取得します。Streamlitや他の集中モニタリングツールでカスタムダッシュボードを作成するには、メトリック関数の結果を使用できます。

以下の SQL テンプレートを使用して、モデルモニターからドリフトメトリックを取得してください。

SELECT *
FROM TABLE(MODEL_MONITOR_DRIFT_METRIC (
                                        <model_monitor_name>,
                                        <drift_metric_name>,
                                        <column_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

以下の SQL テンプレートを使用して、モデルモニターからパフォーマンスメトリックを取得してください。

SELECT *
FROM TABLE(MODEL_MONITOR_PERFORMANCE_METRIC (
                                        <model_monitor_name>,
                                        <metric_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

以下の SQL テンプレートを使用して、モデルモニターから統計的メトリックを取得してください。

SELECT *
FROM TABLE(MODEL_MONITOR_STAT_METRIC (
                                        <model_monitor_name>,
                                        <metric_name>,
                                        <granularity>,
                                        <start_time>,
                                        <end_time>
                                      )
          )

モニタリングメトリックのアラートと通知をセットできます。詳細については、 アラートおよび通知 をご参照ください。