オンライン特徴量の作成とサービング¶

データの鮮度¶

オンライン特徴量サービングのある特徴量ビューは、オフラインストアからデータを自動的に同期します。

target_lag パラメーターを使用して、データがオンライン特徴量テーブルに同期される頻度を設定します。この値は、最小10秒から最大8日まで設定できます。

The online feature tables are refreshed in the background using the value that you've specified. The online feature table is suspended if there are five consecutive refresh failures. For information about troubleshooting the refresh failure, check your refresh history.

リフレッシュモード¶

Snowflakeは、次のリフレッシュモードを使用してデータを更新します。

• 増分リフレッシュ:推奨される最も効率的なモードです。Snowflakeはソースの変更を追跡し、新しい行または更新された行のみをオンラインストアにマージします。これにより、コンピューティングコストとI/Oコストが最小限に抑えられます。

• フルリフレッシュ:このモードでは、テーブル内のすべての既存データをドロップし、ソースからすべてをリロードします。リソースを大量に消費するものであり、増分リフレッシュが不可能な場合に使用されます。

リフレッシュモードを明示的に INCREMENTAL または FULL に設定できます。または AUTO に設定して、Snowflakeが利用可能で最も効率的なリフレッシュモードを決定するようにもできます。

時系列データの取り扱い¶

データの一貫性を確保するために、 timestamp_col を指定できます。ソースに同じ主キーを持つ複数の行が見つかった場合、Snowflakeは最新のタイムスタンプを持つバージョンのみをインジェストします。タイムスタンプ列を指定しない場合は、最近処理された行が優先されます。

GRANT CREATE ONLINE FEATURE TABLE ON SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_PRODUCER);

GRANT SELECT, MONITOR ON FUTURE ONLINE FEATURE TABLES IN SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_CONSUMER);

GRANT SELECT, MONITOR ON ALL ONLINE FEATURE TABLES IN SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_CONSUMER);

from snowflake.ml.feature_store import FeatureView
from snowflake.ml.feature_store.feature_view import OnlineConfig

online_config = OnlineConfig(enable=True, target_lag="30 seconds")

fv = FeatureView(
    name="MY_FV",
    entities=[entity],
    feature_df=my_df, # Snowpark DataFrame containing feature transformations
    timestamp_col="ts", # optional timestamp column name in the dataframe
    refresh_freq="5 minutes",
    refresh_mode="AUTO", # refresh mode of the feature data
    desc="my feature view", # optional description
    online_config=online_config
)

fv = fs.register_feature_view(feature_view=fv, version="v1")

特徴量ビューを更新してオンライン特徴量サービングを有効/無効にする¶

既存の特徴量ビューの場合は、 update_feature_view メソッドを使用してオンライン特徴量サービング設定を更新できます。このメソッドを使用すると、既存の特徴量ビューに対してオンライン特徴量サービングを有効にすることができます。

以下のコードを使用して、オンライン特徴量サービングを有効にします。

# Enable online feature serving

fs.update_feature_view(
    name="<name>",
    version="<version>",
    online_config=OnlineConfig(enable=True, target_lag="5 minutes")
)

以下のコードを使用して、オンライン特徴量サービングを無効にします。

# Disable online feature serving

fs.update_feature_view(
    name="<name>",
    version="<version>",
    online_config=OnlineConfig(enable=False)
)

オンラインストレージから特徴量を取得する¶

特定のサンプルのオンラインストレージから特徴量の値を取得するには、read_feature_view メソッドを使用して、特徴量名のリストとサンプルの結合キーを渡します。

fs.read_feature_view(
    feature_view=fv,
    keys=[["<k_1>", "<k_2>"]],
    feature_names=["<feature1>", "<feature2>", "<feature3>"],
    store_type=StoreType.ONLINE
)

オンラインデータリフレッシュを一時停止/再開する¶

以下のコードを使用して、データのリフレッシュを一時的に停止します。

fs.suspend_feature_view(feature_view=fv)

データのリフレッシュを再開するには、以下のコードを使用します。

fs.resume_feature_view(feature_view=fv)

これらの操作では、オフライン特徴量ビュー（動的テーブルと関連タスク）とオンライン特徴量テーブル（存在する場合）の両方を一時停止/再開し、すべてのストレージタイプで一貫した状態を確保します。

特徴量ビューを手動でリフレッシュする¶

fs.refresh_feature_view(
    feature_view=fv,
    store_type=<store_type>
)

store_type 引数は、オフライン（StoreType.OFFLINE）かオンライン（StoreType.ONLINE）のどちらの特徴量データをリフレッシュするかを指定します。

リフレッシュ履歴を表示する¶

fs.get_refresh_history(
    feature_view=fv,
    store_type=store_type
)

store_type 引数は、オフライン（StoreType.OFFLINE）とオンライン（StoreType.ONLINE）のどちらのストアのリフレッシュ履歴を返すかを指定します。

コストのモニタリング¶

コストを監視するには、以下のビューを使用します。

-- Hybrid table request credits
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.HYBRID_TABLE_USAGE_HISTORY;

-- Storage consumption
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.STORAGE_USAGE;
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.DATABASE_STORAGE_USAGE_HISTORY;

-- Overall costs
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_HISTORY;