온라인 기능 생성 및 제공하기¶

데이터 최신성¶

온라인 기능을 제공하는 기능 뷰는 오프라인 저장소의 데이터를 자동으로 동기화합니다.

target_lag 매개 변수를 사용하여 데이터가 온라인 기능 테이블에 동기화되는 빈도를 구성합니다. 이 값은 최소 10초에서 최대 8일까지 설정할 수 있습니다.

새로 고침 모드¶

Snowflake는 다음 새로 고침 모드를 사용하여 데이터를 업데이트합니다.

• 증분 새로 고침: 이 모드는 가장 선호되고 효율적인 모드입니다. Snowflake는 소스의 변경 사항을 추적하고 새 행 또는 업데이트된 행만 온라인 스토어에 병합합니다. 이를 통해 컴퓨팅 및 I/O 비용이 최소화됩니다.

• 전체 새로 고침: 이 모드에서는 테이블의 모든 기존 데이터를 삭제하고 소스에서 모든 데이터를 다시 로드합니다. 리소스를 더 많이 사용하며 증분 새로 고침이 불가능한 경우에 사용됩니다.

새로 고침 모드를 INCREMENTAL 또는 FULL로 명시적으로 설정하거나 AUTO로 설정하여 Snowflake가 사용 가능한 가장 효율적인 새로 고침 모드를 결정하도록 할 수 있습니다.

시계열 데이터 처리¶

데이터 일관성을 보장하기 위해 :code:`timestamp_col`을 지정할 수 있습니다. 소스에서 기본 키가 동일한 여러 행이 발견되는 경우 Snowflake는 타임스탬프가 가장 최근인 버전만 수집합니다. 타임스탬프 열을 지정하지 않으면 가장 최근에 처리된 행이 우선합니다.

GRANT CREATE ONLINE FEATURE TABLE ON SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_PRODUCER);

GRANT SELECT, MONITOR ON FUTURE ONLINE FEATURE TABLES IN SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_CONSUMER);

GRANT SELECT, MONITOR ON ALL ONLINE FEATURE TABLES IN SCHEMA IDENTIFIER($SCHEMA_FQN) TO ROLE IDENTIFIER($FS_ROLE_CONSUMER);

from snowflake.ml.feature_store import FeatureView
from snowflake.ml.feature_store.feature_view import OnlineConfig

online_config = OnlineConfig(enable=True, target_lag="30 seconds")

fv = FeatureView(
    name="MY_FV",
    entities=[entity],
    feature_df=my_df, # Snowpark DataFrame containing feature transformations
    timestamp_col="ts", # optional timestamp column name in the dataframe
    refresh_freq="5 minutes",
    refresh_mode="AUTO", # refresh mode of the feature data
    desc="my feature view", # optional description
    online_config=online_config
)

fv = fs.register_feature_view(feature_view=fv, version="v1")

기능 뷰를 업데이트하여 온라인 기능 제공 활성화/비활성화¶

기존 기능 뷰의 경우 update_feature_view 메서드를 사용하여 온라인 기능 제공 구성을 업데이트할 수 있습니다. 이 메서드를 사용하여 기존 기능 뷰에 대한 온라인 기능 제공을 활성화할 수 있습니다.

다음 코드를 사용하여 온라인 기능 제공을 활성화합니다.

# Enable online feature serving

fs.update_feature_view(
    name="<name>",
    version="<version>",
    online_config=OnlineConfig(enable=True, target_lag="5 minutes")
)

다음 코드를 사용하여 온라인 기능 제공을 비활성화합니다.

# Disable online feature serving

fs.update_feature_view(
    name="<name>",
    version="<version>",
    online_config=OnlineConfig(enable=False)
)

온라인 저장소에서 기능 검색하기¶

주어진 샘플에 대한 온라인 저장소에서 기능 값을 검색하려면 read_feature_view 메서드를 사용하고 샘플의 조인 키뿐 아니라 기능 이름 목록도 전달합니다.

fs.read_feature_view(
    feature_view=fv,
    keys=[["<k_1>", "<k_2>"]],
    feature_names=["<feature1>", "<feature2>", "<feature3>"],
    store_type=StoreType.ONLINE
)

온라인 데이터 새로 고침 일시 중단/재개¶

다음 코드를 사용하여 데이터 새로 고침을 일시적으로 중단합니다.

fs.suspend_feature_view(feature_view=fv)

다음 코드를 사용하여 데이터 새로 고침을 재개합니다.

fs.resume_feature_view(feature_view=fv)

이러한 작업은 모든 저장소 유형에서 일관된 상태를 보장하기 위해 오프라인 기능 뷰(동적 테이블 및 관련 작업)와 온라인 기능 테이블(있는 경우)을 모두 일시 중단/재개합니다.

수동으로 기능 뷰 새로 고침¶

fs.refresh_feature_view(
    feature_view=fv,
    store_type=<store_type>
)

store_type 인자는 오프라인(StoreType.OFFLINE) 또는 온라인(StoreType.ONLINE) 기능 데이터를 새로 고침할지 여부를 지정합니다

새로 고침 기록 보기¶

fs.get_refresh_history(
    feature_view=fv,
    store_type=store_type
)

store_type 인자는 오프라인(StoreType.OFFLINE) 또는 온라인(StoreType.ONLINE) 저장소 새로 고침 기록을 반환할지 여부를 지정합니다.

비용 모니터링¶

비용을 모니터링하려면 다음 뷰를 사용합니다.

-- Hybrid table request credits
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.HYBRID_TABLE_USAGE_HISTORY;

-- Storage consumption
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.STORAGE_USAGE;
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.DATABASE_STORAGE_USAGE_HISTORY;

-- Overall costs
SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_HISTORY;