Snowflake特徴ストア¶

Snowflake Feature Storeにより、データサイエンティストと ML エンジニアは、データサイエンスと ML ワークロードで、 ML フィーチャーを作成、保守、使用することができます。すべてSnowflake内で行います。

一般的に、 フィーチャー は機械学習モデルの入力として使われるデータ要素です。気温や出席日数など、データセットの多くの列は、そのままフィーチャーとして使うことができます。また、前処理や変換を行うことで、よりトレーニングに役立つ列になる場合もあります。例えば、モデルが週ごとのパターンを検出できるように、タイムスタンプから曜日のフィーチャーを導き出す場合があります。その他の一般的なフィーチャー変換には、データの集約、微分、タイムシフトが含まれます。 フィーチャーエンジニアリング とは、モデルに必要なフィーチャーを決定し、生データからどのようにフィーチャーを導き出すかを定義するプロセスです。

フィーチャーストア を使用すると、よく使用されるフィーチャー変換を中央リポジトリで標準化できるため、再利用が可能になり、データと労力の重複を減らし、生産性を向上させることができます。また、新しいソースデータで更新することでフィーチャーを維持し、常に正しく一貫性のある新しいフィーチャーを信頼できる唯一の情報源で提供することができます。生データからフィーチャーを抽出する方法に一貫性を持たせることで、フィーチャーストアはプロダクションの ML パイプラインをより堅牢にするのにも役立ちます。

Snowflake Feature Storeは、データサイエンスおよび機械学習ワークロードの機能の作成、保存、管理をより簡単かつ効率的に行えるように設計されています。Snowflake内でネイティブにホストされるSnowflake Feature Storeには、以下のような利点があります。

• お客様のデータは、お客様の管理とガバナンスのもとで安全に保管され、Snowflakeを離れることはありません。

• Snowsightフィーチャーストア UI では、フィーチャーを簡単に検索・発見できます。

• アクセスは、きめ細かな ロールベースのアクセス制御 で管理されます。

Snowflake Feature Storeの主な利点には、以下のサポートが含まれます。

• バッチデータとストリーミングデータの両方で、新しいデータが到着すると効率的に自動更新されます

• バックフィルとポイントインタイムの修正機能 ASOF JOIN

• Pythonあるいは SQL で書かれたフィーチャー変換

• Snowflakeが管理するFeature Viewsを使用した、ソースデータからフィーチャー値を自動更新およびリフレッシュ

• dbt のような外部ツールでユーザー管理されたフィーチャーパイプラインを使用する能力

Snowflake Feature Store は、 Snowflake Model Registry およびその他の Snowflake ML フィーチャーと完全に統合されており、エンドツーエンドのプロダクション ML を実現します。

次の図は、Snowflake Feature Storeが機械学習パイプラインにどのように適合するかを示しています。

• 生データは、テーブルやビューからバッチで取得することも、ストリーミングデータソースから取得することもできます。

• 生データは、データエンジニアによって定義されたフィーチャーによって変換され、フィーチャーテーブルが作成されます。

• フィーチャーテーブルは、Snowpark ML でモデルのトレーニングに使用されるトレーニングデータセットを生成したり、モデルが予測を行うために使用するテストデータを充実させるために使用することができます。