Snowflake Horizon カタログ¶
Snowflake Horizonカタログは、コンプライアンス、セキュリティ、プライバシー、ディスカバリ、コラボレーション機能を内蔵しており、企業はデータ、アプリケーション、モデルを発見し、管理することができます。これは、企業全体の問題を解決し、組織のコンテンツを扱うさまざまなユーザーの固有のニーズを満たす統合ソリューションです。
Snowflake Horizonカタログから恩恵を受けるのは誰ですか?¶
Snowflake Horizonカタログは、組織のコンテンツの管理、発見、アクションに関わるすべての人にソリューションを提供します。これらのステークホルダーは以下の通り:
- データスチュワード:
データスチュワードは、データ、アプリ、モデルへのアクセスを提供しつつ、適切な人々がコンテンツにアクセスできるようにしたいと考えています。機密データを識別し、適切に保護したいと考えています。誰がどのデータを使っているのかを判断し、データの質を理解するのが彼らの仕事です。
Horizonカタログを使用すると、データスチュワードは組み込みのソリューションで組織のコンテンツを効果的に管理できます。また、セキュリティ、データ品質、機密データの流れを監視するツールを使用し、誰がデータにアクセスし、そのアクセスが安全に行われたかを継続的に監査することができます。
- データチーム:
アナリスト、データサイエンティスト、データエンジニアからなるデータチームは、タスクに適したデータ、アプリ、モデルを見つけるのに苦労することがよくあります。オブジェクトを見つけても、そのデータが最新で信頼できるものなのか、列は何を意味しているのか、誰が所有しているのかを見分けるのは難しい。正しいデータだと判断しても、そのデータにアクセスするまでに数日から数週間かかることもあります。
Horizonカタログは、データチームが関連するコンテンツを迅速に検索し、コラボレーションできるようにします。Horizonカタログは、適切なデータを見つけやすくし、データを理解して要件に適合していることを信頼できるようにし、データに基づいてアクションを実行できるようにすることで、これらのチームがコンテンツからより多くの価値を引き出せるようにします。
組織のコンテンツの範囲¶
Horizonカタログは、アカウントの内部ストレージにあるSnowflakeテーブルと表示以上のものを管理し、検出できるようにします。内容は以下の通り:
組織全体のアカウントにあるデータ、アプリ、モデル。
Apache Iceberg™ テーブル および 外部テーブル のデータ。
信頼できるパートナーによって プライベートリスト を通じて共有されるデータ。
Snowflake Marketplace から一般公開されているデータおよびすべての Snowflake Native App。
サードパーティのアプリケーションやデータシステムから、 コネクタ を使用してSnowflakeに取り込まれたデータ。
コンテンツの管理¶
Horizonカタログは、組織のデータ、アプリ、モデルを管理するためにデータスチュワードが必要とするツールを提供します。
- コンプライアンス:
Horizonカタログでは次のことができます。
コンテンツの アクセス履歴 と オブジェクトの依存関係 を監査します。
組み込みおよびカスタム データ指標関数 を使用してデータ品質をモニターし、トラブルシューティングと可視化を行うことができます。一元管理されたテーブルに基づいてアラートを構成し、ほぼリアルタイムのデータ品質通知を可能にすることができます。
Snowsight :sup: ` [1] `でデータ系統を表示し、ソーステーブルからターゲットテーブルへのテーブルと列系統を理解し、ダウンストリームまたはアップストリームテーブルのいずれかに表示される列にタグを設定します。
ビューオブジェクトのインサイト :sup:`[1]`SQL を書かずにテーブルやビューの情報を知ることができるユーザーインターフェイスを使用しています。誰がデータにアクセスしているか、データに最も頻繁にアクセスするクエリ、誰かがデータのガバナンス態勢を変更していないか、データに下流または上流の依存関係があるかどうか、データが機密扱いに分類されているかどうかを確認できます。
タグは、 オブジェクトタギング で実装されたユーザー定義タグ、または列の内容に基づいて列に自動的に割り当てられた分類タグ(システム定義 または カスタム)です。
[1] 現在プライベートプレビュー中。
- セキュリティ:
Horizonカタログでは次のことができます。
Trust Center を使用して、Center for Internet Security(CIS)によって確立されたベンチマークを満たしているかどうかなど、アカウントの現在のセキュリティ状況を判断します。
エンドツーエンドの暗号化 を使用して、Snowflakeとの間で静止中または転送中に第三者がデータを読み取ることを防ぐと同時に、攻撃対象領域を最小限に抑えます。
OAuth や フェデレーション認証 など、お好みの認証コードを選択してください。
オブジェクトへのアクセスを制御するには、細かい 認証制御 を使用します。
- プライバシー:
Horizonカタログでは次のことができます。
集計ポリシー と 投影ポリシー を定義して割り当て、共有データに対して実行できるクエリの種類を制御します。集計ポリシーでは、アナリストは個々の行を取得するのではなく、データを集約するクエリを実行する必要があります。投影ポリシーは、アナリストが SELECT ステートメントを使用して特定の列を投影できるかどうかを制御します。
個人のアイデンティティを保護しながら、非常に機密性の高いデータをアナリストに公開します。 差分プライバシー は、厳密な数学を使用して、データに対する高度なプライバシー攻撃から保護します。
Snowflake Data Clean Room を使用して、プライバシーを守りながらコラボレーションを促進します。
直接操作できる類似の特性を持つデータ [2] を合成的に生成することで、機密データからインサイトを得られる人の範囲を拡大します。
[2] 現在、プライベートプレビュー中。
- 発見:
Horizonカタログでは、 AI を利用したオブジェクトの説明 [3] を使用して、データをより迅速に理解できます。
[3]現在、プライベートプレビュー中。
コンテンツの発見と行動¶
データチームは、組織のデータ、アプリ、モデルに依存して仕事をしています。Horizonカタログは、タスクに関連するコンテンツを発見し、そのコンテンツが適切で信頼できるものであるかどうかを評価し、コンテンツに対してアクションを起こすために必要なツールをチームに提供します。
- 発見:
Horizonカタログでは次のことができます。
Universal Search を使用して、データ、アプリ、モデルを検索します。これは、自然言語を使用して組織内外のコンテンツを検索できるユーザーインターフェイスです。
内部マーケットプレイスを使用して組織内のSnowflakeコンテンツをブラウズし、組織リストを検索 :sup: `[4]`を見つけます。
Snowflake Marketplaceで一般に公開されているデータ を閲覧できます。
Snowsight:sup:`[4]`のオブジェクトインサイトを使って、コンテンツの人気、アクセス、品質、依存関係を調べることで、データの関連性を評価します。
Uniform Listing Locator :sup:`[4]`を使ってリストのデータを参照することで、データベースを作成したり管理者権限を必要とすることなく、リストのデータに対するクエリを書くことができます。
[4]現在、プライベートプレビュー中。
- コラボレーション:
Horizonカタログでは次のことができます。
内部Marketplace [5] で組織内のデータを共有し、 プライベートリスト を使って外部ビジネスパートナーと個人的にデータを共有できます。
Snowflake Marketplace でデータ製品を売買します。
ユーザーインターフェイスを使用して、または SQL コマンドを使用してプログラムで リストを管理します。
[5] 現在プライベートプレビュー中。
使用例: Horizonカタログの使用例¶
BazFinは大手金融サービス会社で、10 PBのデータで構成されるコンテンツのコンプライアンス、データ品質、ユーザビリティを確保する必要があるとします。BazFin は、Horizonカタログを使用してコンテンツを管理し、発見します。
- コンテンツの管理
BazFinの最高データ責任者(CDO)は、ビジネス上の意思決定が高品質なデータに基づいて行われることを、企業のステークホルダーに保証する必要があります。CDO は、 システム定義およびカスタムデータメトリックス関数 を活用し、定期的なスケジュールで継続的にデータ品質を監視するようデータスチュワードに指示します。いつでも、CDOは、イベントテーブルを基に作成されたダッシュボードを表示し、データの品質をレポートすることができます。
その日の仕事に戻ったデータスチュワードは、 Trust Center を開き、最近新しい部門のために作成されたSnowflakeアカウントの全体的なセキュリティ体制をチェックします。組み込みインターフェイスから、未知のネットワークトラフィックからアカウントを保護するためのネットワークポリシーを誰かが定義し忘れたことを識別します。
- コンテンツの発見とアクション
BazFinアナリストは、業績の良い製品を表示する新しいダッシュボードを作りたいと考えています。アナリストは社内マーケットプレイス:sup:`[6]`にアクセスし、財務チームが公表しているパフォーマンスデータとともに、適切な組織リスト:sup:`[6]`を見つけます。アナリストはデータディクショナリをブラウズしてデータをプレビューし、リスティングのUnified Listing Locator :sup:`[6]`を使用してすぐにデータのクエリを開始します。
アナリストはまた、BazFinのデータをサードパーティのデータで強化したいと考えています。 Universal Search を使用すると、アナリストは自然言語検索語
income bands for zipcodes
を使用して、Snowflake Marketplace から、 BazFin 製品パフォーマンスデータと結合できるデータ製品を返します。[6]現在はプライベートプレビュー中。