Openflow - Snowflake Deployments について

Openflow - Snowflake Deployment は、Snowpark Container Services (SPCS) で実行されると、IcebergやSnowflakeネイティブストレージなどの相互運用が可能なストレージ全体にわたるデータ統合と接続を可能にする、合理化された統合ソリューションを提供します。Snowflake内で完全に自己完結したサービスとして、デプロイと管理が簡単であり、データフローを実行するための便利で費用対効果の高い環境を提供します。主な利点は、Snowflakeのセキュリティモデルとのネイティブ統合で、これによりシームレスな認証、許可、ネットワークセキュリティが可能になり、操作が簡素化されます。

お客様は、BYOC とSnowflakeデプロイメントの両方を持つことができますが、よりSnowflakeデプロイメントに適したユースケースは次のとおりです。

  • ブロンズレイヤーに忠実度の高いデータを組み込む：さまざまなソースから生データをSnowflakeに直接ランディングし、Openflow Snowflakeデプロイメントを使用して抽出とロードを行います。

  • データを強化する：パイプラインを実行して、Snowflake内に既に存在するテーブルを強化します。

  • インジェストからインサイトまでを1か所で：データのライフサイクル全体（インジェスト、処理、提供）をSnowflakeエコシステム内で行うアプリケーションを構築します。

  • AI により生データをインサイトに変換する：非構造化データをインジェストしてから、Snowflake Intelligenceを使って検索、理解しやすくするなどし、ユーザーの他の構造化データと協調させます。

  • リバース ETL を採用する：外部の運用システムと APIs やメッセージングインフラストラクチャなどを介して共有することにより、インサイト生成のループを閉じます。

ランタイムロールと外部アクセス統合について

Openflow - Snowflake Deployments は、通常はSnowflakeの外部にあるデータソースおよび宛先と対話できる必要があります。 さらに、これらのデプロイメントは、Snowflake自体とも通信してアクセスできる必要があります。このサポートは、ランタイムロールと外部アクセス統合によって提供されます。

ランタイムロールとは

ランタイムロールは、特定のOpenflow Runtimeに関連付けられた従来のSnowflakeのロールであり、次のタスクに使用されます。

  • 外部アクセス統合（EAIs）へのアクセスを付与します。これらの EAIs によって、ランタイムがSnowflake自体からデータソースと宛先にアクセスできるようにするルールが指定されます。

  • Snowflakeリソースへのアクセスを付与します。

  • コネクタ固有のリソースへのアクセスを付与します。

ランタイムロールはOpenflowセッショントークンにリンクされているため、お客様がSnowflakeへの認証用に個別のサービスユーザーとキーペアを作成する必要はありません。

Openflow内での外部アクセス統合（EAI）とは

外部アクセス統合 （EAI）は、Openflowコネクタが外部データをプルするソースシステムなどの外部リソースへの安全なアクセスを提供するように設計されたSnowflakeオブジェクトです。Openflow Snowflakeデプロイメントでは、EAIs とネットワークルールを組み合わせて使用することで、Openflowコネクタが読み書きできるエンドポイントを定義します。

データエンジニアは、特定のコネクタとその基になるランタイムに固有の EAIs およびランタイムロールを定義し、構成します。

一般的な Openflow - Snowflake Deployment ワークフロー

次のセクションでは、Openflow - Snowflake Deployment の概念とワークフローについて説明します。

ユーザーペルソナ

タスク

Snowflake管理者

  • コアSnowflakeおよび外部アクセス統合を構成します。

    Openflowの設定 - Snowflakeデプロイメント - タスク概要 をご参照ください。

  • Snowflakeで一連のデプロイメントを作成します。

    Openflow UI は、デプロイメントおよびランタイムの作成とメンテナンスの管理に使用されます。Openflow UI により、ユーザーはすべてのデプロイメントでランタイムを作成、サイズ変更、アップグレード、削除できます。

データエンジニア（パイプライン作成者、データ取り込みを担当）

  • ランタイムロール、外部統合、およびランタイムが後で使用できるその他のオブジェクトを作成します。

  • ランタイムキャンバスを使用して、まったく新しいフローを構築したり、デプロイされたコネクタを構成したりします。まったく新しいフローを作成するか、既存のコネクタをそのまま、またはカスタマイズの開始点として使用します。

コネクタは、特定の統合ユースケースに合わせて解決する簡単な方法であり、テクニカルユーザーではなくても、データエンジニアの支援なしにデプロイできます。

データエンジニア（パイプライン演算子）

フローパラメーターを構成し、フローを実行します。

データエンジニア（シルバーレイヤーとゴールドレイヤーへの変換を担当）

データパイプラインで投入されたブロンズレイヤーから、シルバーレイヤーそしてゴールドレイヤーへのデータ変換（分析用）を担当。

ビジネスユーザー

分析にゴールドレイヤーオブジェクトを使用します。

制限事項

  • Openflow - Snowflake Deployment はトライアルアカウントではサポートされていません。

  • 単一の Openflow - Snowflake Deployment のみがアカウントごとにサポートされています。ただし、アカウントには、それぞれに個別のロールとネットワークアクセスを持つ Openflow - Snowflake Deployment ランタイムを複数含めることができます。これにより、ユーザーはワークロードを分離できます。

  • プライベート接続を必要とするお客様は、アウトバウンド PrivateLink を構成する必要があります。Private Linkは Business Critical Edition のみで利用できます。

次のステップ

Openflowの設定 - Snowflakeデプロイメント - タスク概要

言語: 日本語