Openflowについて¶

Snowflake Openflowは、構造化および非構造化テキスト、画像、音声、ビデオ、センサーデータに対応する数百のプロセッサであらゆるデータソースとあらゆる接続先をつなぐ統合サービスです。Apache NiFi に基づいて構築されたOpenflowでは、フルマネージドのサービスを独自のクラウドで実行することがで完全な制御を実施できます。

注釈

Openflowプラットフォームは現在、AWS と Snowpark Container Services の両方で、お客様が所有する VPCs にデプロイ可能です。

このトピックでは、Openflowの主な機能、その利点、アーキテクチャ、ワークフロー、およびユースケースについて説明します。

主な機能と利点¶

オープンで拡張可能: Apache NiFi を使用した拡張可能な管理サービスで、任意のデータソースからプロセッサーをビルドして任意の宛先に拡張できるようにします。
統一データ統合プラットフォーム: Openflowにより、データエンジニアは独自の VPC やSnowflakeデプロイメント内にデプロイできる完全に管理されたサービスを通じて、複雑な双方向のデータ抽出とロードを処理することができます。
Enterprise対応: Openflowはデータ統合のための標準的なセキュリティ、コンプライアンス、可観測性、保守性フックを提供します。
あらゆるタイプのデータの高速インジェスチョン: 1つの統一プラットフォームにより、事実上あらゆる規模で、データソースからSnowflakeへ、バッチモードとストリーミングモードの両方で構造化、非構造化データを処理できます。
AI 処理のためのマルチモーダルデータの継続的なインジェスチョン: ほぼリアルタイムでの非構造化データのインジェスチョンにより、SharePointやGoogle Driveなどのソースからのデータと即座にチャットできます。

Openflow deployment types¶

Openflowは、Bring Your Own Cloud（BYOC）バージョンとSnowpark Container Services（SPCS）バージョンの両方でサポートされています。

Openflow - Snowflake Deployment

Openflow - Snowflake Deployment, using Snowpark Container Services (SPCS), provides a streamlined and integrated solution for connectivity. Because SPCS is a self-contained service within Snowflake, it's easy to deploy and manage. SPCS offers a convenient and cost-effective environment for running your data flows. A key advantage of Openflow - Snowflake Deployment is its native integration with Snowflake's security model, which allows for seamless authentication, authorization, network security and simplified operations.

Openflow - Snowflake Deployments の構成時には、Openflowの設定 - Snowflakeデプロイメントの説明に従ってプロセスに従ってください。

Openflow - Bring Your Own Cloud

Openflow - Bring Your Own Cloud (BYOC) provides a connectivity solution that you can use to connect public and private systems securely and handle sensitive data preprocessing locally, within the secure bounds of your organization's cloud environment. BYOC refers to a deployment option where the Openflow data processing engine, or data plane, runs within your own cloud environment while Snowflake manages the overall Openflow service and control plane.

BYOC デプロイメントを構成する場合は、Openflowの設定 - BYOC で説明されているプロセスに従ってください。

ユースケース¶

任意のソースからデータをフェッチし、最小限の管理で任意の宛先にデータを配置する場合は、Snowflakeの組み込みデータセキュリティおよびガバナンスと合わせて、Openflowを使用します。

Openflowのユースケースは次のとおりです。

Google DriveやBoxなどの非構造化データソースからデータを取り込み、Snowflake Cortexを使用してAIアシスタントでチャットにできるようにしたり、独自のカスタム処理にデータを使用したりできます。
データベーステーブルの変更データキャプチャ（CDC）をSnowflakeに複製し、包括的で一元化されたレポートを作成します。
Apache KafkaなどのストリーミングサービスからリアルタイムイベントをSnowflakeに取り込み、ほぼリアルタイムの分析ができます。
LinkedIn Adsなどの SaaS プラットフォームからデータを取り込み、Snowflakeでレポート、分析、インサイトに使用します。
Snowflakeならびに NiFi プロセッサーおよび :doc:`コントローラーサービス<controllers/index>`を使用して、Openflowデータフローを作成します。

セキュリティ¶

Openflowは業界最先端のセキュリティ機能を使用しており、アカウント、ユーザー、およびSnowflakeに保存するすべてのデータに対して最高レベルのセキュリティを確保できます。重要な要素は次のとおりです。

認証

ランタイムはSnowflakeへの認証に OAuth2 を使用します。

認証

Openflowでは、RBACの詳細なロール設定に対応しています
ACCOUNTADMINでは、デプロイメントとランタイムを作成できる権限を付与します。

輸送中の暗号化

Openflowコネクタは TLS プロトコルをサポートしており、データ取り込みにSnowflake標準クライアントを使用します。
OpenflowのデプロイメントとOpenflowのコントロールプレーン間のすべての通信は、TLS プロトコルを使用して暗号化されます。

秘密管理（BYOC）

AWS Secrets ManagerまたはHashicorp Vaultと統合しています。詳細については、構成ファイルの暗号化パスワードをご覧ください。

PrivateLinkに対応

Openflowコネクタは、インバウンド AWS PrivateLink を使用したSnowflakeへのデータの読み取りおよび書き込みとの互換性があります

Tri-Secret Secureのセキュアサポート

Openflakeコネクタは、Snowflakeへのデータ書き込みに Tri-Secret Secure で対応します。

アーキテクチャ¶

次の図は、Openflowのアーキテクチャを表しています。

デプロイメントエージェントは、Openflowデプロイメントインフラストラクチャを VPC にインストールしてブートストラップし、Snowflakeシステムイメージレジストリからコンテナイメージを定期的に同期します。

Openflowのコンポーネントは次のとおりです。

デプロイ: デプロイとは、個々のランタイム内でデータフローが実行される場所です。多くの場合、異なるプロジェクトやチームを分離するため、あるいは SDLC 上の理由により、単一のデプロイに関連付けられた複数のランタイムが存在します。デプロイには、 Bring Your Own Cloud（ BYOC ）と Openflow - Snowflake の2種類があります。
コントロールプレーン: コントロールプレーンは、Openflowランタイムの管理と監視に使用されるすべてのコンポーネントを含むレイヤーです。これには、Openflowサービスと API が含まれ、ユーザーはOpenflowキャンバス経由またはOpenflow APIs とのやり取りを通じてこれらを操作します。Openflow - Snowflake Deployments では、Snowflakeが所有するパブリッククラウドインフラストラクチャとサービス、およびコントロールプレーンアプリケーション自体で構成されます。
BYOC デプロイ: BYOC デプロイは、*お客様の*クラウド環境にデプロイされるランタイムのコンテナとして機能するデプロイメントです。コンピューティング、インフラストラクチャ、ストレージの使用量に基づいて料金が発生します。詳細については、オープンフロー BYOC コストとスケーリングの考慮事項をご参照ください。
Openflow - Snowflake Deployments: Openflow - Snowflakeデプロイメントはランタイムのコンテナであり、コンピューティングプールを使用してデプロイされます。稼働時間とコンピュートの使用状況に基づいて利用料金が発生します。詳細については、 Openflow Snowflake 展開コストとスケーリングに関する考慮事項をご参照ください。
ランタイム: ランタイムはデータパイプラインをホストするもので、セキュリティ、簡素性、スケーラビリティを提供するフレームワークを備えています。Openflowを使用して VPC にOpenflowランタイムをデプロイできます。ランタイムにOpenflowコネクタをデプロイし、Openflowプロセッサとコントローラーサービスを使用してまったく新しいパイプラインを構築することもできます。
Openflow - Snowflake Deployment ランタイム: Openflow - Snowflakeデプロイメントランタイムは、 Snowpark Container Services サービスとして、基盤となるコンピューティングプールで表される Openflow - Snowflake Deployment デプロイメントにデプロイされます。お客様がデプロイを介してランタイムをリクエストすると、デプロイがユーザーに代わってサービスへのリクエストを実行します。作成後は、お客様はその基盤となるサービス用に生成された URL で Web ブラウザー経由でランタイムにアクセスします。