Openflowについて

Snowflake Openflowは、構造化および非構造化テキスト、画像、音声、ビデオ、センサーデータに対応する数百のプロセッサであらゆるデータソースとあらゆる接続先をつなぐ統合サービスです。Apache NiFi に基づいて構築されたOpenflowでは、フルマネージドのサービスを独自のクラウドで実行することがで完全な制御を実施できます。

注釈

Openflowプラットフォームは現在、AWS と Snowpark Container Services の両方で、お客様が所有する VPCs にデプロイ可能です。

このトピックでは、Openflowの主な機能、その利点、アーキテクチャ、ワークフロー、およびユースケースについて説明します。

主な機能と利点

オープンで拡張可能

Apache NiFi を使用した拡張可能な管理サービスで、任意のデータソースからプロセッサーをビルドして任意の宛先に拡張できるようにします。

統一データ統合プラットフォーム

Openflowにより、データエンジニアは独自の VPC やSnowflakeデプロイメント内にデプロイできる完全に管理されたサービスを通じて、複雑な双方向のデータ抽出とロードを処理することができます。

Enterprise対応

Openflowはデータ統合のための標準的なセキュリティ、コンプライアンス、可観測性、保守性フックを提供します。

あらゆるタイプのデータの高速インジェスチョン

1つの統一プラットフォームにより、事実上あらゆる規模で、データソースからSnowflakeへ、バッチモードとストリーミングモードの両方で構造化、非構造化データを処理できます。

AI 処理のためのマルチモーダルデータの継続的なインジェスチョン

ほぼリアルタイムでの非構造化データのインジェスチョンにより、SharePointやGoogle Driveなどのソースからのデータと即座にチャットできます。

Openflowデプロイメントタイプ

Openflowは、Bring Your Own Cloud（BYOC）バージョンとSnowpark Container Services（SPCS）バージョンの両方でサポートされています。

Openflow - Snowflake Deployment

Snowflakeのロゴ（黒）（文字なし） Feature --- Generally Available

Snowflake Openflow - Snowflakeデプロイメントは、AWS およびAzure 商用リージョン のすべてのアカウントで利用できます。

Openflow - Snowflake Deployment, using Snowpark Container Services (SPCS), provides a streamlined and integrated solution for connectivity. Because SPCS is a self-contained service within Snowflake, it's easy to deploy and manage. SPCS offers a convenient and cost-effective environment for running your data flows. A key advantage of Openflow - Snowflake Deployment is its native integration with Snowflake's security model, which allows for seamless authentication, authorization, network security and simplified operations.

Openflow - Snowflake Deployments の構成時には、Openflowの設定 - Snowflakeデプロイメント の説明に従ってプロセスに従ってください。

Openflow - Bring Your Own Cloud

Snowflakeのロゴ（黒）（文字なし） Feature --- Generally Available

Snowflake Openflow BYOC deployments are available to all accounts in AWS 商用リージョン.

Openflow - Bring Your Own Cloud (BYOC) provides a connectivity solution that you can use to connect public and private systems securely and handle sensitive data preprocessing locally, within the secure bounds of your organization's cloud environment. BYOC refers to a deployment option where the Openflow data processing engine, or data plane, runs within your own cloud environment while Snowflake manages the overall Openflow service and control plane.

BYOC デプロイメントを構成する場合は、Openflowの設定 - BYOC で説明されているプロセスに従ってください。

ユースケース

任意のソースからデータをフェッチし、最小限の管理で任意の宛先にデータを配置する場合は、Snowflakeの組み込みデータセキュリティおよびガバナンスと合わせて、Openflowを使用します。

Openflowのユースケースは次のとおりです。

  • Google DriveやBoxなどの非構造化データソースからデータを取り込み、Snowflake Cortexを使用してAIアシスタントでチャットにできるようにしたり、独自のカスタム処理にデータを使用したりできます。

  • データベーステーブルの変更データキャプチャ（CDC）をSnowflakeに複製し、包括的で一元化されたレポートを作成します。

  • Apache KafkaなどのストリーミングサービスからリアルタイムイベントをSnowflakeに取り込み、ほぼリアルタイムの分析ができます。

  • LinkedIn Adsなどの SaaS プラットフォームからデータを取り込み、Snowflakeでレポート、分析、インサイトに使用します。

  • Snowflakeならびに NiFi プロセッサー および :doc:`コントローラーサービス<controllers/index>`を使用して、Openflowデータフローを作成します。

セキュリティ

Openflowは業界最先端のセキュリティ機能を使用しており、アカウント、ユーザー、およびSnowflakeに保存するすべてのデータに対して最高レベルのセキュリティを確保できます。重要な要素は次のとおりです。

認証

  • ランタイムはSnowflakeへの認証に OAuth2 を使用します。

認証

  • Openflowでは、RBACの詳細なロール設定に対応しています

  • ACCOUNTADMINでは、デプロイメントとランタイムを作成できる権限を付与します。

輸送中の暗号化

  • Openflowコネクタは TLS プロトコルをサポートしており、データ取り込みにSnowflake標準クライアントを使用します。

  • OpenflowのデプロイメントとOpenflowのコントロールプレーン間のすべての通信は、TLS プロトコルを使用して暗号化されます。

秘密管理（BYOC）
PrivateLinkに対応

  • Openflowコネクタは、インバウンド AWS PrivateLink を使用したSnowflakeへのデータの読み取りおよび書き込みとの互換性があります

Tri-Secret Secureのセキュアサポート

  • Openflakeコネクタは、Snowflakeへのデータ書き込みに Tri-Secret Secure で対応します。

アーキテクチャ

次の図は、Openflowのアーキテクチャを表しています。

Openflowのアーキテクチャ

デプロイメントエージェントは、Openflowデプロイメントインフラストラクチャを VPC にインストールしてブートストラップし、Snowflakeシステムイメージレジストリからコンテナイメージを定期的に同期します。

Openflowのコンポーネントは次のとおりです。

Deployments

A deployment is where your data flows execute, within individual runtimes. You will often have multiple runtimes to isolate different projects, teams, or for SDLC reasons, all associated with a single deployment. Deployments come in two types Bring Your Own Cloud (BYOC) and Openflow - Snowflake.

コントロールプレーン

The control plane is a layer containing all components used to manage and observe Openflow runtimes. This includes the Openflow service and API, which users interact with via the Openflow canvas or through interaction with Openflow APIs. On Openflow - Snowflake Deployments, the Control Plane consists of Snowflake-owned public cloud infrastructure and services as well as the control plane application itself.

BYOC deployments

BYOC デプロイ ` は、*お客様の*クラウド環境にデプロイされるランタイムのコンテナとして機能するデプロイメントです。コンピューティング、インフラストラクチャ、ストレージの使用量に基づいて料金が発生します。詳細については、 :doc:`cost-byoc をご参照ください。

Openflow - Snowflake Deployments

Openflow - Snowflake Deployments are containers for runtimes and are deployed using a compute pool. They incur utilization charges based on their uptime and usage of compute. See Openflow Snowflake 展開コストとスケーリングに関する考慮事項 for more information.

ランタイム

Runtimes host data pipelines, with the framework providing security, simplicity, and scalability. You can deploy Openflow runtimes in your VPC using Openflow. You can deploy Openflow connectors to your runtimes, and also build completely new pipelines using Openflow processors and controller services.

Openflow - Snowflake Deployment ランタイム

Openflow - Snowflake Deployment Runtimes are deployed as Snowpark Container Services service to an Openflow - Snowflake Deployment deployment, which is represented by an underlying compute pool. Customers request a Runtime through the deployment, which executes a request on behalf of the user to service. Once created, customers access it via a web browser at the URL generated for that underlying service.

言語: 日本語