Openflowについて¶
Snowflake Openflowは、構造化および非構造化テキスト、画像、音声、ビデオ、センサーデータに対応する数百のプロセッサであらゆるデータソースとあらゆる接続先をつなぐ統合サービスです。Apache NiFi に基づいて構築されたOpenflowでは、フルマネージドのサービスを独自のクラウドで実行することがで完全な制御を実施できます。
注釈
Openflowプラットフォームは現在、AWS と Snowpark Container Services の両方で、お客様が所有する VPCs にデプロイ可能です。
このトピックでは、Openflowの主な機能、その利点、アーキテクチャ、ワークフロー、およびユースケースについて説明します。
主な機能と利点¶
- オープンで拡張可能
Apache NiFi を使用した拡張可能な管理サービスで、任意のデータソースからプロセッサーをビルドして任意の宛先に拡張できるようにします。
- 統一データ統合プラットフォーム
Openflowにより、データエンジニアは独自の VPC やSnowflakeデプロイメント内にデプロイできる完全に管理されたサービスを通じて、複雑な双方向のデータ抽出とロードを処理することができます。
- Enterprise対応
Openflowはデータ統合のための標準的なセキュリティ、コンプライアンス、可観測性、保守性フックを提供します。
- あらゆるタイプのデータの高速インジェスチョン
1つの統一プラットフォームにより、事実上あらゆる規模で、データソースからSnowflakeへ、バッチモードとストリーミングモードの両方で構造化、非構造化データを処理できます。
- AI 処理のためのマルチモーダルデータの継続的なインジェスチョン
ほぼリアルタイムでの非構造化データのインジェスチョンにより、SharePointやGoogle Driveなどのソースからのデータと即座にチャットできます。
Openflow - Snowflake Deployment モデル¶
Openflowは、Bring Your Own Cloud(BYOC)バージョンとSnowpark Container Services(SPCS)バージョンの両方でサポートされています。
Openflow - Snowflake Deployment (SPCS)
Openflow - Snowflake Deployment は、Snowpark Container Services (SPCS)を使用して、接続のための合理化された統合ソリューションを提供します。SPCS はSnowflake内で完全に自己完結するサービスであるため、デプロイと管理が簡単であり、データフローを実行するための便利で費用対効果の高い環境を提供します。Openflow - Snowflake Deployment の主な利点は、Snowflakeのセキュリティモデルとのネイティブ統合で、これによりシームレスな認証、許可、ネットワークセキュリティが可能になり、操作が簡素化されます。
Openflow - Snowflake Deployments の構成時には、Openflowの設定 - Snowflakeデプロイメント の説明に従ってプロセスに従ってください。
Openflow BYOC
Openflow Bring Your Own Cloud(BYOC)が提供する接続ソリューションは、パブリックシステムとプライベートシステムへの安全な接続や、組織のクラウド環境のセキュアな境界内で機密データの前処理をローカルで処理するために使用できます。BYOC は、Openflowデータ処理エンジンまたはデータプレーンが、独自のクラウド環境内で実行される一方で、SnowflakeがOpenflowサービスと制御プレーン全体を管理するデプロイメントオプションです。
BYOC デプロイメントを構成する場合は、Openflowの設定 - BYOC で説明されているプロセスに従ってください。
ユースケース¶
任意のソースからデータをフェッチし、最小限の管理で任意の宛先にデータを配置する場合は、Snowflakeの組み込みデータセキュリティおよびガバナンスと合わせて、Openflowを使用します。
Openflowのユースケースは次のとおりです。
Google DriveやBoxなどの非構造化データソースからデータを取り込み、Snowflake Cortexを使用してAIアシスタントでチャットにできるようにしたり、独自のカスタム処理にデータを使用したりできます。
データベーステーブルの変更データキャプチャ(CDC)をSnowflakeに複製し、包括的で一元化されたレポートを作成します。
Apache KafkaなどのストリーミングサービスからリアルタイムイベントをSnowflakeに取り込み、ほぼリアルタイムの分析ができます。
LinkedIn Adsなどの SaaS プラットフォームからデータを取り込み、Snowflakeでレポート、分析、インサイトに使用します。
Snowflakeならびに NiFi プロセッサー および :doc:`コントローラーサービス<controllers/index>`を使用して、Openflowデータフローを作成します。
セキュリティ¶
Openflowは業界最先端のセキュリティ機能を使用しており、アカウント、ユーザー、およびSnowflakeに保存するすべてのデータに対して最高レベルのセキュリティを確保できます。重要な要素は次のとおりです。
- 認証
ランタイムはSnowflakeへの認証に OAuth2 を使用します。
- 認証
Openflowでは、RBACの詳細なロール設定に対応しています
ACCOUNTADMINでは、デプロイメントとランタイムを作成できる権限を付与します。
- 輸送中の暗号化
Openflowコネクタは TLS プロトコルをサポートしており、データ取り込みにSnowflake標準クライアントを使用します。
OpenflowのデプロイメントとOpenflowのコントロールプレーン間のすべての通信は、TLS プロトコルを使用して暗号化されます。
- 秘密管理(BYOC)
AWS Secrets ManagerまたはHashicorp Vaultと統合しています。詳細については、 構成ファイルの暗号化パスワード をご覧ください。
- PrivateLinkに対応
Openflowコネクタは、インバウンド AWS PrivateLink を使用したSnowflakeへのデータの読み取りおよび書き込みとの互換性があります
- Tri-Secret Secureのセキュアサポート
Openflakeコネクタは、Snowflakeへのデータ書き込みに Tri-Secret Secure で対応します。
アーキテクチャ¶
次の図は、Openflowのアーキテクチャを表しています。
デプロイメントエージェントは、Openflowデプロイメントインフラストラクチャを VPC にインストールしてブートストラップし、Snowflakeシステムイメージレジストリからコンテナイメージを定期的に同期します。
Openflowのコンポーネントは次のとおりです。
- デプロイ
デプロイとは、個々のランタイム内でデータフローが実行される場所です。別々の異なるプロジェクト、チーム用に、または SDLC 上の理由により、複数のランタイムが存在し、すべてが単一のデプロイに関連付けられていることが多くあります。
- コントロールプレーン
コントロールプレーンは、OpenflowサービスおよびAPIなどの、管理と観察に使用されるすべてのコンポーネントを含むアーキテクチャのレイヤーです。ユーザーはOpenflow UI を介して、または直接的なインタラクションによってOpenflow APIsとやり取りします。Openflow Snowflakeデプロイでは、コントロールプレーン(CP)は、Snowflakeが所有するパブリッククラウドインフラストラクチャ/サービスとコントロールプレーンアプリケーション自体で構成されます。
- Openflow - Snowflake Deployment
Openflow - Snowflake Deployment サービスは、SPCS コンピューティングプールを使用してデプロイされます。稼働時間とコンピュートの使用状況に基づいて利用料金が発生します。詳細については、 Openflow Snowflake 展開コストとスケーリングに関する考慮事項 をご参照ください。
ランタイム
ランタイムはデータパイプラインをホストするもので、セキュリティ、簡素性、スケーラビリティを提供するフレームワークを備えています。Openflowを使用して VPC にOpenflowランタイムをデプロイできます。ランタイムにOpenflowコネクタをデプロイし、Openflowプロセッサとコントローラーサービスを使用してまったく新しいパイプラインを構築することもできます。
- Openflow - Snowflake Deployment ランタイム
Openflow - Snowflake Deployment ランタイムは、Openflow - Snowflake Deployment サービスとして Openflow - Snowflake Deployment デプロイにデプロイされます。実体は基礎となるコンピューティングプールです。お客様がデプロイを介してランタイム Openflow - Snowflake Deployment をリクエストすると、デプロイがユーザーに代わってサービスへのリクエストを実行します。作成後は、お客様はウェブブラウザー経由で、特定の Openflow - Snowflake Deployment サービス用に生成された URL でアクセスします。
