動的テーブル¶
動的テーブルは、信頼性が高く、コスト効率が高く、自動化されたデータ変換方法を提供することで、Snowflakeのデータエンジニアリングを簡素化します。タスクとスケジューリングで変換ステップを管理する代わりに、動的テーブルを使用して最終状態を定義し、Snowflakeにパイプライン管理を任せます。
メリットがある理由は以下の通りです。
宣言型プログラミング:宣言的なSQLを使用してパイプラインの結果を定義します。それを達成するためのステップについて心配しなくてもよいため、複雑性が低減します。
透過的オーケストレーション:動的なテーブルを連結することで、線形チェーンから有向グラフまで、さまざまな形状のパイプラインを簡単に作成できます。Snowflakeは、データの鮮度目標に基づいて、パイプラインのリフレッシュのオーケストレーションとスケジューリングを管理します。
増加処理によるパフォーマンス向上: 増加処理に適した 有利なワークロード の場合、動的テーブルはフルリフレッシュよりも大幅なパフォーマンス向上を実現します。
簡単な切り替え:単一のALTERDYNAMICTABLEコマンドでバッチからストリーミングにシームレスに移行できます。データパイプラインでデータをリフレッシュする頻度をコントロールすることで、コストとデータの鮮度のバランスをとることができます。
運用:動的テーブルは、Snowsightで完全に監視および管理可能で、独自の監視アプリケーションを構築するためのプログラムアクセスも提供します。
クエリの結果を動的テーブルに反映させるため、ターゲットテーブルやデータ変換用のカスタムコードを別途用意する必要がありません。自動化されたプロセスは、定期的な リフレッシュ を通して定期的に結果をリフレッシュします。動的テーブルの内容はクエリに基づいているため、DMLの操作で変更することはできません。自動リフレッシュプロセスは、クエリ結果を動的テーブルにマテリアライズします。
次のトピックでは、動的テーブルの概念と、動的テーブルを使用して連続データパイプラインでデータを変換する方法を紹介および説明します。
概念 |
説明 |
---|---|
動的テーブルを操作するために必要な権限、動的テーブルのリフレッシュ方法、動的テーブル、ストリーム& タスク、およびマテリアライズドビューの区別について説明します。 |
|
動的テーブルの作成、管理、監視について学びます。 |
|
動的テーブルを扱うためのベストプラクティスを理解します。 |
|
動的テーブルのコンピューティングコストとストレージコストを理解します。 |
|
動的テーブルの使用に関する制限や、必要な権限がない場合、一部の操作が制限されることがあります。 |