Work with Amazon S3-compatible storage¶

クラウドプラットフォームのサポート¶

この機能は、以下のサポートされている クラウドプラットフォーム でホストされているSnowflakeアカウントで利用可能です。

• Amazon Web Services

• Google Cloud

• Microsoft Azure

S3互換ストレージの要件¶

Snowflake用S3互換 API エンドポイントは、以下の要件を満たす必要があります。

• S3 API に高度に準拠し、弊社の 公開テストスイート （GitHub）に合格している。エンドポイントがS3のように動作しないと、Snowflakeでは機能しません。

• Snowflake S3互換のテスト済みおよび準拠サービスとして、使用するサードパーティのストレージプロバイダーによりサポートされている。少なくとも一部の製品をテストし、Snowflakeで動作することを確認しているベンダーのリストについては、 S3互換ストレージのベンダーサポート をご参照ください。

• Snowflakeアカウントがホストされているパブリッククラウドからアクセス可能である。

• 分析のニーズに応える高可用性とパフォーマンス。

• バーチャルホストスタイルのリクエストを使用するように構成されている。詳細については、Amazon S3ドキュメントの バケットの仮想ホスティング をご参照ください。

• 有効な TLS 証明書で HTTPS 通信を使用するように構成されている。

• 直接認証情報を使用するように構成されている。

• ポート番号を含まない。たとえば、エンドポイントmystorage.com:3000はサポートされません。

Create an external stage for S3-compatible storage¶

S3互換ストレージ用の外部ステージを作成するには、 CREATE STAGE コマンドを使用して、名前付き 外部ステージ を作成します。外部ステージを使用して、ファイルの一覧表示、データのロード、ファイルのアンロードなどのアクションを実行できます。

オプションで、 ディレクトリテーブル を外部ステージに追加します。ディレクトリテーブルをクエリしてファイル URLs を取得し、参照されるストレージ内のファイルやその他のメタデータにアクセスできます。

以下の例では、エンドポイント mystorage.com でバケットとパス my_bucket/files/ をポイントする my_s3_compat_stage という名前の外部ステージを作成します。この例で使用されている AWS_KEY_ID と AWS_SECRET_KEY の値は、説明のみを目的としています。

CREATE STAGE my_s3compat_stage
  URL = 's3compat://my_bucket/files/'
  ENDPOINT = 'mystorage.com'
  CREDENTIALS = (AWS_KEY_ID = '1a2b3c...' AWS_SECRET_KEY = '4x5y6z...')

Load and unload data¶

S3互換ストレージ用に構成された外部ステージを使用して、データのロードとアンロードができます。以下の機能は、S3互換のストレージで動作します。

• COPY INTO <テーブル> コマンドを使用した一括データロード。

  たとえば、バケット内の load サブパスにあるすべてのファイルと、 my_s3compat_stage という名前のステージで定義されたパスからテーブル t1 にデータをロードします。

  CopyExpand

  COPY INTO t1
    FROM @my_s3compat_stage/load/;
  

  Show lessSee more

  Scroll to top

• Snowpipe REST エンドポイントの呼び出しによる継続的なデータのロード。

  サンプルプログラムについては、 Option 1: Load data with the Snowpipe REST API をご参照ください。

• COPY INTO <場所> コマンドを使用したデータのアンロード。

  たとえば、バケット内の unload サブパスと、 my_s3compat_stage という名前のステージで定義されたパス内のファイルにテーブル t2 からデータをアンロードします。

  CopyExpand

  COPY INTO @my_s3compat_stage/unload/
    FROM t2;
  

  Show lessSee more

  Scroll to top

Extend your data lake using external tables¶

S3互換ストレージを備えた外部テーブルを使用すると、最初にデータをSnowflakeにロードすることなくクエリできます。このセクションでは、S3互換ストレージ用に構成された外部ステージの場所を参照する外部テーブルを作成し、クエリする方法について簡単に説明します。

S3互換外部ステージを参照する CREATE EXTERNAL TABLE を使用して外部テーブルを作成することから始めます。。

次の例では、 my_s3compat_stage という名前のステージにあるサブパス path1 を参照する et という名前の外部テーブルを作成します。 path1 サブパスにあるファイルはApache Parquet形式です。

CREATE EXTERNAL TABLE et
 LOCATION=@my_s3compat_stage/path1/
 AUTO_REFRESH = FALSE
 REFRESH_ON_CREATE = TRUE
 FILE_FORMAT = (TYPE = PARQUET);

S3互換ストレージ用の外部テーブルを作成した後、それをクエリできます。たとえば、先に作成した外部テーブルの value 列をクエリします。

SELECT value FROM et;

クエリのパフォーマンスは、ネットワークとアプリケーションまたはデバイスのパフォーマンスによって異なります。パフォーマンスを重視する場合は、 マテリアライズドビュー を外部テーブルに作成します。マテリアライズドビューは事前に計算されているため、マテリアライズドビューのクエリは、ビューのベーステーブルに対してクエリを実行するよりも高速です。

S3互換ストレージのベンダーサポート¶

S3準拠の API を持つデバイスやアプリケーションをSnowflakeで使用できます。ただし、コンプライアンスを担保する責任は、ストレージサービスプロバイダーにあります。

以下のベンダーは、自社製品の少なくとも一部をテストし、Snowflakeで動作することを確認したとSnowflakeに報告しています。

• Akave

• Backblaze

• Cloudflare

• Cloudian

• Cohesity

• Dell

• Hitachi Content Platform

• IBMストレージCeph

• IDrive e2

• MinIO

• NetApp （StorageGRID）

• Nutanix

• PureStorage

• Scality

• Wasabi

このリストは、便宜上提供されているものです。Snowflakeが外部製品をテストして互換性を検証することはありません。また、サードパーティベンダーが販売する製品の問題を修正することもできません。S3 API を使用するハードウェアまたはソフトウェアがSnowflakeで動作するかどうか、またはどのように動作するかについて質問がある場合は、ベンダーに直接お問い合わせください。

Test your S3-compatible API¶

If you are a hardware or software developer who has created an S3-compatible API, you can use our public test suite (in GitHub) to test whether your S3 API works with Snowflake. The test suite looks for obvious mismatches between your implementation and what Snowflake expects from S3. However, there might be cases where the tests don't identify incompatibility.

お客様が独自のデバイスをテストする場合は、ベンダーに連絡してこれらのテストを実行してください。また、これらの公開テストをお使いのデバイスで実行し、互換性を評価することもできます。