チュートリアル: Snowpipe Streaming高性能アーキテクチャ SDK の利用を開始する¶

前提条件¶

デモを実行する前に、以下の前提条件を満たしていることを確認してください。

• Snowflakeアカウント:Snowflakeアカウントにアクセスできることを確認します。ステップ1：Snowflakeオブジェクトの構成 に詳述されている専用ユーザーとカスタムロールを作成するには、十分な権限（例えば、初期セットアップには ACCOUNTADMIN または USERADMIN）を持つユーザーが必要です。

• ネットワークアクセス:ネットワークが、Snowflake、Amazon S3、またはGoogle Cloud Platform（GCS）あるいはAzure Blob Storageへのアウトバウンド接続を許可していることを確認してください。SDK はSnowflakeおよびクラウドストレージプロバイダーに対して RESTAPI 呼び出しを行うため、必要に応じてファイアウォールルールを調整します。

  • ネットワーク接続を確認するには、次のコマンドを使用します。

  CopyExpand

  # Test connectivity to Snowflake; replace with your account URL
  curl -I https://<your_account_identifier>.snowflakecomputing.com
  
  # Test connectivity to AWS S3
  curl -I https://s3.amazonaws.com
  
  # Test connectivity to GCS
  curl -I https://storage.googleapis.com
  
  # Test connectivity to Azure Blob Storage
  curl -I https://azure.blob.core.windows.net  or curl -I https://<your_account_name>.blob.core.windows.net
  

  Show lessSee more

  Scroll to top

• Java開発環境Java 11以降と、依存関係管理のためのMavenをインストールします。

• Python:Pythonバージョン3.9以降をインストールします。

• システム要件:SDK はglibcバージョン2.26以降が必要です。次を使用して、現在のglibcバージョンを確認できます。

  CopyExpand

  ldd --version
  

  Show lessSee more

  Scroll to top

• Snowpipe Streaming SDKs およびサンプルコード:

  • AWS の場合:`Java SDK<https://central.sonatype.com/artifact/com.snowflake/snowpipe-streaming>`_ または `Python SDK<https://pypi.org/project/snowpipe-streaming/>`_（任意のバージョン）を取得します。

  • Azure の場合: SDK バージョン1.1.0以降が必要です。

  • GCP の場合: SDK バージョン1.1.0以降が必要です。

  `GitHub レポジトリ<https://github.com/snowflakedb/snowpipe-streaming-sdk-examples> のSnowpipe Streaming SDK の例`_ から、希望する言語のサンプルコードをダウンロードします。

始めましょう¶

このセクションでは、デモアプリケーションのセットアップと実行に必要な手順の概要を説明します。

openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub

PUBK=$(cat ./rsa_key.pub | grep -v KEY- | tr -d '\012')
echo "ALTER USER MY_USER SET RSA_PUBLIC_KEY='$PUBK';"

-- 1. Create a dedicated role and user (Run with a highly-privileged role)
CREATE OR REPLACE USER MY_USER;
CREATE ROLE IF NOT EXISTS MY_ROLE;
GRANT ROLE MY_ROLE TO USER MY_USER;

-- 2. Set the public key for key-pair authentication
-- NOTE: Replace 'YOUR_FORMATTED_PUBLIC_KEY' with the output of the PUBK variable from the key generation step.
ALTER USER MY_USER SET RSA_PUBLIC_KEY='YOUR_FORMATTED_PUBLIC_KEY';

-- 3. Set the default role (Recommended)
ALTER USER MY_USER SET DEFAULT_ROLE=MY_ROLE;

-- 4. Switch to the new role and create objects
USE ROLE MY_ROLE;
-- NOTE: You may also need to run USE WAREHOUSE YOUR_WH; here if a default warehouse isn't set.

-- Create database and schema
CREATE OR REPLACE DATABASE MY_DATABASE;
CREATE OR REPLACE SCHEMA MY_SCHEMA;

-- Create a target table
CREATE OR REPLACE TABLE MY_TABLE (
    data VARIANT,
    c1 NUMBER,
    c2 STRING
);

-- 5. Configure authentication policy (Optional, but recommended for explicit control)
CREATE OR REPLACE AUTHENTICATION POLICY testing_auth_policy
  AUTHENTICATION_METHODS = ('KEYPAIR')
  CLIENT_TYPES = ('DRIVERS');

-- Apply authentication policy (if created)
ALTER USER MY_USER SET AUTHENTICATION POLICY testing_auth_policy;

{
    "user": "MY_USER",
    "account": "your_account_identifier",
    "url": "https://your_account_identifier.snowflakecomputing.com:443",
    "private_key_file": "rsa_key.p8",
    "role": "MY_ROLE"
}

<dependency>
    <groupId>com.snowflake</groupId>
    <artifactId>snowpipe-streaming</artifactId>
    <version>YOUR_SDK_VERSION</version>
</dependency>
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.18.1</version>
</dependency>

pip install snowpipe-streaming

python example.py

SELECT COUNT(*) FROM MY_DATABASE.MY_SCHEMA.MY_TABLE;
SELECT * FROM MY_DATABASE.MY_SCHEMA.MY_TABLE LIMIT 10;

SELECT
    data,
    TYPEOF(data) as data_type
FROM MY_DATABASE.MY_SCHEMA.MY_TABLE
LIMIT 10;