자습서: Snowpipe Streaming 고성능 아키텍처 SDK 시작하기¶

전제 조건¶

데모를 실행하기 전에 다음 전제 조건을 충족하는지 확인하십시오.

• Snowflake 계정: Snowflake 계정에 대한 액세스 권한이 있는지 확인합니다. :ref:`label-snowpipe_streaming_high_performance_demo_project_step_1`에 설명된 전용 사용자 및 사용자 지정 역할을 생성하려면 충분한 권한(예: 초기 설정의 경우 ACCOUNTADMIN 또는 USERADMIN)이 있는 사용자가 필요합니다.

• 네트워크 액세스: 네트워크에서 Snowflake 및 Amazon S3, Google Cloud Platform(GCS), Azure Blob 저장소에 대한 아웃바운드 연결을 허용하는지 확인합니다. SDK가 Snowflake와 해당 클라우드 저장소 공급자에 대한 REST API 호출을 수행하므로 필요한 경우 방화벽 규칙을 조정합니다.

  • 네트워크 연결을 확인하려면 다음 명령을 사용합니다.

  # Test connectivity to Snowflake; replace with your account URL
  curl -I https://<your_account_identifier>.snowflakecomputing.com
  
  # Test connectivity to AWS S3
  curl -I https://s3.amazonaws.com
  
  # Test connectivity to GCS
  curl -I https://storage.googleapis.com
  
  # Test connectivity to Azure Blob Storage
  curl -I https://azure.blob.core.windows.net  or curl -I https://<your_account_name>.blob.core.windows.net
  

  Copy

• Java 개발 환경: 종속성 관리를 위해 Java 11 이후 버전 및 Maven을 설치합니다.

• Python: Python 버전 3.9 이상을 설치합니다.

• 시스템 요구 사항: SDK에는 glibc 버전 2.26 이상이 필요합니다. 현재 glibc 버전은 다음을 사용하여 확인할 수 있습니다.

  ldd --version
  

  Copy

• Snowpipe Streaming SDKs 및 샘플 코드:

  • **AWS**의 경우: `Java SDK<https://central.sonatype.com/artifact/com.snowflake/snowpipe-streaming>`_ 또는 `Python UDFSDK<https://pypi.org/project/snowpipe-streaming/>`_(모든 버전)를 다운로드합니다.

  • **Azure**의 경우: SDK 버전 1.1.0 이상이 필요합니다.

  • **GCP**의 경우: SDK 1.1.0 이상이 필요합니다.

  GitHub 리포지토리<https://github.com/snowflakedb/snowpipe-streaming-sdk-examples>`_의 `Snowpipe Streaming SDK 예제에서 원하는 언어의 샘플 코드를 다운로드합니다.

시작하기¶

이 섹션에서는 데모 애플리케이션을 설정하고 실행하는 데 필요한 단계를 간략하게 설명합니다.

openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub

PUBK=$(cat ./rsa_key.pub | grep -v KEY- | tr -d '\012')
echo "ALTER USER MY_USER SET RSA_PUBLIC_KEY='$PUBK';"

-- 1. Create a dedicated role and user (Run with a highly-privileged role)
CREATE OR REPLACE USER MY_USER;
CREATE ROLE IF NOT EXISTS MY_ROLE;
GRANT ROLE MY_ROLE TO USER MY_USER;

-- 2. Set the public key for key-pair authentication
-- NOTE: Replace 'YOUR_FORMATTED_PUBLIC_KEY' with the output of the PUBK variable from the key generation step.
ALTER USER MY_USER SET RSA_PUBLIC_KEY='YOUR_FORMATTED_PUBLIC_KEY';

-- 3. Set the default role (Recommended)
ALTER USER MY_USER SET DEFAULT_ROLE=MY_ROLE;

-- 4. Switch to the new role and create objects
USE ROLE MY_ROLE;
-- NOTE: You may also need to run USE WAREHOUSE YOUR_WH; here if a default warehouse isn't set.

-- Create database and schema
CREATE OR REPLACE DATABASE MY_DATABASE;
CREATE OR REPLACE SCHEMA MY_SCHEMA;

-- Create a target table
CREATE OR REPLACE TABLE MY_TABLE (
    data VARIANT,
    c1 NUMBER,
    c2 STRING
);

-- 5. Configure authentication policy (Optional, but recommended for explicit control)
CREATE OR REPLACE AUTHENTICATION POLICY testing_auth_policy
  AUTHENTICATION_METHODS = ('KEYPAIR')
  CLIENT_TYPES = ('DRIVERS');

-- Apply authentication policy (if created)
ALTER USER MY_USER SET AUTHENTICATION POLICY testing_auth_policy;

{
    "user": "MY_USER",
    "account": "your_account_identifier",
    "url": "https://your_account_identifier.snowflakecomputing.com:443",
    "private_key_file": "rsa_key.p8",
    "role": "MY_ROLE"
}

<dependency>
    <groupId>com.snowflake</groupId>
    <artifactId>snowpipe-streaming</artifactId>
    <version>YOUR_SDK_VERSION</version>
</dependency>
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.18.1</version>
</dependency>

pip install snowpipe-streaming

python example.py

SELECT COUNT(*) FROM MY_DATABASE.MY_SCHEMA.MY_TABLE;
SELECT * FROM MY_DATABASE.MY_SCHEMA.MY_TABLE LIMIT 10;