고성능 아키텍처를 갖춘 Snowpipe Streaming 구성¶

이 가이드에서는 Java 및 Python SDKs에서 사용할 수 있는 고성능 Snowpipe Streaming 클라이언트의 구성 설정에 대해 설명합니다. 구성에는 다음과 같은 두 가지 고유한 종류가 있습니다.

• 프로세스 전반의 환경 변수: 실행 중인 전체 애플리케이션에 대한 로깅 및 메트릭을 제어하는 변수는 클라이언트가 초기화되기 전에 설정해야 합니다.

• 클라이언트 측 속성: 보안 연결 및 수집 대상(예: url, user 및 private_key)을 정의하는 속성은 일반적으로 인라인 맵 또는 profile.json 파일을 통해 특정 클라이언트 오브젝트에 대해 구성됩니다.

단일 애플리케이션은 여러 클라이언트 오브젝트를 실행할 수 있습니다. 각 오브젝트에는 고유한 클라이언트 측 속성이 있지만, 모두 로깅 및 메트릭에 대해 동일한 프로세스 전반의 환경 변수 설정을 공유합니다.

고성능 아키텍처에서는 클라이언트가 스키마, 변환 및 대상 테이블로의 수집을 관리하는 특정 PIPE 오브젝트에 명시적으로 바인딩되어야 합니다.

// profile.json
{
  "authorization_type": "JWT",
  "url": "https://<account_identifier>.snowflakecomputing.com",
  "user": "MY_SNOWFLAKE_USER",
  "account": "XY12345",
  "private_key_file": "/path/to/rsa_key.p8",
  "role": "MY_INGEST_ROLE"
}

config = {
    "authorization_type": "JWT",
    "url": "https://<account_identifier>.snowflakecomputing.com",
    "user": "MY_SNOWFLAKE_USER",
    "account": "XY12345",
    "private_key": "-----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY-----",
}
# ... code to initialize client with 'config'

Map<String, Object> config = new HashMap<>();
config.put("authorization_type", "JWT");
config.put("url", "https://<account_identifier>.snowflakecomputing.com");
config.put("user", "MY_SNOWFLAKE_USER");
config.put("account", "XY12345");
config.put("private_key_file", "/path/to/rsa_key.p8");
config.put("role", "MY_INGEST_ROLE");
// ... code to initialize client with 'config'

# Set the log level for the entire application process to 'warn'
export SS_LOG_LEVEL=warn

# Change the IP for metrics to a specific loopback address
export SS_METRICS_IP=127.0.0.5

# Now run your application

# Set the log level for the entire application process to 'warn'
set SS_LOG_LEVEL=warn

# Change the metrics port
set SS_METRICS_PORT=55000

# Now run your application