Tutoriel : Premiers pas avec l’architecture hautes performances du SDK Snowpipe Streaming¶

Conditions préalables¶

Avant d’exécuter la démo, assurez-vous de remplir les conditions préalables suivantes :

• Compte Snowflake : Vérifiez que vous avez accès à un compte Snowflake. Vous aurez besoin d’un utilisateur avec des privilèges suffisants (par ex., ACCOUNTADMIN ou USERADMIN pour la configuration initiale) pour créer l’utilisateur dédié et le rôle personnalisé détaillé dans Étape 1 : Configurer les objets Snowflake.

• Accès au réseau : Assurez-vous que votre réseau autorise la connectivité sortante vers Snowflake et Amazon S3 ou Google Cloud Platform (GCS) ou Azure Blob Storage. Ajustez les règles du pare-feu si nécessaire, car le SDK effectue des appels API REST vers Snowflake et vers votre fournisseur de stockage dans le Cloud.

  • Pour vérifier la connectivité réseau, utilisez la commande suivante :

  CopyExpand

  # Test connectivity to Snowflake; replace with your account URL
  curl -I https://<your_account_identifier>.snowflakecomputing.com
  
  # Test connectivity to AWS S3
  curl -I https://s3.amazonaws.com
  
  # Test connectivity to GCS
  curl -I https://storage.googleapis.com
  
  # Test connectivity to Azure Blob Storage
  curl -I https://azure.blob.core.windows.net  or curl -I https://<your_account_name>.blob.core.windows.net
  

  Show lessSee more

  Scroll to top

• Environnement de développement Java : Installez Java 11 ou une version ultérieure, ainsi que Maven pour la gestion des dépendances.

• Python : Installez la version 3.9 de Python ou une version ultérieure.

• Configuration système requise : Le SDK requiert la version glibc 2.26 ou ultérieure. Vous pouvez vérifier votre version actuelle de glibc avec :

  CopyExpand

  ldd --version
  

  Show lessSee more

  Scroll to top

• SDKs Snowpipe Streaming et exemple de code :

  • Pour AWS : Obtenir le SDK Java ou SDK Python (n’importe quelle version).

  • Pour Azure : nécessite SDK version 1.1.0 ou ultérieure.

  • Pour GCP: nécessite SDK version 1.1.0 ou ultérieure.

  Téléchargez l’échantillon de code pour votre langage privilégié depuis les exemples Snowpipe Streaming SDK dans le référentiel GitHub.

Prise en main¶

Cette section présente les exigences requises pour la configuration et l’exécution de l’application de démonstration.

openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub

PUBK=$(cat ./rsa_key.pub | grep -v KEY- | tr -d '\012')
echo "ALTER USER MY_USER SET RSA_PUBLIC_KEY='$PUBK';"

-- 1. Create a dedicated role and user (Run with a highly-privileged role)
CREATE OR REPLACE USER MY_USER;
CREATE ROLE IF NOT EXISTS MY_ROLE;
GRANT ROLE MY_ROLE TO USER MY_USER;

-- 2. Set the public key for key-pair authentication
-- NOTE: Replace 'YOUR_FORMATTED_PUBLIC_KEY' with the output of the PUBK variable from the key generation step.
ALTER USER MY_USER SET RSA_PUBLIC_KEY='YOUR_FORMATTED_PUBLIC_KEY';

-- 3. Set the default role (Recommended)
ALTER USER MY_USER SET DEFAULT_ROLE=MY_ROLE;

-- 4. Switch to the new role and create objects
USE ROLE MY_ROLE;
-- NOTE: You may also need to run USE WAREHOUSE YOUR_WH; here if a default warehouse isn't set.

-- Create database and schema
CREATE OR REPLACE DATABASE MY_DATABASE;
CREATE OR REPLACE SCHEMA MY_SCHEMA;

-- Create a target table
CREATE OR REPLACE TABLE MY_TABLE (
    data VARIANT,
    c1 NUMBER,
    c2 STRING
);

-- 5. Configure authentication policy (Optional, but recommended for explicit control)
CREATE OR REPLACE AUTHENTICATION POLICY testing_auth_policy
  AUTHENTICATION_METHODS = ('KEYPAIR')
  CLIENT_TYPES = ('DRIVERS');

-- Apply authentication policy (if created)
ALTER USER MY_USER SET AUTHENTICATION POLICY testing_auth_policy;

{
    "user": "MY_USER",
    "account": "your_account_identifier",
    "url": "https://your_account_identifier.snowflakecomputing.com:443",
    "private_key_file": "rsa_key.p8",
    "role": "MY_ROLE"
}

<dependency>
    <groupId>com.snowflake</groupId>
    <artifactId>snowpipe-streaming</artifactId>
    <version>YOUR_SDK_VERSION</version>
</dependency>
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.18.1</version>
</dependency>

pip install snowpipe-streaming

python example.py

SELECT COUNT(*) FROM MY_DATABASE.MY_SCHEMA.MY_TABLE;
SELECT * FROM MY_DATABASE.MY_SCHEMA.MY_TABLE LIMIT 10;

SELECT
    data,
    TYPEOF(data) as data_type
FROM MY_DATABASE.MY_SCHEMA.MY_TABLE
LIMIT 10;