Tutoriel : Prise en main du SDK de l’architecture haute performance de Snowpipe Streaming¶

Générer une paire de clés pour l’authentification¶

Générez une paire de clés privée-publique pour l’authentification à l’aide de OpenSSL. Pour plus d’informations, voir Authentification par paire de clés et rotation de paires de clés.

Exécutez les commandes suivantes dans votre terminal pour générer les clés :

openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub

PUBK=$(cat ./rsa_key.pub | grep -v KEY- | tr -d '\012')
echo "ALTER USER MY_USER SET RSA_PUBLIC_KEY='$PUBK';"

Créer une base de données, un schéma, une table, un canal et configurer l’authentification des utilisateurs¶

Exécutez les commandes SQL suivantes dans votre compte Snowflake (par exemple, en utilisant Snowsight ou SnowSQL) pour créer les objets nécessaires et configurer l’authentification pour votre utilisateur. Remplacez les espaces réservés tels que MY_USER, MY_DATABASE, etc. par les noms de votre choix.

-- Create Database and Schema

CREATE OR REPLACE DATABASE MY_DATABASE;
CREATE OR REPLACE SCHEMA MY_SCHEMA;

-- Create Target Table

CREATE OR REPLACE TABLE MY_TABLE (
    data VARIANT,
    c1 NUMBER,
    c2 STRING
);

-- Create PIPE Object for Streaming Ingestion

CREATE OR REPLACE PIPE MY_PIPE
AS COPY INTO MY_TABLE FROM (SELECT $1, $1:c1, $1:ts FROM TABLE(DATA_SOURCE(TYPE => 'STREAMING')));

-- Configure Authentication Policy (optional, but recommended for explicit control)

CREATE OR REPLACE AUTHENTICATION POLICY testing_auth_policy
  AUTHENTICATION_METHODS = ('SAML', 'PASSWORD', 'OAUTH', 'KEYPAIR')
  CLIENT_TYPES = ('SNOWFLAKE_UI', 'SNOWSQL', 'DRIVERS');

-- Create or Modify User for SDK Authentication

CREATE OR REPLACE USER MY_USER; -- Or ALTER USER MY_USER if it already exists

-- Grant necessary roles to the user

GRANT ROLE ACCOUNTADMIN TO USER MY_USER; -- Grant a role with sufficient privileges

-- Apply authentication policy (if created)

ALTER USER MY_USER SET AUTHENTICATION POLICY testing_auth_policy;

-- Set default role (optional)

ALTER USER MY_USER SET DEFAULT_ROLE=ACCOUNTADMIN;

-- Set the public key for key-pair authentication

ALTER USER MY_USER SET RSA_PUBLIC_KEY='YOUR_FORMATTED_PUBLIC_KEY';

Créer un fichier de configuration de profil¶

Créez ou mettez à jour le fichier profile.json dans le répertoire racine du projet de démonstration Java fourni.

Pour formater votre clé privée (rsa_key.p8) afin de l’inclure dans le fichier profile.json, exécutez la commande suivante dans votre terminal :

sed 's/$/\\n/' rsa_key.p8 | tr -d '\n'

Cette commande sort votre clé privée avec échappement des caractères de nouvelle ligne, ce qui permet de l’insérer dans une chaîne JSON.

profile.json template¶

{
    "user": "MY_USER",
    "account": "your_account_identifier",
    "url": "https://your_account_identifier.snowflakecomputing.com:443",
    "private_key": "YOUR_FORMATTED_PRIVATE_KEY"
}

Remplacez les espaces réservés :

• MY_USER : Votre nom d’utilisateur Snowflake configuré à l’étape précédente.

• your_account_identifier : L’identificateur de votre compte Snowflake (par exemple, xy12345).

• YOUR_FORMATTED_PRIVATE_KEY : La sortie de la commande sed exécutée ci-dessus. Exemple de format : -----BEGIN PRIVATE KEY-----\n-----END PRIVATE KEY-----.

Ajoutez la dépendance JAR¶

Pour inclure le SDK de Snowpipe Streaming, ajoutez la dépendance suivante à votre pom.xml Maven. Maven téléchargera automatiquement le JAR à partir du référentiel public.

<dependency>
    <groupId>com.snowflake</groupId>
    <artifactId>snowpipe-streaming</artifactId>
    <version>YOUR_SDK_VERSION</version>
</dependency>
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.18.1</version>
</dependency>

Placez le fichier de profil¶

Assurez-vous que le fichier profile.json (configuré à l’étape 2) est situé dans le répertoire racine de votre projet.

Créer et exécuter¶

• Naviguez jusqu’au répertoire racine du projet dans votre terminal.

• Créez le projet :

  mvn clean install
  

  Copy

• Exécutez la classe principale :

  mvn exec:java -Dexec.mainClass="com.snowflake.snowpipestreaming.demo.Main"
  

  Copy