Utilisation d’un stockage compatible avec Amazon S3¶

Prise en charge de la plate-forme Cloud¶

Cette fonctionnalité est disponible pour les comptes Snowflake hébergés sur n’importe quelle plate-forme de cloud prise en charge :

• Amazon Web Services

• Google Cloud

• Microsoft Azure

Exigences pour un stockage compatible avec S3¶

Un point de terminaison de l’API compatible avec S3 doit être :

• Hautement conforme à l’API S3. Si le point de terminaison ne se comporte pas comme S3, il ne peut pas fonctionner avec Snowflake.

• Prise en charge par le fournisseur de stockage tiers en tant que service testé et conforme à Snowflake S3.

• Accessible depuis le cloud public où est hébergé votre compte Snowflake.

• Hautement disponible et performant pour répondre aux besoins d’analyse.

• Configuré pour utiliser des identifiants de connexion directs.

• Configuré pour utiliser la communication HTTPS avec un certificat TLS valide.

Création de zones de préparation externes¶

Créez les zones de préparation externes nommées en utilisant CREATE STAGE. Un objet de zone de préparation nommé peut être utilisé pour lister des fichiers, charger des données et décharger des fichiers, entre autres actions SQL.

Vous pouvez ajouter une table de répertoire sur n’importe quelle zone de préparation externe que vous créez. Interrogez une table de répertoire pour récupérer des URLs de fichiers afin d’accéder aux fichiers du stockage référencé, ainsi qu’à d’autres métadonnées.

CREATE [ OR REPLACE ] STAGE <external_stage_name>
  URL = 's3compat://{bucket}[/{path}/]'
  ENDPOINT = '<s3_api_compatible_endpoint>'
  CREDENTIALS = ( AWS_KEY_ID = '<string>' AWS_SECRET_KEY = '<string>' )
  ..

CREATE STAGE my_s3compat_stage
  URL = 's3compat://my_bucket/files/'
  ENDPOINT = 'mystorage.com'
  CREDENTIALS = (AWS_KEY_ID = '1a2b3c...' AWS_SECRET_KEY = '4x5y6z...')

Chargement et déchargement des données¶

Chargez et déchargez les données à l’aide des zones de préparation externes que vous avez créées dans Création de zones de préparation externes (dans cette rubrique). Les fonctions suivantes fonctionnent avec vos zones de préparation externes :

• Chargement de données en lot à l’aide de la commande COPY INTO <table>.

  Par exemple, chargez des données dans la table t1 à partir de tous les fichiers situés dans le sous-chemin load du compartiment et du chemin définis dans la zone de préparation my_s3compat_stage que vous avez créée :

  COPY INTO t1
    FROM @my_s3compat_stage/load/;
  

  Copy

• Appeler des points de terminaison REST Snowpipe pour charger les données en continu.

  Pour des exemples de programmes, voir Option 1 : Chargement des données à l’aide de l’API REST de Snowpipe.

• Déchargement de données à l’aide de la commande COPY INTO <emplacement>.

  Par exemple, déchargez les données de la table t2 dans les fichiers du sous-chemin unload dans le compartiment et le chemin définis dans la zone de préparation my_s3compat_stage que vous avez créée :

  COPY INTO @my_s3compat_stage/unload/
    FROM t2;
  

  Copy

Extension de votre data lake en utilisant des tables externes¶

Les tables externes permettent d’interroger des données stockées dans un stockage Cloud externe à des fins d’analyse sans avoir à d’abord les charger dans Snowflake.

CREATE EXTERNAL TABLE et
 LOCATION=@my_s3compat_stage/path1/
 AUTO_REFRESH = FALSE
 REFRESH_ON_CREATE = TRUE
 FILE_FORMAT = (TYPE = PARQUET);

SELECT col1, col2 FROM et;

Prise en charge des fournisseurs pour le stockage compatible avec S3¶

Les appareils ou applications qui ont une API conforme à S3 peuvent être utilisés avec Snowflake. Il incombe au fournisseur de services de stockage de veiller à la conformité.

Les vendeurs suivants ont indiqué à Snowflake qu’ils ont testé au moins certains de leurs produits et qu’ils ont constaté qu’ils fonctionnent avec Snowflake :

• Cloudian

• Dell

• Plate-forme de contenu Hitachi

• MinIO

• NetApp (StorageGRID)

• PureStorage

• Possibilité d’évolution

Cette liste n’est fournie que pour des raisons de commodité. Snowflake ne teste pas les produits externes pour valider leur compatibilité et ne peut pas résoudre les problèmes des produits vendus par des vendeurs tiers. Si vous avez des questions sur le fonctionnement de votre matériel ou logiciel ayant une API S3 avec Snowflake, nous vous recommandons de contacter directement le vendeur.

Test de votre API compatible avec S3¶

Si vous êtes un développeur de matériel ou de logiciel qui a une API S3, vous pouvez utiliser notre suite de tests publique (dans GitHub) pour tester votre API S3. Cet ensemble de tests recherche les inadéquations évidentes entre votre implémentation et ce que Snowflake attend de S3. Notez qu’il peut y avoir des cas où les tests n’identifient pas l’incompatibilité.

Si vous êtes un client et que vous souhaitez tester vos propres appareils, nous vous recommandons de contacter votre fournisseur pour qu’il effectue ces tests ; toutefois, vous pouvez également exécuter ces tests publics sur vos appareils pour évaluer la compatibilité.