Contrôler l’activité de chargement des données à l’aide de l’historique des copies

Vous pouvez surveiller l’activité de chargement des données pour toutes les tables de votre compte ou pour une table spécifique, en utilisant Snowsight ou SQL.

Contrôlez le chargement des données pour votre compte à l’aide de l’historique des copies.

Examinez l’activité de chargement de données qui s’est produite au cours des 365 derniers jours pour toutes les tables de votre compte en utilisant la page Copy History dans Snowsight ou la page Vue COPY_HISTORY dans le schéma ACCOUNT_USAGE de la base de données SNOWFLAKE.

L’activité de chargement de données au niveau du compte a un temps de latence pouvant aller jusqu’à 2 heures et comprend le chargement de données en masse effectué à l’aide d’instructions COPY INTO, le chargement de données en continu à l’aide de canaux et les fichiers chargés par l’intermédiaire de l’interface Web.

Conditions préalables

  • Vous devez utiliser un rôle ayant accès à la base de données SNOWFLAKE. Voir Activation de l’utilisation de la base de données SNOWFLAKE pour d’autres rôles.

  • L’affichage de la page Copy History dans Snowsight ou l’interrogation de la base de données SNOWFLAKE nécessite un entrepôt. Si vous avez un entrepôt par défaut pour votre profil d’utilisateur, Snowsight utilise cet entrepôt. Vous pouvez changer d’entrepôt à tout moment.

Affichage de l’historique des copies au niveau du compte

Note

Vous devez utiliser un rôle ayant accès à la base de données SNOWFLAKE. Voir Activation de l’utilisation de la base de données SNOWFLAKE pour d’autres rôles.

  1. Connectez-vous à Snowsight.

  2. Sélectionnez Monitoring » Copy History.

Le graphique Copies Over Time permet de voir le chargement des données sur une période de temps donnée. Par défaut, le graphique présente un historique de 7 jours, chaque barre du graphique représentant un jour.

Sélectionnez une barre sur le graphique pour filtrer le tableau Copies sur ce jour.

Pour plus de détails sur l’activité de chargement des données, vous pouvez consulter le tableau Copies. Le tableau comprend les informations suivantes :

  • File Name affiche le nom du fichier chargé.

  • Loaded affiche l’horodatage dans votre fuseau horaire local du moment où les données ont été chargées.

  • Status affiche le statut du chargement des données. Vous pouvez survoler les chargements de données dont le statut est Failed pour consulter les détails de l’erreur.

  • Database affiche la base de données dans laquelle les données ont été chargées.

  • Schema affiche le schéma dans lequel les données ont été chargées.

  • Table affiche la table dans laquelle les données ont été chargées.

  • Pipe affiche le canal utilisé pour charger les données, le cas échéant.

  • Size affiche la taille des données chargées, arrondie à la décimale la plus proche en KB, MB, GB ou TB. Par exemple, si vous chargez 45 800 octets, la taille est indiquée comme 45,8KB.

  • Rows affiche le nombre de lignes chargées, arrondi à la décimale la plus proche en milliers, millions, etc. Par exemple, si vous chargez 2 000 lignes de données, les lignes sont répertoriées sous la forme « 2K ».

  • Location affiche un lien vers l’emplacement à partir duquel les données ont été chargées. Par exemple, un lien vers un compartiment AWS S3 ajouté en tant que zone de préparation externe ou en tant que zone de préparation interne nommée. Survolez le lien pour voir le nom de la zone de préparation, ou sélectionnez le lien pour copier le chemin d’accès à la zone de préparation.

Pour identifier plus facilement des activités spécifiques de chargement de données, vous pouvez rechercher et filtrer la page Historique des copies.

Vous pouvez appliquer un filtre comme suit :

  • Période, jusqu’à 365 jours (1 année)

  • Statut de l’activité de chargement des données, tel que All (par défaut), In progress, Loaded, Failed, Partially loaded, et Skipped.

  • L’emplacement des données :

    • Base de données

    • Schéma

    • Canal

Vous pouvez également rechercher les valeurs des colonnes dans la table Copies pour des activités de chargement de données spécifiques.

Sélectionnez Ouverture de la requête SQL sous-jacente dans la feuille de calcul (Open underlying SQL query in worksheet) pour ouvrir une feuille de calcul qui contient la requête SQL utilisée pour alimenter la table. La requête SQL est basée sur les filtres que vous sélectionnez.

Lorsque vous sélectionnez une activité de chargement de données spécifique dans la table Copies, Snowsight ouvre l” Copy History au niveau de la table. Voir Surveiller le chargement des données d’une table à l’aide de l’historique des copies. Il est possible que des résultats plus récents apparaissent dans cette table en raison de la réduction de la latence, mais vous ne pouvez examiner que 14 jours d’activité.

Surveiller le chargement des données d’une table à l’aide de l’historique des copies

Examinez l’activité de chargement de données qui a eu lieu au cours des 14 derniers jours pour une table spécifique dans une base de données en utilisant les détails de l” Copy History de la table dans Snowsight ou la fonction de table COPY_HISTORY.

L’activité de chargement des données au niveau de la table présente un temps de latence très faible et comprend le chargement de données en masse effectué à l’aide d’instructions COPY INTO, le chargement de données en continu à l’aide de canaux et les fichiers chargés par l’intermédiaire de l’interface Web.

Conditions préalables

Vous devez utiliser un rôle qui possède l’une des caractéristiques suivantes :

  • Le privilège MONITOR sur votre compte Snowflake.

  • Le privilège USAGE sur la base de données et le schéma qui contiennent la table, et tout privilège sur la table.

Si vous utilisez un rôle qui n’a pas le privilège MONITOR sur le canal, les détails du canal sont masqués par NULL.

L’affichage des détails Copy History d’une base de données dans Snowsight ou l’exécution de la fonction de table nécessite un entrepôt. Si vous avez un entrepôt par défaut pour votre profil d’utilisateur, Snowsight utilise cet entrepôt. Vous pouvez changer d’entrepôt à tout moment.

Consulter l’historique des copies au niveau de la table

Pour consulter l’historique des copies d’une table, localisez et ouvrez la table pour laquelle vous souhaitez consulter l’activité :

  1. Connectez-vous à Snowsight.

  2. Sélectionnez Data » Databases.

  3. Localisez et sélectionnez la base de données contenant la table pour laquelle vous souhaitez examiner l’activité.

  4. Sélectionnez le schéma contenant la table pour laquelle vous souhaitez examiner l’activité.

  5. Sélectionnez Tables et sélectionnez la table.

  6. Dans les détails de la table, sélectionnez l’onglet Copy History.

Le graphique Copies Over Time permet de voir le chargement des données sur une période de temps donnée. Par défaut, le graphique présente un historique de 7 jours, chaque barre du graphique représentant un jour.

Sélectionnez une barre sur le graphique pour filtrer le tableau Copies sur ce jour.

Vous pouvez appliquer un filtre comme suit :

  • Période, jusqu’à 14 jours.

  • Statut de l’activité de chargement des données, tel que All (par défaut), In progress, Loaded, Failed, Partially loaded, et Skipped.

  • Le canal utilisé pour charger les données.

Vous pouvez également rechercher les valeurs des colonnes dans la table Copies pour des activités de chargement de données spécifiques.

Sélectionnez Ouverture de la requête SQL sous-jacente dans la feuille de calcul (Open underlying SQL query in worksheet) pour ouvrir une feuille de calcul qui contient la requête SQL utilisée pour alimenter la table. La requête SQL est basée sur les filtres que vous sélectionnez.