Préparer une version intermédiaire du modèle Document AI¶
Cette rubrique décrit la préparation d’une version intermédiaire du modèle Document AI.
Vous créez et gérez les versions intermédiaires de modèles Document AI dans Snowsight. Le modèle Document AI représente un seul type de document ; par exemple, une version intermédiaire du modèle pour l’extraction d’informations à partir de factures. La version intermédiaire du modèle Document AI comprend le modèle, les valeurs de données à extraire et les documents chargés pour tester et entraîner le modèle.
La version intermédiaire du modèle Document AI est une instance de la classe DOCUMENT_INTELLIGENCE. Par exemple, Snowflake fournit la DOCUMENT_INTELLIGENCE dans le schéma SNOWFLAKE.ML. Pour plus d’informations sur les classes, voir Classes Snowflake.
Dans Snowsight, la vue de version intermédiaire du modèle Document AI est divisée en plusieurs onglets :
Build Details: visualisez les informations relatives à la version intermédiaire du modèle, telles que le nombre de documents, le nombre de valeurs de données à extraire, la précision du modèle et la requête d’extraction.
Documents: vérifiez la liste des documents chargés pour tester et entraîner le modèle.
Values: affichez la liste des valeurs de données à extraire.
Pour plus d’informations sur les rôles et privilèges pour Document AI, voir Configuration de Document AI.
Créer une version intermédiaire du modèle Document AI¶
Connectez-vous à Snowsight en utilisant un rôle de compte dont le rôle est SNOWFLAKE.DOCUMENT_INTELLIGENCE_CREATOR.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
La liste des versions intermédiaires de modèles existants s’affiche.
Sélectionnez + Build.
Dans la boîte de dialogue qui s’affiche, saisissez un nom pour votre version intermédiaire du modèle, sélectionnez son emplacement (base de données et schéma), puis sélectionnez Create.
La version intermédiaire du modèle est créée.
Note
Document AI ne prend pas en charge les guillemets doubles autour des identificateurs de la base de données et du schéma.
Document AI ne prend pas en charge la modification d’une base de données ou d’un schéma dans lequel se trouve la version intermédiaire du modèle.
Supprimer une version intermédiaire du modèle Document AI¶
Attention
Lorsque vous supprimez la version intermédiaire du modèle Document AI, vous supprimez le modèle et tous les documents chargés utilisés pour entraîner le modèle. Avant de supprimer une version intermédiaire du modèle, assurez-vous qu’elle ne fait pas partie d’un pipeline de traitement de documents. Si vous supprimez une version intermédiaire du modèle utilisée dans un pipeline de traitement de documents, le pipeline échouera.
Snowflake ne conserve aucune donnée relative aux versions intermédiaires de modèles. Les versions intermédiaires de modèles et les données d’entraînement supprimées ne peuvent donc pas être récupérées, elles doivent être recréées.
Pour supprimer une version intermédiaire du modèle Document AI , y compris les documents chargés dans la version :
Connectez-vous à Snowsight.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
Sélectionnez le menu … (plus) à côté du nom de la version intermédiaire du modèle, puis sélectionnez Delete.
Pour confirmer la suppression, dans la boîte de dialogue Delete Build, sélectionnez Delete.
Charger des documents vers une version intermédiaire du modèle Document AI¶
Pour tester et entraîner le modèle Document AI, ajoutez manuellement les documents à votre version intermédiaire du modèle dans Snowsight.
Note
Avant de charger des documents dans la version intermédiaire du modèle, assurez-vous qu’ils répondent aux exigences énumérées dans Préparez vos documents pour Document AI.
Pour charger des documents vers une version intermédiaire du modèle Document AI existante :
Connectez-vous à Snowsight.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
Dans la liste des constructions de modèles, sélectionnez le nom de la version à laquelle ajouter des documents.
Sélectionnez l’onglet Build Details.
Sélectionnez Upload documents.
Sélectionnez Browse, ou faites glisser les documents vers une boîte de dialogue.
Sélectionnez Upload.
Après avoir téléchargé le document, vous pouvez voir son statut dans l’onglet Documents.
Le document peut avoir l’un des statuts suivants :
Traitement : Le document est en cours de traitement par OCR.
A revoir : Le processus OCR a réussi et vous pouvez maintenant consulter le document.
En cours : La révision est en cours, ce qui signifie que vous avez au moins une valeur définie pour ce document.
Accepté : vous avez examiné le document et accepté toutes les valeurs.
Erreur : Une erreur s’est produite pendant OCR.
Supprimer des documents d’une version intermédiaire du modèle Document AI¶
Attention
Vous ne pouvez pas supprimer les documents qui ont été utilisés pour l’entraînement.
Lorsque vous supprimez un document, vous supprimez également les valeurs de données révisées dans ce document.
Pour supprimer des documents d’une version intermédiaire du modèle Document AI :
Connectez-vous à Snowsight.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
Dans la liste des versions intermédiaires du modèle, sélectionnez le nom de la version intermédiaire du modèle.
Sélectionnez l’onglet Documents.
Sélectionnez le menu … (plus) à côté du nom du document, puis sélectionnez Delete.
Pour confirmer la suppression, dans la boîte de dialogue Delete Document, sélectionnez Delete.
Définir des valeurs pour la version intermédiaire du modèle Document AI¶
Les valeurs des données sont les informations que vous souhaitez extraire des documents. Une valeur se compose d’un nom de valeur et d’une question posée en langage naturel. Pour plus d’informations sur l’optimisation des questions pour le modèle, voir Optimisation des questions pour l’extraction d’informations avec Document AI.
Pour définir les valeurs de la version intermédiaire du modèle Document AI :
Connectez-vous à Snowsight.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
Dans la liste des versions intermédiaires de modèles, sélectionnez le nom de la version intermédiaire du modèle pour laquelle vous souhaitez définir des valeurs.
Sélectionnez l’onglet Build Details.
Sélectionnez Define values.
Dans la vue Documents review, sélectionnez + Value.
Pour chaque valeur, saisissez un nom de valeur et une question.
À l’issue de cette procédure, le modèle fournit une réponse à la question et un score de confiance. Le score de confiance décrit le degré de confiance du modèle dans l’exactitude de la réponse. Par exemple, un score de confiance de 0.9
signifie qu’il y a 90 % de certitude que la réponse est correcte.
Examiner les réponses et évaluer les résultats¶
Avant d’utiliser le modèle Document AI pour extraire des informations ou de décider d’entraîner le modèle par une mise au point, vous devez examiner les réponses fournies par le modèle.
Lorsque vous vérifiez les réponses, vous pouvez rencontrer les scénarios suivants :
Réponse renvoyée |
Action de l’utilisateur |
---|---|
Correct |
Cochez la case. Ne confirmez que les réponses entièrement correctes. |
Incorrect |
Saisissez manuellement la valeur correcte. Pour revoir la valeur fournie par le modèle après avoir modifié manuellement la valeur, sélectionnez la flèche vers le bas. |
Liste des réponses |
Pour supprimer des réponses de la liste ou en ajouter d’autres, sélectionnez le menu … (plus). |
Aucun |
Si le document contient la réponse, saisissez la valeur manuellement. Si le document ne contient pas la réponse, confirmez la réponse vide en cochant la case. |
Évaluer un modèle Document AI¶
Pour évaluer un modèle Document AI (soit le modèle de base, soit le modèle mis au point), analysez sa précision. La précision décrit la fréquence à laquelle le modèle fournit une réponse correcte. Une plus grande précision indique que le modèle est plus performant en matière d’extraction. Pour vous rendre compte de la précision des réponses, examinez les réponses à toutes les questions.
Pour afficher la précision :
Connectez-vous à Snowsight.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
Dans la liste des versions intermédiaires de modèles, sélectionnez le nom de la version à évaluer.
Sélectionnez l’onglet Build Details, qui affiche Model accuracy.
Si le modèle Document AI répond de manière fiable à vos questions et que la précision est satisfaisante, publiez la version intermédiaire du modèle. Voir Publier une version intermédiaire du modèle Document AI.
Pour améliorer les résultats du modèle Document AI, entraînez-le. Voir Entraînez un modèle Document AI.
Astuce
Pour évaluer le modèle Document AI après l’entraînement, examinez les nouveaux documents chargés.
Publier une version intermédiaire du modèle Document AI¶
Connectez-vous à Snowsight.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
Dans la liste des versions intermédiaires de modèles, sélectionnez le nom de la version à publier.
Sélectionnez l’onglet Build Details.
Sous Model accuracy, sélectionnez Publish version.
Dans la boîte de dialogue qui apparaît, sélectionnez Publish pour confirmer.
Après avoir publié la version intermédiaire du modèle, vous pouvez voir une requête d’extraction.
Si vous avez ajouté de nouvelles valeurs de données (posé de nouvelles questions) après avoir entraîné le modèle ou publié la version intermédiaire du modèle, vous devez publier à nouveau la version intermédiaire du modèle.
Entraînez un modèle Document AI¶
Si les résultats ne sont pas satisfaisants, vous pouvez entraîner le modèle Document AI pour améliorer les résultats.
Snowflake recommande d’examiner les résultats pour au moins 20 documents avant l’entraînement.
Astuce
Pour évaluer la qualité du modèle, divisez vos documents en deux ensembles. Examinez un ensemble de documents et utilisez les documents non examinés pour évaluer le modèle après l’entraînement.
Pour commencer l’entraînement du modèle :
Connectez-vous à Snowsight.
Dans le menu de navigation, sélectionnez AI & ML » Document AI.
Sélectionnez un entrepôt.
Dans la liste des versions intermédiaires de modèles, sélectionnez le nom de la version intermédiaire du modèle à entraîner.
Sélectionnez l’onglet Build Details.
Sous Model accuracy, sélectionnez Train model.
Dans la boîte de dialogue qui apparaît, sélectionnez Start training pour confirmer.
Lorsque l’entraînement est terminé, une notification apparaît.
Vous pouvez maintenant réévaluer votre modèle Document AI. Pour connaître la précision du modèle mis au point après l’entraînement, examinez la deuxième série de documents. Notez que vous pouvez mettre au point votre modèle plusieurs fois pour obtenir des résultats satisfaisants.
Vous n’avez pas besoin de publier la version intermédiaire du modèle si vous avez entraîné le modèle et n’avez pas ajouté de nouvelles valeurs de données (posé de nouvelles questions) après l’entraînement.
Note
Vous pouvez commencer plusieurs entraînements pour plusieurs modèles en même temps. Notez que les entraînements sont en file d’attente et que vous ne pouvez pas lancer plus de trois entraînements en même temps.
Estimation du temps d’entraînement¶
Le temps d’entraînement d’un modèle Document AI dépend à la fois du nombre de valeurs à extraire et du nombre de pages d’un document.
Le tableau suivant annonce le temps d’entraînement estimé pour un lot de 20 documents (le nombre minimum requis pour l’entraînement) et 10 valeurs, en fonction du nombre de pages de chaque document.
Nombre de pages dans chaque document |
Temps d’entraînement estimé pour 20 documents (heures) |
---|---|
1 |
0,5 |
10 |
1,5 |
25 |
4 |
50 |
8 |
75 |
12,5 |
100 |
16,5 |
125 |
20,5 |
Note
Le tableau annonce la durée estimée de l’entraînement. Notez que le temps réel nécessaire à l’entraînement peut varier. En règle générale, le fait de doubler le nombre de valeurs ou le nombre de documents double le temps d’entraînement.
La durée maximale d’entraînement est de 48 heures. Si la quantité de vos données dépasse cette limite, la possibilité d’entraînement sera bloquée.