Snowpark Migration Accelerator : Validation

Pour poursuivre le processus de validation, suivez les étapes décrites ci-dessous :

  1. Copier le dossier snowpark-checkpoints-output, généré pendant le processus de collection, dans la charge de travail de validation.

    Copie de la sortie du processus de collection dans la charge de travail de validation

  2. Ouvrez la charge de travail de validation dans VS Code pour démarrer le processus de validation.

    Charge de travail de validation

  3. Générer des points de contrôle à l’aide du fichier checkpoints.json.

Pour générer des points de contrôle, vous pouvez effectuer l’une des actions suivantes :

  • Générez-les en acceptant le message de suggestion :

Message de chargement des points de contrôle trouvés

  • Exécution de la commande « Snowflake : Charger tous les points de contrôle »

Commande de chargement de tous les points de contrôle

Une fois que tous les points de contrôle sont chargés, vos fichiers devraient apparaître comme suit :

Fichier avec points de contrôle

  1. Exécutez le fichier Python pour exécuter le processus de validation des points de contrôle.

Lors de l’exécution d’un fichier python contenant des points de contrôle de validation, les résultats de validation seront affichés dans le dossier copié « snowpark-checkpoints-output » sous le nom « checkpoints_validation_results.json » :

Résultats

Le fichier « checkpoints_validation_results.json » contient les résultats unifiés du processus de collection

{
    "results": [
        {
            "checkpoint_name": "sample$BBVOC7$df1$1",
            "file": "sample.py",
            "line_of_code": 10,
            "result": "PASS",
            "timestamp": "2025-05-05T15:32:29.248917"
        },
        {
            "checkpoint_name": "sample$BBVOC7$df2$1",
            "file": "sample.py",
            "line_of_code": 12,
            "result": "PASS",
            "timestamp": "2025-05-05T15:32:31.137536"
        },
        {
            "checkpoint_name": "sample$BBVOC7$df3$1",
            "file": "sample.py",
            "line_of_code": 17,
            "result": "PASS",
            "timestamp": "2025-05-05T15:32:33.133002"
        }
    ]
}
Copy

Les résultats de la validation, comme vu ci-dessus, contiendront le résultat de la comparaison entre les DataFrames PySpark et Snowpark.