Comparer des exécutions
Placez plusieurs exécutions d’un jeu d’évaluation côte à côte pour voir quel prompt ou quel modèle répond le mieux.
Un score seul indique la qualité d’une exécution. Une comparaison montre l’effet d’un changement : les questions auxquelles le nouveau prompt répond mieux, et celles auxquelles il répond moins bien. La page "Comparer les exécutions" place les exécutions d’un même jeu d’évaluation côte à côte, question par question.
Ouvrir une comparaison
Il y a deux façons d’ouvrir une comparaison.
-
Depuis le jeu d’évaluation : ouvrez le jeu d’évaluation, cochez au moins deux exécutions dans la liste, puis cliquez sur "Comparer les exécutions" dans la barre qui apparaît.
-
Depuis une exécution : ouvrez l’exécution, cliquez sur "Ajouter une exécution à comparer" et choisissez une deuxième exécution.
Sur la page de comparaison, cliquez sur "Ajouter une exécution à comparer" pour ajouter une colonne. Le menu liste les 50 exécutions les plus récentes du jeu d’évaluation, chacune avec son score et son modèle.
Vous ne pouvez comparer que des exécutions du même jeu d’évaluation.
Lire la comparaison
En haut, cinq chiffres résument la comparaison : "Assistants Intelligents", "Questions", "Exécutions totales", "Modèles testés" et "Prompts". "Assistants Intelligents", "Modèles testés" et "Prompts" comptent les assistants, les modèles et les prompts différents parmi les exécutions. Si "Prompts" affiche 2, les exécutions ont utilisé deux prompts différents.
En dessous, chaque exécution a sa colonne, la plus récente en premier.
-
L’en-tête donne le numéro de l’exécution et son score.
-
"Paramètres" et "Prompt" indiquent l’assistant, le modèle, la date et le prompt de chaque exécution.
-
Chaque ligne suivante correspond à une question, avec la réponse de chaque exécution, ses sources et le verdict sur chaque point clé.
Pour voir tous les résultats d’un coup, passez en "Vue condensée" en haut à droite. Chaque cellule affiche alors le résultat d’une exécution pour une question, par exemple 2/4, et une médaille signale le meilleur score des exécutions comparées. Cliquez sur un résultat pour ouvrir la réponse dans un panneau latéral, puis utilisez les flèches pour passer à la même question dans l’exécution suivante.
Si une cellule affiche "Aucune réponse à cette question dans cette exécution.", la question a été ajoutée au jeu d’évaluation après cette exécution, ou supprimée avant celle-ci.
Changer un seul réglage à la fois
Quand deux exécutions diffèrent par plusieurs réglages, impossible de savoir lequel a fait bouger le score. Gardez tout identique, sauf le réglage que vous testez. Le bouton "Relancer" de la page du jeu d’évaluation vous y aide : il ouvre une nouvelle exécution avec les réglages d’une exécution précédente : il ne vous reste qu’un réglage à modifier.
| Pour savoir | Comparez |
|---|---|
| Si un nouveau prompt est meilleur | Deux exécutions avec le même assistant et le même modèle, et des prompts différents. |
| Quel modèle répond le mieux | Deux exécutions avec le même assistant et le même prompt, et des modèles différents. |
| Si un changement de contenu a amélioré les réponses | Deux exécutions aux mêmes réglages, avant et après le changement. |
| Quel assistant convient à une série de questions | Deux assistants limités à des contenus différents, avec le même modèle. |
Après la comparaison
Ouvrez l’exécution qui donne les meilleures réponses, vérifiez les questions encore en échec, puis appliquez son prompt à l’assistant.