Évaluations des assistants intelligents
Notez les réponses d’un assistant intelligent sur une liste fixe de questions, avant et après un changement.
Quand vous modifiez le prompt d’un assistant intelligent, certaines réponses s’améliorent et d’autres se dégradent. Poser vous-même quelques questions ne suffit pas à le voir. Une évaluation pose chaque fois les mêmes questions à l’assistant et note ses réponses : vous comparez ainsi l’assistant avant et après un changement.
Comment fonctionne une évaluation
Une évaluation repose sur quatre éléments.
| Élément | Ce que c’est |
|---|---|
| Jeu d’évaluation | Une liste de questions que vous rédigez une fois et que vous réutilisez. Chaque question a ses points clés attendus : les informations qu’une bonne réponse doit mentionner. |
| Exécution | Le jeu d’évaluation soumis une fois à un assistant. L’assistant répond à toutes les questions, avec le prompt et le modèle choisis pour cette exécution. |
| Juge | Un modèle d’IA qui lit chaque réponse et décide, point clé par point clé, si la réponse le mentionne. |
| Score | Pour une question, la part de ses points clés trouvés dans la réponse. Pour une exécution, la moyenne des scores de ses questions. |
Prenons le jeu d’évaluation d’un assistant pour les ressources humaines. Il contient cette question :
-
Question : Combien de jours puis-je télétravailler par semaine ?
-
Points clés attendus : "Deux jours par semaine" et "Le manager valide les jours".
Si la réponse indique deux jours par semaine sans mentionner le manager, le juge trouve un point clé sur deux. La question obtient 50 %.
Quand lancer une évaluation
-
Avant de modifier un prompt. Une exécution peut utiliser un autre prompt que celui de l’assistant. Vous voyez l’effet sur chaque question avant vos utilisateurs.
-
Pour choisir un modèle. Exécutez le même jeu d’évaluation avec deux modèles et comparez les réponses.
-
Après un changement important dans vos contenus. Quand vous réorganisez un espace ou importez de nombreux articles, relancez l’évaluation et vérifiez que le score n’a pas baissé.
-
Quand un utilisateur signale une mauvaise réponse. Ajoutez sa question au jeu d’évaluation : elle sera posée à chaque exécution suivante.
Ouvrir les évaluations
Ouvrez "Assistants Intelligents" depuis le menu principal. En haut de la colonne de gauche, au-dessus de la liste des assistants, cliquez sur "Évaluer les assistants".
La page "Jeux d’évaluation" liste tous les jeux d’évaluation de la plateforme. Tous les administrateurs de la plateforme voient la même liste.
| Colonne | Contenu |
|---|---|
| "Jeu d’évaluation" | Le nom du jeu d’évaluation. Cliquez dessus pour ouvrir ses exécutions. |
| "Questions" | Le nombre de questions du jeu. |
| "Exécutions" | Le nombre d’exécutions lancées jusqu’ici. |
| "Dernière exécution" | Le moment où la dernière exécution a démarré. |
| "Dernier résultat" | Le score de la dernière exécution, ou son statut si elle ne s’est pas terminée. |
| "Meilleur résultat" | Le score le plus élevé parmi toutes les exécutions du jeu. |
En fin de ligne, "Nouvelle exécution" lance une exécution. Le menu voisin propose "Modifier l’évaluation" et "Supprimer l’évaluation".
Du premier jeu d’évaluation à un meilleur assistant
-
Créez un jeu d’évaluation avec vos questions et leurs points clés.
-
Exécutez l’évaluation avec l’assistant tel qu’il est aujourd’hui. Cette première exécution vous sert de référence.
-
Lisez les résultats pour repérer les questions auxquelles l’assistant répond mal, et comprendre pourquoi.
-
Relancez l’évaluation avec un autre prompt ou un autre modèle, puis comparez les exécutions.
-
Quand un prompt donne de meilleures réponses, appliquez-le à l’assistant depuis l’exécution.
Questions
Une exécution modifie-t-elle mon assistant ?
Non. Une exécution lit les réglages de l’assistant sans les modifier, même si vous testez un autre prompt. L’assistant ne change que si vous cliquez sur "Appliquer à l’assistant" dans une exécution, puis confirmez.
Qui peut voir les jeux d’évaluation et leurs résultats ?
Uniquement les administrateurs de la plateforme. Les autres utilisateurs ne voient pas "Évaluer les assistants" et n’ont pas accès aux pages d’évaluation.