Créer un jeu d’évaluation
Rédigez les questions et les points clés attendus que le juge utilise pour noter chaque réponse.
Un jeu d’évaluation sert de référence pour évaluer un assistant intelligent : c’est une liste de questions, chacune avec les points clés qu’une bonne réponse doit mentionner. Les scores valent ce que valent ces questions et ces points clés : prenez le temps de bien les rédiger. Si vous découvrez les évaluations, commencez par Évaluations des assistants intelligents.
Créer le jeu d’évaluation
-
Ouvrez "Assistants Intelligents", cliquez sur "Évaluer les assistants", puis sur "Nouveau jeu d’évaluation".
-
Saisissez le "Nom de l’évaluation". Ajoutez une "Description" si elle aide vos collègues : elle s’affiche sur la page du jeu d’évaluation.
-
Sous "Questions", rédigez la première "Question", avec les mots d’un utilisateur.
-
Sous "Points clés attendus", écrivez un point clé par champ. Cliquez sur "Ajouter un point clé" pour chaque point supplémentaire.
-
Cliquez sur "Ajouter une question" et recommencez pour les autres questions.
-
Cliquez sur "Créer l’évaluation".
Le jeu d’évaluation s’ouvre, prêt pour une première exécution.
Un jeu d’évaluation doit avoir un nom et au moins une question. Il peut contenir jusqu’à 200 questions, et chaque question jusqu’à 50 points clés. Les questions et les points clés laissés vides sont supprimés à l’enregistrement.
Choisir les questions
-
Partez de vraies questions. Reprenez ce que vos utilisateurs demandent réellement : les questions que reçoit votre support, ou les conversations à l’origine des feedbacks sur vos assistants.
-
Couvrez tout le périmètre de l’assistant. S’il répond sur trois produits, écrivez des questions sur les trois.
-
Ajoutez des questions auxquelles il répond mal aujourd’hui. C’est sur elles qu’un meilleur prompt doit progresser, et le score le montrera.
-
Ajoutez une question à laquelle il ne doit pas répondre. Pour une question hors de ses contenus, le point clé peut être "Indique qu’il n’a pas l’information".
Commencez par une liste courte, par exemple dix questions sur les sujets les plus fréquents. Ajoutez une question chaque fois qu’un utilisateur signale une mauvaise réponse.
Rédiger des points clés que le juge peut vérifier
Le juge prend chaque point clé séparément et décide si la réponse le mentionne : oui ou non. Plus un point clé est facile à vérifier, plus le score est fiable.
| Au lieu de | Écrivez | Pourquoi |
|---|---|---|
| "Explique la politique de télétravail" | "Deux jours par semaine" et "Le manager valide les jours" | Une information par point clé. Une réponse à moitié juste obtient alors la moitié des points, et non zéro. |
| "Donne le délai" | "Le délai est de 30 jours après la date de facture" | Une réponse vague ne peut pas satisfaire un point clé précis. |
| "La réponse est claire et aimable" | "Donne le lien vers le formulaire de demande" | Décrivez le contenu de la réponse, pas son style. |
Une question peut n’avoir aucun point clé. L’assistant y répond quand même et vous pouvez lire sa réponse, mais la question n’a pas de score et ne compte pas dans le score de l’exécution.
Modifier un jeu d’évaluation
Sur la page "Jeux d’évaluation", ouvrez le menu en fin de ligne et choisissez "Modifier l’évaluation". Vous pouvez aussi ouvrir le jeu d’évaluation et cliquer sur "Modifier". Changez le nom, les questions ou les points clés, puis cliquez sur "Enregistrer".
Les exécutions déjà réalisées conservent les questions et les résultats qu’elles ont enregistrés. Après une modification, les anciennes et les nouvelles exécutions ne sont donc plus notées sur les mêmes questions.
Supprimer un jeu d’évaluation
Sur la page "Jeux d’évaluation", ouvrez le menu en fin de ligne, choisissez "Supprimer l’évaluation" et confirmez. La même action se trouve dans le menu "Plus d’actions" de la page du jeu d’évaluation.
Les exécutions du jeu d’évaluation sont supprimées avec lui.