Comment évaluer les flux de travail vocaux sans mesures de vanité

1. Latence de capture

Mesurez le temps entre le déclencheur de capture et le premier texte utilisable dans le champ de l'application cible. Enregistrez p50 et p95 sur au moins 100 exécutions.

2. Qualité du nettoyage

Évaluez si la sortie nettoyée préserve l'intention, la langue et la capacité d'action. Utilisez des invites spécifiques au domaine des équipes d'ingénierie, de support et de produit.

3. Vitesse d'exécution du flux de travail

Suivez combien de temps il faut pour effectuer une tâche complète : dicter, nettoyer, réviser et envoyer. C'est généralement la mesure la plus pratique pour l'impact sur la productivité de l'équipe.

4. Comportement de récupération d'erreur

Testez le réseau dégradé et les chemins audio mal formés. Mesurez la rapidité avec laquelle les utilisateurs peuvent récupérer et terminer le flux de travail.

Format de rapport suggéré

• Date de référence et détails de l'environnement.
• Combinaison de tâches (chat, documents, tickets, e-mail).
• Temps d'exécution du flux de travail p50/p95.
• Taux de réussite de la préservation de l'intention à partir de l'examen humain.
• 3 principaux modes de défaillance et plan d'atténuation.