Marco de referencia

Cómo evaluar los flujos de trabajo de voz sin métricas de vanidad

Este marco se centra en los resultados de escritura de extremo a extremo, no en las afirmaciones de velocidad de transcripción aisladas. Utiliza estas dimensiones para comparar herramientas en tareas de equipo realistas.

1. Latencia de captura

Mide el tiempo desde el disparador de captura hasta el primer texto utilizable en el campo de la aplicación de destino. Registra p50 y p95 en al menos 100 ejecuciones.

2. Calidad de limpieza

Puntúa si la salida limpia preserva la intención, el lenguaje y la capacidad de acción. Utiliza indicaciones específicas del dominio de los equipos de ingeniería, soporte y producto.

3. Velocidad de finalización del flujo de trabajo

Realiza un seguimiento de cuánto tiempo lleva completar una tarea completa: dictar, limpiar, revisar y enviar. Esta suele ser la métrica más práctica para el impacto en la productividad del equipo.

4. Comportamiento de recuperación de errores

Prueba la red degradada y las rutas de audio mal formadas. Mide la rapidez con la que los usuarios pueden recuperarse y finalizar el flujo de trabajo.

Formato de informe sugerido

Fecha de referencia y detalles del entorno.
Combinación de tareas (chat, documentos, tickets, correo electrónico).
Tiempo de finalización del flujo de trabajo p50/p95.
Tasa de aprobación de preservación de la intención de la revisión humana.
Los 3 principales modos de fallo y plan de mitigación.