La pestaña Insights es tu centro de control de calidad: revisa si las entrevistas en sí fueron buenas. La pestaña Reports es donde revisas Candidatos individuales. Este artículo recorre ambas.
Pestaña Insights
Insights tiene cuatro pestañas: Health, Feedback, Quality y Alerts. Juntas, te dan una imagen completa del comportamiento del agente, la precisión de la puntuación y los problemas sistémicos.
Pestaña Health
Health te da una vista panorámica de la calidad en todos tus agentes de IA. Hay tres métricas principales en la parte superior:
Métrica | Qué te indica |
With Issues (%) | Porcentaje de conversaciones que activaron al menos una señal de calidad. Una misma conversación puede activar múltiples señales. |
With Bias (%) | Porcentaje de conversaciones donde se detectó una señal de sesgo o equidad. Se monitorea por separado porque los problemas de sesgo conllevan un riesgo más alto. |
Agents with Issues | Cuántos agentes activos tuvieron al menos una señal. Si la mayoría de los agentes están marcados, el problema probablemente es sistémico. Si solo 1–2, es específico de esos agentes. |
Debajo de estas, una lista ordenada muestra cada tipo de señal con su conteo y categoría. La taxonomía completa de señales está al final de este artículo: salta a Referencia de la taxonomía de señales cuando necesites consultar alguna.
A las señales se les asigna uno de tres niveles de severidad:
Severidad | Qué significa | Qué hacer |
🚨 Critical | Requiere acción inmediata. | Contacta a tu representante de Talkpush de inmediato. No la descartes sin investigar. |
⚠️ Warning | Necesita monitoreo e investigación. | Revisa los reportes de los Candidatos marcados y monitorea si se repite. |
ℹ️ Info | Apareció una señal nueva o poco frecuente. | Monitorea si se repite. Escala si la señal aparece en varios Candidatos. |
Importante: las señales de sesgo siempre son de severidad Critical. Los nueve tipos de sesgo monitoreados incluyen: género, racial, edad, socioeconómico, discapacidad, cultural/nacionalidad, dominio del idioma, acento/dialecto y formato de entrevista. Incluso una sola señal de sesgo requiere revisión profesional; no asumas que es un falso positivo. Contacta a tu representante de Talkpush de inmediato.
Cuando veas una alerta: qué hacer y qué no
✅ Sí | ❌ No |
Lee los detalles de la alerta y revisa los reportes marcados | Descartes alertas Critical sin investigarlas |
Anota el tipo de alerta, severidad, agente afectado y período de tiempo | Asumas que las señales de sesgo son falsos positivos |
Contacta a tu representante de Talkpush para alertas Critical | Les digas a los Candidatos sobre las señales de calidad o alertas |
Reporta alertas Warning o Info recurrentes | Intentes cambiar la configuración del agente por tu cuenta: contacta a tu representante |
Debajo de las señales, una tabla Agent Performance muestra por agente: llamadas, tasa de finalización, puntuación promedio, desviación estándar, duración promedio y hora de la última llamada. Úsala para identificar qué agentes específicos están generando la mayoría de los problemas.
Pestaña Feedback
Feedback recopila las revisiones humanas de las puntuaciones generadas por la IA. Cuando un Reclutador o un revisor de QA mira el reporte de un Candidato y está en desacuerdo (o de acuerdo) con la puntuación, puede enviar una Score Opinion.
Cada entrada muestra el nombre del revisor, la evaluación, el Candidato, la etiqueta (por ejemplo, "Score Opinion"), el comentario (por ejemplo, "overscored: Professionalism and Courtesy"), la fecha y el estado (New o Reviewed). Haz clic en Report para ir directamente a la evaluación completa del Candidato.
Por qué importa: los comentarios humanos validan en la práctica la puntuación de la IA. Si los revisores marcan consistentemente una habilidad específica como sobrepuntuada, esa es una señal fuerte para ajustar los criterios de la rúbrica. Si las revisiones confirman las puntuaciones de forma consistente, tienes validación de que la rúbrica está funcionando bien. Comparte con tu representante de Talkpush los patrones que detectes.
Pestaña Quality
La pestaña Quality es un registro buscable y filtrable de cada señal de calidad individual generada en todas las conversaciones. Mientras que Health muestra conteos agregados, Quality te permite profundizar en lo específico.
Filtros disponibles: período de tiempo, assessment (agente de IA específico), campaign, category (Agent, Scoring, Technical, Candidate) e issue type (Hallucination, Repetition, etc.). Cada fila muestra la fecha, el nombre e ID del Candidato, la campaña, la categoría, el tipo de problema y una explicación en lenguaje claro de lo que sucedió.
Úsala para:
Investigar un tipo de señal específico: filtra por Hallucination para ver todas las instancias. Lee las explicaciones para entender el patrón (¿se leyeron en voz alta valores de marcador de posición?, ¿se inventaron detalles del puesto?).
Auditar un agente específico: filtra por assessment para ver todas las señales de un solo agente. Las señales repetidas apuntan a un problema sistémico de configuración.
Hacer seguimiento de la mejora después de un arreglo: filtra por fecha para confirmar que una señal dejó de aparecer después de un cambio en el prompt del sistema o en la rúbrica.
Pestaña Alerts
Alerts muestra hallazgos automatizados en las categorías Agent, Scoring, Health y Quality. Las alertas se generan automáticamente con base en umbrales configurables; por ejemplo, cuando las tasas de alucinación superan un porcentaje establecido, o cuando las señales de sesgo aparecen por encima de una frecuencia definida.
Para recibir notificaciones por correo electrónico de inmediato para las señales Critical y Warning, ve a Settings → Notifications y activa Critical Flag Alerts.
Pestaña Reports
La pestaña Reports muestra a cada Candidato que ha pasado por una entrevista con IA de TalkScore. Puedes buscar y filtrar la lista, exportarla a CSV y hacer clic en cualquier Candidato para ver su evaluación completa.
Estadísticas rápidas
Encima de la tabla, las tarjetas de resumen te dan una lectura rápida de los Candidatos que coinciden con tus filtros:
Tarjeta | Qué muestra |
Total Reports | Conteo de reportes que coinciden con tus filtros. |
Avg Score | Puntuación promedio general entre los Candidatos listados. |
Score 4–5 | Conteo y porcentaje de Candidatos con desempeño alto. |
Score 0–2 | Conteo de Candidatos que puntuaron bajo (también muestra cuántos puntuaron exactamente 3). |
Navegar la lista de reportes
Filtro / Control | Qué hace |
Toggle Live Data | Actualiza la lista en tiempo real conforme llegan nuevas entrevistas. Útil para monitorear campañas en vivo. |
Período de tiempo | Filtra por Last 7 days, Last 30 days o un rango de fechas personalizado. |
Filtro de estado | Muestra solo llamadas completadas, o filtra por rango de puntuación o nivel CEFR. |
Filtros Assessment / Campaign | Acota los resultados a un agente de IA o a una campaña de reclutamiento específica. |
Toggle Test Calls | Muestra u oculta las llamadas de prueba internas. Desactivado por defecto para que solo se vean datos reales de Candidatos. |
Export CSV | Descarga la lista completa de reportes como hoja de cálculo para análisis offline o para compartir. |
Leer el reporte de un Candidato
Haz clic en cualquier fila de Candidato para abrir su evaluación completa. El reporte está organizado en secciones:
Sección | Qué contiene |
Header | Nombre, evaluación, puntuación general, fecha, duración, estado de finalización, ID del Candidato, correo electrónico, número de teléfono y agente de la evaluación. |
Interview Recording | Reproductor de audio MP3 completo. Escucha la conversación real junto con la transcripción. |
Transcript | Conversación completa con etiquetas de quién habla (nombre del agente e iniciales del Candidato), marcas de tiempo y conteo de turnos. Esta es la verdad de referencia: revísala siempre cuando estés revisando o cuestionando una puntuación. |
Per-Dimension Scores | Cada habilidad blanda puntuada de 0 a 5 con un párrafo de razonamiento de la IA que cita evidencia específica de la transcripción. La IA no solo asigna un número: explica su razonamiento con referencias directas a lo que dijo el Candidato. |
Data Extraction | Información estructurada extraída automáticamente de la conversación: resumen de los comentarios del Candidato, respuestas de elegibilidad (autorización para trabajar, edad, consentimiento para examen de drogas), estado de recontratación, preferencia de capacitación presencial y si el Candidato rechazó la entrevista con IA en algún momento. |
Sentiment Analysis | Resumen general del sentimiento que describe cómo evolucionó el nivel de participación, puntuaciones de sentimiento por pregunta (1–5 por pregunta, mostrando cambios de tono) y un cambio general del sentimiento (más positivo, más negativo o neutro). El sentimiento puede revelar inquietudes que las puntuaciones no capturan. |
Candidate Questions | Preguntas que hizo el Candidato durante la entrevista, con marca de tiempo, etapa (por ejemplo, "closing"), texto exacto de la pregunta y contexto. Suele ser una señal de interés. |
Agent Quality Analysis | Revisión por parte de la IA del comportamiento del agente en esta llamada específica: evaluación general más cada señal individual con su severidad, marca de tiempo, cita exacta de la transcripción y una explicación en lenguaje claro. |
Interpretar el TalkScore
El TalkScore general es el promedio de las puntuaciones individuales de las dimensiones de habilidades blandas, en una escala de 0 a 5. Los umbrales de puntuación varían según el cliente y el puesto: confirma con tu representante de Talkpush si no sabes qué se considera aprobado para tu evaluación específica.
Rango de puntuación | Interpretación general |
4–5 | Coincidencia sólida. El Candidato tuvo un buen desempeño en los criterios configurados. |
3–4 | Coincidencia parcial. Revisa el desglose por dimensión y la transcripción antes de decidir. |
0–3 | No cumplió los criterios. Antes de concluir, revisa si hubo problemas con la calidad de la llamada (llamada muy corta, problemas técnicos). |
Nota: no te bases únicamente en la puntuación general. El desglose por dimensión, el análisis de sentimiento, el Agent Quality Analysis y la transcripción juntos te dan una imagen mucho más rica de cada Candidato.
CEFR en los reportes
Si tu evaluación incluye evaluación de idioma, cada Candidato recibe un nivel CEFR de A1 (principiante) a C2 (casi nativo). Cada reporte incluye puntuaciones de idioma por dimensión para Gramática, Fluidez, Vocabulario, Pronunciación y Comprensión (cada una en una escala de 0 a 10), además de una explicación en lenguaje claro del nivel de inglés del Candidato. Las puntuaciones CEFR se evalúan de forma independiente de las puntuaciones de habilidades blandas.
Enviar comentarios sobre una puntuación
Si crees que una puntuación es incorrecta después de revisar el reporte completo, usa la función Feedback para enviar una Score Opinion. Anota qué dimensión te parece equivocada y por qué. Los comentarios aparecen en Insights → Feedback y le ayudan al equipo de Talkpush a identificar patrones para refinar la rúbrica.
Flujos de trabajo comunes
Investigar un pico de alucinaciones
Ve a Insights → Health y anota el conteo de alucinaciones.
Cambia a la pestaña Quality y filtra por Issue Type: Hallucination.
Lee las explicaciones de las señales más recientes. Busca el patrón:
Valores de marcador de posición leídos en voz alta (por ejemplo, "This is a None, None Remote CSR role"): los campos de datos del agente no están bien llenados.
Detalles fabricados (por ejemplo, inventar un salario o un horario): la configuración del agente necesita controles más estrictos.
Detalles del puesto citados de forma incorrecta: la configuración del agente contiene información desactualizada.
Comparte tus hallazgos con tu representante de Talkpush, incluyendo el nombre del agente afectado, el período de tiempo y el patrón que identificaste.
Monitorea el registro Quality durante los siguientes días para confirmar que las señales de alucinación dejen de aparecer después del arreglo.
Revisión semanal de calidad
Ve a Insights → Health y configura el filtro de tiempo en "Last 7 days".
Revisa las tres métricas principales. ¿La de "With Issues" va al alza o a la baja?
Mira los 3 tipos de señales más frecuentes. ¿Son los mismos que la semana pasada o están apareciendo problemas nuevos?
Ve a Feedback y revisa si hay nuevas Score Opinions. ¿Hay patrones en lo que se está sobrepuntuando o subpuntuando?
Si algún agente tiene un número desproporcionado de señales, abre su evaluación para revisar la configuración.
Revisar a un Candidato marcado
Navega desde Insights → Quality (o desde un correo de notificación) al reporte del Candidato.
Lee primero la sección Agent Quality Analysis para entender qué se marcó.
Revisa la marca de tiempo de la señal y busca ese momento en la Transcript.
Escucha la Recording en esa marca de tiempo para oír el intercambio real.
Revisa las Per-Dimension Scores: ¿el problema de calidad afectó la puntuación? (Por ejemplo, si el agente alucinó detalles del puesto, el Candidato pudo haber respondido con base en información equivocada.)
Decide si hay que volver a entrevistar al Candidato o ajustar la puntuación manualmente.
Usar los reportes para refinar la rúbrica
Ve a Reports y ordena o filtra para encontrar Candidatos que puntuaron en los extremos (0–2 o 5).
Abre de 3 a 5 reportes de cada extremo.
Lee el razonamiento de la IA para cada puntuación por dimensión. ¿Tiene sentido? ¿Un "5" es realmente excelente, o el listón está demasiado bajo?
Compara Candidatos que puntuaron 4 vs. 5: ¿puedes notar la diferencia desde la transcripción? Si no, los criterios de la rúbrica para esos niveles pueden necesitar ser más específicos.
Comparte tus hallazgos con tu representante de Talkpush; pueden refinar la rúbrica de puntuación con base en los patrones que identifiques.
Referencia de la taxonomía de señales
Todas las señales de calidad caen en tres categorías. Úsala como referencia cuando veas una señal y quieras entender exactamente qué significa.
Señales de calidad del agente (12)
Problemas con el comportamiento del agente de IA durante la conversación.
Señal | Qué significa |
Hallucination | El agente afirmó algo factualmente incorrecto o leyó en voz alta valores de marcador de posición (como "None") como si fueran detalles reales del puesto. Es la señal más seria a nivel de agente. |
Repetition | El agente repitió la misma pregunta o frase varias veces. |
Intent Misunderstood | El agente malinterpretó la respuesta del Candidato y respondió con algo irrelevante. |
Abrupt End | La conversación terminó de forma repentina sin un cierre adecuado. |
Vague Answers | El agente aceptó respuestas vagas del Candidato sin profundizar para obtener detalles. |
Technical Error | Ocurrió un problema del sistema durante la entrevista (audio, conexión, procesamiento). |
Question Ignored | El agente se saltó o no respondió una pregunta que hizo el Candidato. |
User Confusion | El Candidato pareció estar confundido con las instrucciones o preguntas del agente. |
Off-Topic Deviation | El agente se desvió del guion de la entrevista para hablar de temas irrelevantes. |
Leading Questions | El agente hizo preguntas que sugerían la respuesta deseada. |
Incomplete Evaluation | El agente terminó la entrevista sin cubrir todas las áreas requeridas de evaluación. |
Unprofessional Tone | El agente usó lenguaje informal, grosero o poco profesional. |
Señales de puntuación (3)
Contradicciones o vacíos en los datos de puntuación.
Señal | Qué significa |
Score Completion Mismatch | Puntuación alta en una llamada incompleta, o puntuación baja en una completada. |
High Score Incomplete | Puntuación general alta a pesar de que la llamada no se completó. |
Missing Score Completed | Una entrevista completada no tiene puntuaciones: el pipeline de puntuación pudo haber fallado. |
Señales de comportamiento del Candidato (2)
Señal | Qué significa |
Requested Escalation | El Candidato pidió hablar con un Reclutador humano. |
Used Profanity | El Candidato usó lenguaje inapropiado. |
Tipos específicos de alertas
Tipo de alerta | Qué significa |
Bias flag spike | Se detectaron múltiples señales de sesgo en un período corto (por ejemplo, 6 incidentes en 7 días). Siempre Critical: contacta a tu representante de Talkpush de inmediato. |
Score compression | Un porcentaje alto de Candidatos recibe la misma puntuación o puntuaciones muy similares. Es un problema de calibración, no de calidad de los Candidatos. |
Score completion mismatch | Se generaron puntuaciones para llamadas que no se completaron por completo, o las llamadas completadas no tienen puntuaciones. |
Agent loop / Repetition | El agente se quedó atascado repitiendo la misma pregunta o frase. |
Lack of empathy | El agente no reconoció ni respondió de forma apropiada al estado emocional de un Candidato. |
Poor tone / Unprofessional tone | El agente usó lenguaje informal, dismisivo o inapropiado para una entrevista profesional. |
¿Necesitas resolver un problema?
Para ayuda paso a paso con reportes faltantes, dudas sobre puntuaciones, alertas Critical, compresión de puntuaciones, exportación de datos y otras preguntas comunes, consulta el artículo FAQ and Troubleshooting.
