¿Tus agentes de IA son medibles, visibles y controlables?

La adopción de agentes de IA pasó de la etapa de pilotos aislados a formar parte de la operación diaria de las empresas. Esto planteó una pregunta que la mayoría aún no puede responder: ¿Cómo demostrar que un agente realmente está generando resultados en función de lo invertido?

¿Por qué una tarea completada por un agente de IA no necesariamente significa éxito?

En el mundo de las APIs y los microservicios, ya conocemos bien este escenario. Un código de estado HTTP 200 confirma que la llamada fue procesada. No necesariamente significa que el resultado era correcto. Un endpoint puede devolver un 200 con un payload semánticamente incorrecto, o incluso un 200 con un mensaje de error en el payload, y ningún monitoreo tradicional lo detecta.

En el mundo de los agentes de IA, la trampa cambia de forma, pero no de naturaleza. No existe un código de estado HTTP equivalente; lo que existe es una tarea completada. El agente recorre el flujo de principio a fin, llama a las herramientas correctas y realiza el razonamiento adecuado, pero completar una tarea no equivale a tener éxito. Un agente puede completar una tarea y, aun así, haber recomendado al proveedor equivocado o resumido un contrato de manera engañosa. La pregunta que determina si la inversión valió la pena no está en el estado de “completado”, sino en la calidad y precisión de la ejecución. Esa es precisamente la capa que la mayoría de las organizaciones todavía no mide.

Algunos datos del mercado confirman la magnitud del problema:

• Gartner ya proyectaba en 2025 que más del 40% de los proyectos actuales de IA agéntica serían cancelados para finales de 2027, debido al aumento de los costos, un valor de negocio poco claro y controles de riesgo débiles.
• En una encuesta reciente publicada por Forbes, vemos que la mitad de las empresas que ya operan IA en producción todavía no puede medir su retorno. Las empresas que ya han puesto agentes autónomos en producción tienden a experimentar este problema de forma aún más aguda, ya que no hay una persona dentro del ciclo revisando cada ejecución.
• En una encuesta de Gartner a 227 líderes de ventas, realizada entre agosto y septiembre de 2025, el 31% señaló la dificultad para demostrar el ROI de las herramientas de IA como el principal desafío para 2026.

¿Por qué el AIOps clásico no es suficiente para los agentes de IA?

Gartner acuñó el término AIOps (Artificial Intelligence for IT Operations) en 2017 para describir la aplicación de IA y machine learning en la correlación de eventos, la detección de anomalías y la automatización de respuestas en entornos de TI. Pero cuando hablamos de IA actualmente, por lo general nos referimos a la IA generativa, uno de varios tipos de inteligencia artificial.

Una etiqueta imprecisa se convierte en un alcance de compra indefinido, que a su vez genera expectativas incumplidas. Este es precisamente el tipo de problema que aparece entre los motivos de cancelación de proyectos de IA. El aumento de los costos y un valor de negocio poco claro rara vez provienen de una tecnología deficiente, sino de comprar algo sin saber exactamente qué se está comprando.

Esta falta de consenso sobre el término fue lo que abrió espacio para una nueva disciplina, directamente vinculada con la arquitectura agéntica: AgentOps.

¿Qué es AgentOps?

AgentOps es una disciplina operativa en un mundo en el que ya existen DevOps, MLOps y LLMOps. Mientras DevOps se materializa al entregar y mantener sistemas altamente disponibles, y MLOps al mantener bajo control el ciclo de vida del modelo, AgentOps mantiene el comportamiento de los agentes de IA medible, visible y controlable.

Esto va más allá de simplemente monitorear. Es una capa de operación en producción para agentes de IA, responsable de orientar cómo los equipos lanzan, observan, evalúan, depuran, protegen, controlan y hacen evolucionar los sistemas autónomos o semiautónomos una vez que salen de la experimentación. En la práctica, esta capa abarca cuatro frentes principales:

• Trayectoria y ejecución: seguimiento paso a paso del razonamiento del agente y de las herramientas llamadas a lo largo de un flujo de trabajo agéntico.
• Memoria y contexto: comportamiento de recuperación y retención de información que alimenta las decisiones del agente de IA.
• Políticas en tiempo de ejecución: guardrails, límites de permisos y aprobación humana para acciones de mayor impacto.
• Evaluación y auditoría: capacidad de repetir ejecuciones, depurar fallas y demostrar, después de los hechos, que una decisión autónoma se tomó dentro de lo esperado.
  ‍

A diferencia del AIOps clásico, AgentOps todavía es una disciplina en construcción. No existe una única herramienta o práctica de mercado, sino un ecosistema en auge. Sin embargo, esto representa un riesgo. Un ecosistema sin un estándar dominante es sinónimo de riesgo de dependencia de un proveedor y de un costo de integración que aumenta con cada nueva herramienta adoptada.

En este punto entra el esfuerzo de estandarización técnica más prometedor del momento: las GenAI Semantic Conventions de OpenTelemetry. En ellas se define un vocabulario común de spans para llamadas a modelos fundacionales, llamadas a herramientas y ejecución de agentes, con adopción nativa en frameworks como LangGraph, CrewAI y AutoGen, y en herramientas de APM como Datadog, Dynatrace y Grafana.

Un detalle importante de arquitectura: la instrumentación de las llamadas a herramientas ya está contemplada. La capa de MCP Gateway, junto con el LLM Gateway (responsable de gobernar las llamadas a los modelos fundacionales), conforma lo que llamamos AI Gateway. Aunque sea un detalle, es muy importante, porque hoy la mayoría de las acciones de un agente de IA ya no se basa en llamar al modelo en sí, sino en llamar a herramientas para obtener más contexto.

Contenido relacionado: ¿Por qué el AI Gateway es esencial para las empresas que utilizan agentes de IA?

¿Qué métricas de AgentOps realmente importan?

Cada uno de los cuatro frentes de AgentOps tiene sus propias métricas. Cada métrica responde a una pregunta de negocio específica. Los rangos que se presentan a continuación no constituyen un consenso definitivo; son los criterios de madurez que Sensedia utiliza como referencia, combinando frameworks del mercado con lo que hemos observado al implementar arquitecturas agénticas en producción.

Trayectoria y ejecución

• Tool-call accuracy (tasa de acierto en las llamadas a herramientas): mide si el agente de IA eligió la herramienta correcta, con los parámetros correctos, en el primer intento. La referencia que recomendamos como umbral mínimo de madurez es un 95% desde el primer intento. Por debajo de ese porcentaje, cada llamada adicional implica volver a hacer el trabajo (mayor costo).
• Latencia p99: el tiempo que tarda el usuario, o el siguiente paso dentro de un flujo de trabajo, en obtener una respuesta. La referencia que recomendamos es de hasta 30 segundos en interacciones conversacionales y de hasta 5 minutos en procesamiento por lotes o tareas más complejas.
  ‍

¿Por qué importa esto? Un turno (una vuelta completa del agente por el ciclo de razonar, llamar a una herramienta y observar el resultado) con un 99% de acierto parece prácticamente perfecto de forma aislada. Sin embargo, al repetirse 100 veces consecutivas, la probabilidad de que todos los pasos salgan bien cae a cerca del 37%. Esto es pura matemática, no una falla puntual, y por eso la tasa de acierto de un turno aislado resulta tan engañosa como una “tarea completada”, como comentamos al inicio de este contenido. En el mundo de las integraciones, este escenario es bien conocido: la latencia que importa es la latencia real (la que se percibe desde el inicio de la cadena hasta el final), no la de un servicio.

Memoria y contexto

• Tasa de alucinación/groundedness: mide si la respuesta del agente de IA está fundamentada en el contexto recuperado o si el modelo llenó el vacío con algo aceptable, pero inventado. Es la métrica que influye en qué medida ese agente puede utilizarse de forma más amplia, por clientes o para decisiones reales y críticas, sin supervisión constante. La recomendación es una puntuación igual o superior a 4.0 de 5 en la dimensión de fundamentación factual, siguiendo la misma lógica de escala que utilizan los frameworks de evaluación de RAG y LLM-as-judge.

Políticas en tiempo de ejecución

• Instruction-following: mide si el agente respetó las restricciones explícitas del prompt y de las políticas de su Harness. La referencia que recomendamos como umbral mínimo de madurez es del 95% o más. Como práctica de mercado, este porcentaje debe ser igual o superior al 95%.
• Refusal rate (tasa de rechazo): con qué frecuencia el agente se niega a actuar cuando no debería hacerlo (lo opuesto a la alucinación, pero igualmente costoso). Hasta un 5% en consultas legítimas es saludable.

Evaluación y auditoría

• Recovery rate (tasa de recuperación): la capacidad del agente para recuperarse de un error sin necesitar intervención humana. Lo recomendado es superar el 70% en fallas transitorias de herramientas. De hecho, una recuperación del 100% no es una buena señal, porque generalmente significa que el agente está ocultando alguna falla persistente con un éxito fabricado.
• Cost-per-success: el total de tokens consumidos dividido entre las tareas completadas con éxito, no entre los intentos. Hasta 2 veces el costo de la tarea es el límite máximo que recomendamos como referencia. Es la métrica que une la ejecución técnica y el resultado financiero bajo un mismo criterio.
  ‍

Ninguna de estas métricas por separado cuenta toda la historia ni responde a la pregunta sobre el ROI: si la inversión en el agente valió la pena.

Contenido relacionado: ¿Por qué la gobernanza de agentes de IA requiere un AI Gateway agnóstico?

¿Quién es responsable cuando un agente de IA falla?

Ninguno de los cuatro frentes anteriores responde a la siguiente pregunta: si un agente falla, ¿quién es responsable?

Hoy, en la mayoría de las empresas, la respuesta es “no lo sabemos”. Y el problema no suele ser la falta de herramientas. El manual de seguridad que tiene la mayoría de las empresas fue diseñado para un tipo de amenaza diferente.

El punto ciego de ese manual está precisamente donde hoy se concentra la mayor parte del riesgo de IA: dentro de la empresa. Intercambio indebido de información, uso fuera del alcance esperado y comportamiento mal orientado del propio agente. El riesgo no necesariamente viene de afuera, sino de adentro. Un agente no es un empleado que se equivoca una vez y al que después se le puede pedir una explicación; es un sistema que repite la misma decisión, correcta o incorrecta, a escala y en segundos, sin detenerse a reconsiderarla.

Una auditoría trimestral, la aprobación de un gerente o incluso una capacitación anual dependen del intervalo entre una decisión humana y la siguiente para funcionar como puntos de control. Un agente no deja ese intervalo. La política sigue siendo correcta en el papel, pero el problema es que no está presente en el momento exacto en que se toma la decisión de un agente de IA.

En 2023, Gartner creó AI TRiSM (Trust, Risk and Security Management). Es un framework que parte de una premisa sencilla: la política declara la intención; el control garantiza el comportamiento. Cuando el sistema actúa por sí solo, únicamente lo segundo sostiene una verdadera gobernanza de IA. La metodología existe para transformar lo que hoy es un documento en un mecanismo: reglas que no se quedan guardadas esperando la siguiente auditoría, sino que se aplican en el momento exacto en que el agente decide actuar.

En la práctica, esto se traduce en tres exigencias que una política escrita, por sí sola, no puede cumplir:

• Visibilidad: saber qué agentes existen, dónde se ejecutan y a qué puede acceder cada uno. Un agente que nadie ha identificado (Shadow AI) no puede gobernarse, por definición.
• Aplicación en tiempo de ejecución: validar y bloquear comportamientos fuera del alcance en el instante de la acción, no después. Es la diferencia entre descubrir un problema y evitar que ocurra.
• Trazabilidad: registrar cada acción con un responsable, un alcance y un contexto de autorización, de modo que averiguar “quién autorizó esto”, “cuándo” y “por qué” sea una consulta, no una investigación.
  ‍

Observa que nada de esto se trata de frenar al agente. Se trata de garantizar que opere dentro del alcance que se le asignó y de poder demostrarlo en cualquier momento. Eso es precisamente lo que distingue a un agente que puede asumir una decisión crítica de uno que permanece eternamente en experimentación.

¿Cómo ayuda AgentOps a demostrar el ROI de las estrategias con agentes de IA?

Como vimos al inicio, muchos proyectos de IA agéntica se cancelan por un valor de negocio poco claro o por la dificultad para medirlo. Los líderes señalan la dificultad para demostrar el ROI como el principal desafío. Ninguno de ellos dice que la tecnología no funciona. Todos dicen lo mismo de distintas formas: nadie puede demostrar que funcionó. Y demostrarlo tiene dos vertientes que no se sustituyen entre sí.

La primera es la ejecución. ¿El agente hace lo que debería hacer? ¿Con qué calidad? ¿A qué costo? Es el terreno de AgentOps y de las métricas que vimos. Sin eso, afirmar que el agente está funcionando es una percepción, no una cifra que resista una conversación sobre presupuesto.

La segunda es la legitimidad. ¿El agente hizo eso dentro de lo que estaba autorizado a hacer? ¿Existe una traza para demostrarlo? Es el terreno de AI TRiSM. Sin eso, ninguna área de riesgo, cumplimiento o auditoría da su visto bueno al momento de otorgar autonomía real al agente, y un agente sin autonomía real es solo una experimentación eterna.

El punto que une ambas vertientes: un agente que no puede medirse ni al que se le puede exigir responsabilidad no sale de la experimentación. Y la experimentación es precisamente la etapa en la que el costo ya es total y el retorno todavía es parcial, porque cada ejecución aún depende de alguien que la supervise. El ROI de un agente no aparece cuando empieza a funcionar, sino cuando deja de necesitar supervisión en cada ejecución. Esa transición depende de evidencia, no de confianza.

Es aquí donde la arquitectura deja de ser un detalle técnico y se convierte en una condición de negocio. Las métricas de calidad por llamada a herramienta, las políticas aplicadas en tiempo de ejecución y una identidad propia para cada agente tienen un requisito en común: solo existen si hay un punto central por el que pasa cada llamada de IA. Si cada squad instrumenta su agente a su manera, la empresa puede llegar a responder preguntas aisladas, pero no puede responderlas a nivel de toda la organización.

Ese es el papel que cumple el AI Gateway en la práctica: es la capa intermediaria que habilita tu estrategia, centralizando y potenciando la seguridad y la gobernanza de IA tanto del tráfico hacia los modelos fundacionales como del tráfico de herramientas y fuentes de datos para los agentes. No es solo el punto por el que pasa el tráfico, sino donde la política pasa del papel al control en tiempo real. Es precisamente ahí donde se genera el dato que demuestra el valor del agente.

Contenido relacionado: ¿Cómo controlar los costos de IA mediante AI FinOps?

Conclusión

Difícilmente podremos hacerlo todo de una vez. Intentar hacerlo todo al mismo tiempo suele dar malos resultados. Empieza con un agente: el de mayor riesgo o el de mayor valor. Instrumentar bien un agente enseña más sobre lo que tu operación realmente necesita medir que instrumentar diez a medias.

Antes de escalar ese primer agente, establece la línea base. Los datos cuantitativos son esenciales. Con una línea base, el discurso se convierte en argumento. Es la diferencia entre “el equipo percibió que todo fue más rápido” y “el tiempo de ciclo se redujo un X%”. Desde ese primer agente, asígnale una identidad y un alcance de autorización propios. Una credencial propia y un alcance de autorización por agente son económicos de implementar en el primero y costosos de corregir en el décimo. Es la misma práctica que utilizamos con los sistemas distribuidos, pero con los agentes de IA el crecimiento es exponencial. Con un agente medido, con una línea base y con identidad, no estás replicando un agente: estás replicando un método.

Los aspectos de costo son sumamente importantes para una estrategia de IA. El control debe ocurrir en tiempo de ejecución, no en los reportes posteriores.

Abrimos con la pregunta de cómo demostrar que un agente está generando valor. La respuesta incómoda es que no lo demuestras después. Antes de poner al agente en producción, decides si serás capaz de demostrarlo. Un agente instrumentado desde el primer día responde a esa pregunta en minutos. Un agente que operó seis meses sin medición, sin una línea base y sin identidad propia nunca la responde.

Esto no es un problema del modelo. Es un problema de arquitectura.

¿Quieres saber cómo garantizar el ROI de tus estrategias basadas en agentes de IA? ¡Habla ahora con nuestros especialistas!‍