AGENTES DE IA · OBSERVABILIDAD
Por Jonathan De San Joaquin, Gerente de Producto Soluciones de IA
Un marco que acompaña cada caso de uso desde la relevancia hasta el agente en producción, y que crece al ritmo de la adopción de cada empresa.
Un agente de IA no se controla con un tablero que se agrega al final. Se controla con decisiones de medición que empiezan en el relevamiento, guían el diseño y maduran junto con la solución. En Strata planteamos la observabilidad como parte del caso de uso desde el primer día, no como una capa técnica posterior.
Cada vez más empresas tienen agentes que responden consultas, procesan documentos o ejecutan tareas dentro de sus sistemas.
Y aparece una pregunta inevitable: ¿cómo sabemos que nuestros agentes hacen lo que esperamos, al costo que esperamos?
Nuestro enfoque se apoya en cuatro ideas: observar desde el relevamiento, usar los KPIs para priorizar, hacer crecer las métricas junto con la solución y adaptar el nivel de control a la madurez de cada organización.
1. La observabilidad empieza en el relevamiento, no en producción.
La pregunta no es “¿qué monitoreamos cuando el agente esté listo?” sino “¿qué necesitamos saber para decidir si este caso vale la pena?”. Eso significa relevar las variables iniciales del proceso: cuánto tarda, cuánto cuesta, cuántos errores tiene y quién interviene.
Sin ese punto de partida, cualquier métrica posterior queda sin contexto.
En Strata: Durante el relevamiento y el diseño del caso de uso definimos con tu equipo la línea base y los primeros indicadores. Esos indicadores quedan escritos antes de construir nada.
Para el negocio: cada agente nace con un “antes” medible, y el “después” se puede demostrar.
2. Los KPI iniciales ordenan las prioridades
Cuando los indicadores existen desde el inicio, priorizar deja de ser una discusión de opiniones. Comparar casos de uso por impacto esperado, esfuerzo y riesgo se vuelve un ejercicio concreto.
A veces esos mismos indicadores muestran que un caso no necesita un agente: alcanza con automatizar una regla o mejorar un dato.
En Strata: Usamos los KPIs del relevamiento para decidir qué se construye primero, qué espera y qué se descarta.
Para el negocio: menos agentes construidos por entusiasmo y más agentes construidos por valor.
3. Los KPI crecen junto con la solución genética
Un agente no aparece completo de un día para el otro. Pasa por prototipo, piloto y producción, y en cada etapa surgen preguntas nuevas. La observabilidad acompaña ese recorrido sumando capas de medición.
| Qué observar | Ejemplo | Por qué importa |
|---|---|---|
| Valor de negocio | Tiempo ahorrado por tarea, costo por caso resuelto | Conecta el agente con el objetivo que lo justificó |
| Calidad de las respuestas | Precisión, alucinaciones, respuestas fuera de política | Mide si el agente es confiable, no solo si funciona |
| Operación | Latencia, errores, disponibilidad | Muestra si la experiencia del usuario es la esperada |
| Costo | Consumo de tokens y de infraestructura por interacción | Evita sorpresas cuando el uso escala |
| Comportamiento del agente | Herramientas que invoca, pasos que sigue, decisiones que toma | Permite auditar y explicar qué hizo y por qué |
| Supervisión humana | Casos escalados, correcciones, nivel de autonomía | Indica cuándo dar más autonomía y cuándo menos |
| Adopción | Usuarios activos, frecuencia de uso, satisfacción | Confirma que la solución se usa, no solo que existe |
En Strata: cada capa se suma cuando el agente la necesita, no antes. Un prototipo no requiere la misma trazabilidad que un agente que opera sobre sistemas productivos.
Para el negocio: visibilidad al riesgo proporcional, sin pagar de más por controles que todavía no hacen falta.
4. Cada empresa necesita su propio nivel de observabilidad
No todas las organizaciones están en el mismo punto, y no todas necesitan controlar la misma cantidad de KPI. Una empresa que da sus primeros pasos con un asistente interno tiene necesidades distintas a una que opera agentes autónomos frente a clientes.
| Nivel de adopción | Situación típica | Foco de observabilidad |
|---|---|---|
| Motor de arranque | Pilotos y asistentes internos | Valor de negocio, uso y costo |
| Intermedio | Agentes integrados a un proceso | Suma calidad de respuestas, operación y escalamientos a personas. |
| Constructor | Varios agentes, acciones sobre sistemas y clientes. | Suma trazabilidad completa, auditoría, desvíos y controles de riesgo. |
En Strata: Ofrecemos un marco de observabilidad que se adapta al nivel de adopción de cada empresa y cada caso de uso, organizado en tres niveles: Starter, Intermediate y Builder. Empezamos por lo esencial y sumamos capas a medida que la organización y sus agentes maduran.
Para el negocio: control real sobre los agentes, en la medida justa para cada etapa.
5. Cuatro preguntas que respondemos juntos
Antes de poner un agente en producción, trabajamos con tu equipo para responder cuatro preguntas:
- Valor: ¿Qué indicador de negocio tiene que mover este agente, y cuál es su línea base?
- Calidad: ¿Cómo sabemos que sus respuestas y acciones son correctas?
- Control: ¿Quién revisa lo que hace el agente y cuándo interviene una persona?
- Madurez: ¿Qué nivel de observabilidad necesita hoy la organización, y cuál va a necesitar mañana?
Si alguna no tiene respuesta, no es un “no” definitivo: es la señal de qué hay que resolver primero.
¿Tu empresa ya tiene agentes en marcha, o está por diseñar el primero?
En Strata acompañamos cada caso de uso con un marco de observabilidad que empieza en el relevamiento y crece con tu adopción. Escribinos y conversamos.
Sobre el autor
Jonathan De San Joaquin, Product Manager AI Solutions, en Strata Analytics Group, una compañía de análisis de datos e inteligencia artificial que ayuda a organizaciones de Latinoamérica a desarrollar sistemas de IA accesibles, conscientes del contexto y culturalmente adaptables en los sectores de telecomunicaciones, finanzas, retail y salud.