Cómo saber si la IA está rindiendo.
Una herramienta de IA puede estar instalada, funcionar bien en las pruebas y no aportar nada a la operación. Para saberlo no hace falta un modelo financiero: alcanza con tres preguntas y una línea base.
Primero, la línea base
Sin un punto de comparación, cualquier número parece bueno. Antes de poner en marcha una herramienta conviene registrar cómo se hace hoy la tarea: cuántas veces por semana, cuánto tarda cada una, quién la hace y con qué frecuencia hay que corregirla. No necesita ser perfecto; necesita existir. Una muestra de un par de semanas suele alcanzar para empezar.
Tres preguntas: ¿se usa?, ¿resuelve?, ¿cuánto cuesta?
| Pregunta | Indicadores simples | Qué indica si sale mal |
|---|---|---|
| ¿Se usa? | Tareas procesadas por la herramienta; porcentaje del volumen total que pasa por ella; personas que la usan cada semana. | Problema de adopción o de diseño: la herramienta no encaja en cómo trabaja el equipo. |
| ¿Resuelve? | Tiempo por tarea frente a la línea base; correcciones necesarias; casos derivados a una persona; alertas resueltas sobre alertas generadas. | Problema de calidad: datos de origen malos, reglas mal definidas o un caso de uso que no conviene automatizar. |
| ¿Cuánto cuesta? | Licencias o consumo del modelo; infraestructura; horas de revisión humana; mantenimiento y ajustes. | Problema de diseño o de alcance: el costo de operar supera lo que se gana. |
El orden importa. Si la herramienta no se usa, no tiene sentido discutir si resuelve. Si no resuelve, no tiene sentido optimizar su costo.
El costo que casi nadie cuenta
En un proceso con Human in the loop, una persona revisa o aprueba parte de lo que hace la IA. Ese tiempo es parte del costo. Una herramienta que ahorra media hora de carga pero exige veinte minutos de revisión rinde bastante menos de lo que parece. Medir las horas de revisión también muestra dónde conviene ajustar: si casi todo se aprueba sin cambios, quizás se pueda subir el nivel de autonomía; si casi todo se corrige, el problema está antes.
Cuidado con el ahorro estimado
Es tentador calcular el ahorro multiplicando lo que el sistema detectó por un precio. Ese número no es un ahorro: es un potencial. En un control de combustible, por ejemplo, el ahorro real aparece solo cuando alguien revisa la alerta, confirma que había un desvío y hace algo al respecto. Por eso se mide la cadena completa:
- Alertas generadas.
- Alertas asignadas a una persona.
- Alertas revisadas.
- Desvíos confirmados.
- Acciones tomadas, y su resultado.
Donde la cadena se corta, ahí está el trabajo pendiente. Lo explicamos con más detalle en Detectar no es ahorrar.
Cada cuánto revisar, y qué decidir
En las primeras semanas conviene mirar los indicadores seguido, porque es cuando aparecen los ajustes más baratos. Después, una revisión mensual alcanza. Cada revisión debería terminar en una de tres decisiones:
- Seguir, porque se usa, resuelve y el costo cierra.
- Ajustar las reglas, los datos de origen, la interfaz o el punto de revisión humana.
- Apagar, si después de ajustar sigue sin rendir. Apagar una herramienta que no funciona también es un buen resultado: libera costo y atención.
Preguntas frecuentes
Preguntas directas
¿Qué indicador conviene mirar primero?
El uso: cuántas tareas pasan por la herramienta y cuántas personas la usan. Si no se usa, los demás indicadores no dicen nada.
¿Cómo se calcula el costo real de una herramienta de IA?
Sumando licencias o consumo del modelo, infraestructura, mantenimiento y las horas de las personas que revisan o corrigen lo que hace la herramienta.
¿Se puede medir el retorno sin inventar un ahorro?
Sí. Se compara contra una línea base registrada antes de empezar y se cuenta solo lo que efectivamente cambió: tiempo por tarea, errores corregidos y acciones tomadas sobre lo detectado.
Para seguir
