ΣRED SIGMA IA← Volver al Blog
← Todos los artículos
IA AGÉNTICA, COMERCIO Y AUTORIZACIÓN

Visa prueba agentes de IA y casi la mitad falla al comprar

El nuevo benchmark de Visa encontró que los modelos todavía tienen problemas para descubrir todas las necesidades de un comprador y tomar una decisión correcta de compra o no compra.

Benchmark de Visa sobre agentes de inteligencia artificial y compras

La idea de pedirle a una inteligencia artificial que compre en nuestro nombre parece sencilla: describir el producto, indicar un presupuesto y esperar a que el agente encuentre la mejor opción. En la práctica, comprar no consiste únicamente en comparar precios. La persona puede tener requisitos implícitos, restricciones que revela solo si el sistema pregunta y condiciones que hacen que la decisión correcta sea no comprar nada.

Para medir ese problema, Visa presentó el Visa Agentic Commerce Benchmark, un conjunto de pruebas en el que 22 modelos de 12 laboratorios enfrentaron escenarios de compra realistas. El resultado difundido por la compañía fue contundente: los modelos fallaron en el 42.8% de las ejecuciones. En el 54% de esas ejecuciones fallidas, el agente terminó comprando algo que no cumplía los requisitos identificados o que se eligió antes de conocerlos todos.

Qué mide realmente: el benchmark no demuestra que una tarjeta Visa sea insegura ni que las compras reales estén fallando en esa proporción. Evalúa la capacidad de agentes de IA para descubrir necesidades, elegir correctamente o abstenerse. Visa indicó que las pruebas de checkout, pago y colocación de la orden se incorporarán en etapas posteriores.

La diferencia entre recomendar y ejecutar

Un asistente que recomienda puede equivocarse y dejar la decisión final en manos de una persona. Un agente que ejecuta tiene una responsabilidad diferente: interpreta instrucciones, navega catálogos, compara productos, decide si una opción cumple y puede iniciar una acción con consecuencias económicas. El error deja de ser una respuesta poco útil y se convierte en un pedido incorrecto, un gasto no previsto o una transacción difícil de revertir.

El benchmark obliga a separar dos capacidades. La primera es entender lo que el comprador realmente necesita. La segunda es actuar de acuerdo con esa información. Un modelo puede encontrar un televisor dentro del presupuesto, pero fallar porque no preguntó por la compatibilidad, el formato, la tecnología HDR o las necesidades de videojuegos. También puede identificar que no existe una opción adecuada y, en vez de detenerse, elegir una alternativa que viola una condición importante.

Por qué el 42.8% debe leerse con cuidado

El número es útil como señal de madurez, pero no debe convertirse en una afirmación universal sobre “la IA”. Los resultados dependen de los escenarios, las instrucciones, las herramientas disponibles, los límites de turnos y la definición de éxito. Visa explicó que el benchmark utiliza conversaciones simuladas en las que el cliente revela requisitos solo cuando el agente hace las preguntas correctas. El sistema debe decidir correctamente si compra o si no existe una opción que cumpla.

El resultado más preocupante no es únicamente el fallo, sino la acción posterior. Si un agente se equivoca pero no ejecuta, el usuario puede corregirlo. Si compra a pesar de no haber cumplido las condiciones, el sistema transforma una incertidumbre en una obligación. Por eso una arquitectura segura debe preferir el “no comprar todavía” cuando faltan datos, en lugar de premiar la iniciativa como si la autonomía fuera siempre positiva.

  1. Descubrimiento: preguntar por presupuesto, compatibilidad, uso, restricciones y preferencias.
  2. Verificación: comprobar que la opción seleccionada cumple todos los requisitos relevantes.
  3. Decisión: comprar solo si existe una coincidencia suficiente; en caso contrario, explicar la incertidumbre.
  4. Autorización: solicitar aprobación humana antes de una acción económica irreversible.
  5. Registro: conservar instrucciones, productos considerados, razones y confirmación final.

Los agentes pueden equivocarse de formas distintas

Una categoría de error es la omisión: el agente nunca pregunta por un requisito y compra una opción que parecía correcta. Otra es la interpretación: entiende “pequeño”, “compatible” o “económico” de manera distinta a la persona. También existe el error de consistencia: el modelo pasa una prueba y falla cuando recibe el mismo escenario otra vez, porque cambia de estrategia o pierde una condición durante la conversación.

En un entorno real se agregan riesgos de seguridad. Una página de producto puede contener instrucciones dirigidas al agente, texto diseñado para influir en sus decisiones o datos falsos sobre disponibilidad. Un catálogo, una reseña o un mensaje de un vendedor puede actuar como contenido no confiable. Si el agente tiene permisos para pagar, agregar productos al carrito o modificar una dirección, la manipulación del contexto puede producir un impacto directo.

Por eso las pruebas de compra deben incluir casos adversariales: productos con requisitos contradictorios, cambios de precio, inventario falso, instrucciones ocultas, devoluciones, compras duplicadas y solicitudes que mezclan información confiable con contenido no confiable. La seguridad debe evaluar la cadena completa, no solo la precisión de la recomendación.

El problema de la autorización

La pregunta más importante no es si el agente puede comprar, sino qué permiso recibió exactamente. “Compra una laptop” no autoriza necesariamente cualquier laptop, cualquier vendedor o cualquier precio. El permiso debe incluir límites: presupuesto máximo, categorías, comercios autorizados, moneda, plazo de entrega y una condición de confirmación antes del pago.

La autorización también debe ser revocable. Si una cuenta se compromete, el usuario debe poder cancelar tokens, sesiones y permisos sin depender de que el agente coopere. Las credenciales de pago no deberían quedar expuestas al modelo ni guardarse en el texto de la conversación. Son preferibles tokens de uso limitado, controles de monto, aprobación de alto riesgo y separación entre el agente que busca y el servicio que autoriza.

Principio de diseño: separar la intención, la recomendación y la autorización. El agente puede buscar; una política puede validar; y la red de pagos o el usuario pueden autorizar la operación final.

Qué deben hacer comercios y plataformas

Los comercios que reciban tráfico de agentes necesitan identificar de forma confiable quién solicita una acción, a quién representa y con qué permisos actúa. Un bot anónimo puede parecer un agente legítimo, pero no ofrece garantías sobre la identidad del usuario ni sobre los límites de la compra. Los protocolos de comercio agéntico buscan resolver esa relación con credenciales delegadas, señales de identidad y permisos verificables.

La experiencia de compra también debe ser tolerante al error. Un agente puede crear una orden duplicada, elegir una variante equivocada o interpretar mal una promoción. La plataforma debería ofrecer confirmaciones claras, idempotencia, cancelación, límites de frecuencia y trazabilidad. El comercio no puede asumir que cada acción automatizada representa una intención humana precisa.

Una guía de evaluación para empresas

  1. Definir casos permitidos: empezar por compras de bajo riesgo y con límites claros.
  2. Clasificar acciones: separar lectura, recomendación, carrito, compra, reembolso y cambio de datos.
  3. Exigir aprobación: pedir confirmación para montos altos, proveedores nuevos o cambios de dirección.
  4. Probar fallos: simular requisitos ocultos, datos contradictorios, contenido malicioso y compras repetidas.
  5. Proteger secretos: usar tokens acotados y no entregar al modelo credenciales permanentes.
  6. Auditar decisiones: guardar la intención original, el contexto, la opción elegida y la autorización.

El benchmark de Visa no demuestra que los agentes estén listos o que no puedan utilizarse. Muestra algo más útil: la autonomía necesita una métrica que mida la calidad de la decisión completa, no solo la capacidad de encontrar un producto. Cuando una IA puede actuar sobre dinero, la precisión, la identidad, el permiso y la reversibilidad deben evaluarse juntos.

El futuro del comercio agéntico no dependerá únicamente de modelos más grandes. También necesitará protocolos que permitan reconocer al agente, limitar su actuación, confirmar la intención del usuario y demostrar qué ocurrió después. Una compra automatizada segura no es la que evita toda intervención humana; es la que sabe cuándo preguntar, cuándo detenerse y cómo dejar un registro verificable.

Fuente principal: Visa: Agentic Commerce Benchmark. El benchmark reportado por Visa es una prueba de investigación sobre modelos de IA y escenarios simulados; no equivale a una tasa de rechazos o fraudes en compras reales.