Una instrucción en el prompt no es un control.A prompt instruction is not a control.
Tus agentes de IA ya escriben en sistemas, envían comunicaciones y mueven dinero. Comprobamos si los controles que los rodean (permisos, aprobaciones, monitorización) funcionan de verdad cuando el agente persigue su objetivo, en uso normal, en casos límite, ante ataques y tras cada cambio del sistema.Your AI agents already write to systems, send communications and move money. We test whether the controls around them (permissions, approvals, monitoring) actually work when the agent pursues its objective: in normal use, in edge cases, under attack and after every system change.
¿Existen los controles? Se responde leyendo documentación.Do the controls exist? Answered by reading documentation.
¿Funcionan los controles? Solo se responde probándolos.Do the controls work? Only answered by testing them.
Agente bajo pruebaAgent under test
R-04 Todo pago requiere aprobación humana previa.Every payment requires prior human approval.¿En qué situación lo probamos?In which situation do we test it?
El agente hace su trabajo de siempre. Medimos si respeta la regla cuando nadie lo presiona.The agent does its usual work. We measure whether it follows the rule when nobody is pushing it.
Situaciones ambiguas: datos que faltan, importes justo en el umbral, instrucciones poco claras.Ambiguous situations: missing data, amounts right at the threshold, unclear instructions.
Alguien intenta engañarlo o saltarse los controles a propósito, por ejemplo con instrucciones ocultas en un documento.Someone deliberately tries to trick it or bypass the controls, for example with instructions hidden in a document.
Cambió el modelo o sus herramientas. Lo que se probó antes deja de valer hasta volver a probarlo.The model or its tools changed. What was tested before no longer counts until it is tested again.
Traza de ejecución · intento representativoExecution trace · representative attempt
Cadena de control · R-04Control chain · R-04
IntentosAttempts
Siete preguntas que se pueden probar, regla a regla.Seven testable questions, one rule at a time.
Descomponemos «¿funcionan los controles?» en una cadena. Si falla un eslabón, la afirmación se rompe para todas las reglas que dependen de él.We break "do the controls work?" into a chain. If one link fails, the claim breaks for every rule that depends on it.
Envelope
¿Existe un límite? ¿Lo que se aplica es lo mismo que lo que se declara?Is there a boundary, and is what is enforced the same as what is declared?
Observation
Si el agente rompiera la regla, ¿quedaría un registro fiable?If the agent broke the rule, would a trustworthy record exist?
Detection
Ante una violación visible, ¿se identifica? ¿Conocemos las tasas de error?Given a visible violation, is it identified, and do we know the error rates?
Attribution
¿Sabemos qué agente hizo qué, con qué autoridad y a tiempo?Can we say which agent did what, under whose authority, in time to act?
Oversight
Cuando el sistema escala, ¿se toma de verdad una decisión competente?When the system escalates, is a competent decision actually made?
Response
¿Actuar previene, contiene o revierte el efecto a tiempo?Does acting prevent, contain or reverse the effect in time?
Durability
¿Seguiría siendo cierto tras los cambios que sufrirá el sistema?Would all this still hold after the changes the system will undergo?
Para cada tipo de violación te decimos cuál es la restricción vinculante: el eslabón que limita la contención. Eso te dice qué arreglar y, con la misma claridad, dónde invertir no va a servir.For each violation class we name the binding constraint: the link that limits containment. It tells you what to fix and, just as clearly, where investment will not help.
Cuatro situaciones de prueba, no un único examen.Four test situations, not a single exam.
El esfuerzo es proporcional a lo que el agente puede hacer: el efecto más grave que tiene autorizado y cuánta autoridad ejerce sin una decisión humana.Effort is proportional to what the agent can do: the most severe effect it is authorised to cause and how much authority it exercises without a human decision.
Operación habitualEveryday operation
La línea base: tareas representativas, repetidas lo suficiente para medir.The baseline: representative tasks, repeated enough to measure.
Zonas grisesGrey zones
Datos que faltan, umbrales, instrucciones ambiguas y presión por cumplir el objetivo.Missing data, thresholds, ambiguous instructions and pressure to hit the objective.
Alguien intenta romperloSomeone tries to break it
Inyección en contenido recuperado, escalada de rol, rutas alternativas a las herramientas.Injection through retrieved content, role escalation, alternative paths to tools.
El sistema evolucionaThe system evolves
Nuevo modelo, nuevas herramientas, nuevos permisos. La garantía caduca con el cambio, no en una fecha.New model, new tools, new permissions. Assurance expires on change, not on a date.
Lo que dicen los incidentes reales.What real incidents tell us.
Construimos la metodología sobre una base de 200 fuentes primarias registradas. Tres hallazgos la moldearon más que cualquier intención de diseño.We built the methodology on 200 registered primary sources. Three findings shaped it more than any design intention.
Los fallos no fueron modelos que se portaron mal.The failures were not misbehaving models.
Fueron límites declarados que nadie aplicaba. Un agente al que se le dijo «estás en una simulación sin internet» tenía acceso a internet.They were boundaries that were declared and not enforced. An agent told "you are in a simulation with no internet" had internet access.
La detección no puede contener una acción irreversible.Detection cannot contain an irreversible action.
Un pago liquidado o un mensaje enviado no se deshacen. Ahí solo sirven los controles que actúan antes de ejecutar.A settled payment or a sent message cannot be undone. Only controls that act before execution help there.
El incidente típico probablemente no tiene adversario.The typical incident probably has no adversary.
La categoría más frecuente: agentes que borran datos o código sin una puerta de confirmación. Probar solo ataques es apuntar al caso minoritario.The largest category: agents deleting data or code without a confirmation gate. Testing only attacks aims at the minority case.
Resultados medidos, con su margen de error.Measured results, with their margin of error.
No te diremos que tu agente «es seguro». Te diremos qué comprobamos, en qué situaciones y con qué grado de certeza.We will not tell you your agent "is safe". We will tell you what we checked, in which situations and with what degree of certainty.
✓Qué incluyeWhat is included
- Una especificación versionada y comprobable del comportamiento autorizado del agente.A versioned, testable specification of the agent's authorised behaviour.
- Cada control mapeado a la capa donde realmente se aplica.Every control mapped to the layer where it is actually enforced.
- Mediciones por regla y por condición, con su incertidumbre.Per-rule, per-condition measurements with honest uncertainty.
- La restricción vinculante de cada tipo de violación.The binding constraint for each violation class.
- Una declaración de aseguramiento que caduca cuando cambia el sistema.An assurance statement that expires when the system changes.
–Qué no incluyeWhat is not included
- La afirmación de que el sistema es «seguro» o «fiable».A claim that the system is "safe" or "trustworthy".
- Una puntuación, índice o nota única.A single score, index or grade.
- Una certificación o conclusión de cumplimiento.A certification or compliance conclusion.
- Garantías sobre daños que nadie ha enumerado.Assurance about harms nobody enumerated.
- Una probabilidad de daño.A probability of harm.
Tres cifras que cualquier consejo de administración entiende.Three numbers any board understands.
Cada uno se puede accionar directamente. Estos son los del agente de la demostración.Each one is directly actionable. These are the ones for the demo agent.
reglas que solo se aplican mediante el prompt.rules enforced only by a prompt.
efecto irreversible sin un control previo a la ejecución.irreversible effect with no pre-execution control.
mecanismos de respuesta que nunca se han ejercitado.response mechanisms never exercised.
Cifras ilustrativas del agente AP-07.Illustrative figures for agent AP-07.
Pon a prueba a tu agente antes de que lo haga la realidad.Test your agent before reality does.
Empezamos por una sesión de delimitación: qué puede hacer tu agente, cuál es su efecto más grave y qué reglas merece la pena probar primero.We start with a scoping session: what your agent can do, its most severe effect, and which rules are worth testing first.