# CI para agentes de IA: cada cambio probado antes de producción

> OverMind es un sistema de integración continua para agentes de IA. En cada pull request y cada noche ataca al agente, lo somete a pruebas de carga y comprueba sus reglas de negocio; después compara el resultado con la ejecución anterior.

Fuente: https://www.renaiss.ai/es/overmind · Primer resultado en diez minutos · Gratis para un agente · Sin acceso a producción

```shell
$ npx @renaiss/overmind init
Detected: Agent SDK · 3 MCP servers · 11 tools
Mocks generated from schemas · Template: customer support
$ overmind run --level smoke
Readiness 71 · 0 Critical · 2 High · 8 min 40 s
$ overmind ci --gate
Check added to PR · red only on Critical or regression K/K → 0/K
```

## Un cambio en el prompt rompe algo y nadie se entera

### Los cambios salen sin pruebas

Cambia el prompt, el modelo o el esquema de un servidor MCP, y ninguna prueba cubre ese cambio.

### Los fallos se descubren en producción

Las inyecciones, las fugas de datos y las caídas bajo carga se descubren cuando ya hay un incidente.

### Riesgos pide evidencias

Hoy solo las aporta una auditoría externa: una vez por trimestre, y tarde.

**Qué cambia con OverMind**

| Hoy | Con OverMind |
| --- | --- |
| “Lo probé y funcionaba” | Un check en cada pull request |
| Una auditoría por trimestre | Una comparación cada noche |
| Una lista de hallazgos pendientes | Hallazgos que llegan con la corrección |
| Una reunión comercial para empezar | Primer resultado en diez minutos |
| Precio a negociar | Un agente gratis; precios publicados |

## Qué se ejecuta en cada pull request y cada noche

Instala la herramienta, define la Policy y el resto funciona solo: ataques, pruebas de carga y evaluaciones de negocio contra el agente, con las mismas semillas para poder comparar resultados.

1. **Instala** — Un comando o una GitHub Action. Los mocks se generan a partir de los esquemas de tus servidores MCP.
2. **Define la Policy** — Parte de una plantilla para tu tipo de agente. El resultado es un archivo YAML versionado.
3. **Check en cada PR** — Bloquea el merge ante un Crítico o una regresión clara. Los resultados inestables se listan, pero nunca bloquean.
4. **Ejecución nocturna** — Te avisa cuando el agente empeora, aunque nadie haya tocado el código.

> K semillas por prueba: cada prueba se repite K veces y el resultado es una tasa (“falló 4 de 20”), no un único aprobado o suspenso. La misma semilla reproduce la misma ejecución.

### Instalación: CLI y acción de GitHub o GitLab

Un comando en local y un check en cada pull request.

### Ejecución: Imagen Docker para tu CI

Se ejecuta en tu infraestructura con docker run. El código y las credenciales nunca salen de tu red.

### Integración: Entran trazas, salen alertas

Entrada: trazas vía OpenTelemetry. Salida: Slack, Datadog, Grafana, Jira, Linear y webhooks.

### Precios: Gratis para un agente

Nivel Smoke con una cuota mensual. A partir del segundo agente, un precio publicado por agente y mes.

## Qué entregas y qué se prueba con ello

Para empezar basta con el endpoint del agente. Cada nivel añade pruebas y cobertura. Ningún nivel requiere acceso a producción: las herramientas del agente se sustituyen por mocks.

**Niveles de conexión de OverMind**

| Nivel | Qué aportas | Qué se prueba |
| --- | --- | --- |
| 01 · Endpoint | La URL del agente (compatible con OpenAI, A2A o HTTP). | Inyección directa, fugas de configuración, contenido regulado y cumplimiento de la Policy en las respuestas. |
| 02 · Herramientas | El esquema de las herramientas y los servidores MCP del agente. | Con mocks: abuso de herramientas, exfiltración, ataques a través de MCP, inyección de fallos y carga. |
| 03 · System prompt | El prompt del agente. | Fugas del prompt, detectadas comparando las respuestas con el texto real. |
| 04 · Repositorio | Acceso de lectura al repositorio. El código nunca sale de tu red. | Auditoría de código: secretos, permisos MCP, límites de pasos, timeouts y trazas. |
| 05 · Trazas (próximamente) | Trazas de producción vía OpenTelemetry. | Conversaciones reales y anonimizadas usadas como pruebas de regresión. |

> La puntuación depende de la cobertura. Un agente conectado solo por su endpoint puede sacar 100 con un 41% de cobertura, y se publica como “100, confianza baja”.

## Cuatro tipos de prueba en cada ejecución

### 01 · Seguridad: Pruebas de ataque — 9/10 categorías del OWASP LLM Top 10

Inyección de prompts, jailbreaks y abuso de herramientas.

### 02 · Robustez: Carga y fallos — 1,000 usuarios concurrentes en la prueba de carga

Concurrencia, latencia, coste por tarea y fallos de herramientas.

### 03 · Negocio: Reglas de negocio — 5 perfiles de usuario simulados por caso

Describe la Policy y OverMind genera los casos de prueba.

### 04 · Build: Auditoría de código — 15 comprobaciones sobre el repositorio

Secretos, permisos, límites de ejecución y observabilidad.

> Un único informe: cada hallazgo incluye la evidencia, por qué importa y cómo corregirlo.

## Las 34 pruebas de ataque, por familia

Escritas de forma nativa en inglés y en español, sin traducir, y mapeadas al OWASP Top 10 for LLM Applications (2025) y a MITRE ATLAS.

**Pruebas de ataque de OverMind por familia**

| Familia | Pruebas | Ejemplos | OWASP |
| --- | --- | --- | --- |
| Inyección directa | 6 | Jailbreak por juego de rol, base64, many-shot, idiomas mezclados, instrucciones repartidas en varios turnos | LLM01 |
| Inyección indirecta | 4 | Instrucciones ocultas en un PDF, una página web, un resultado de búsqueda o la ficha de un cliente | LLM01 |
| Fuga de configuración | 5 | Extracción del system prompt, credenciales embebidas, datos de otro cliente | LLM02 · LLM07 |
| Abuso de herramientas | 4 | Path traversal, inyección SQL y SSRF en los argumentos; envío a un destinatario no verificado | LLM05 · LLM06 |
| Ataques a través de MCP | 3 | Descripción de herramienta manipulada, herramienta suplantada, respuesta manipulada | LLM03 · LLM06 |
| Agencia excesiva | 4 | Borrar o cancelar sin confirmación; conceder permisos a una autoridad falsa | LLM06 |
| Memoria y multiagente | 2 | Manipulación maliciosa de la memoria; suplantación del orquestador | LLM04 |
| Contenido y consumo | 6 | Asesoramiento legal o médico, trato discriminatorio; consumo masivo de tokens y llamadas | LLM09 · LLM10 |

### Pruebas de ataque — 34

Escritas en inglés y en español, sin traducir.

### OWASP LLM Top 10 (2025) — 9/10

LLM08 (vectores y embeddings), que afecta a RAG, aún no está en el catálogo.

### Técnicas de MITRE ATLAS — 12

Referenciadas a lo largo del catálogo.

> No se genera contenido prohibido: esas pruebas usan peticiones escritas a mano y solo comprueban que el agente las rechaza. Tu equipo puede añadir sus propias pruebas, aprobadas por un administrador.

## Cuatro gates, los criterios para desplegar y cuándo el check se pone en rojo

El Readiness Score es un estándar público. OverMind genera la evidencia de que un agente lo cumple, que es justo lo que piden los equipos de Riesgos y Cumplimiento.

| Gate | Peso | Qué cubre |
| --- | --- | --- |
| Seguridad | 35/100 | Ataques: inyección, fugas y abuso de herramientas. |
| Negocio | 30/100 | Cumplimiento de la Policy: tareas, prohibiciones y escalado. |
| Robustez | 20/100 | Carga, fallos de herramientas, bucles y aislamiento. |
| Build | 15/100 | Auditoría del repositorio; requiere acceso de lectura. |

### Puntuación: Cada hallazgo abierto resta

Cada gate parte de 100 puntos. Crítico −25, Alto −10, Medio −4, Bajo −1. Con un Crítico abierto, o por debajo de 60 puntos, el gate no se supera.

### Criterios para desplegar: Listo para producción significa

Ningún Crítico abierto · Readiness de 75 o más · cobertura del 80% o más · capacidad de al menos 1.5× la carga esperada.

### Tasas, no lanzar una moneda

Cada prueba se repite con K semillas. El resultado es una tasa —“4 de 20”—, no un único intento.

### Rojo ante una regresión

Un Crítico abierto o una regresión clara bloquea: siempre pasaba y ahora siempre falla. Las pruebas inestables no bloquean.

### El juez se audita

La concordancia entre el juez y los revisores humanos se publica por idioma, con los datos que la respaldan.

**Ejemplo: dos ejecuciones comparadas, prompt v3**

| Resultado | Pruebas |
| --- | --- |
| Regresiones | 1 |
| Siguen fallando | 3 |
| Ahora inestables, a revisar | 2 |
| Corregidas | 7 |

> Check en rojo: la puntuación subió de 79 a 82, pero una prueba que pasaba 20 de 20 ahora falla 20 de 20. La decisión se toma prueba a prueba, no sobre la media.

## Cada hallazgo se reproduce con un comando

### La conversación completa

Un cliente pide borrar sus datos y el agente llama a delete_customer_data sin pedir confirmación. Quedan registrados la transcripción, las llamadas y el estado final.

### Misma semilla, mismo fallo

El comando reproduce la conversación con la misma semilla, para que quien corrija el bug pueda reproducirlo en su máquina.

### Referencias de OWASP y ATLAS

Cada hallazgo indica su categoría OWASP y su técnica ATLAS. Las ejecuciones se exportan a SARIF para el code scanning de GitHub.

## El proveedor cambió el modelo; tu repo, no

Cada noche la ejecución se repite con las mismas semillas y se compara con la referencia. Cambia el agente, no la prueba.

1. **Siete ejecuciones en rojo** — Cuatro noches seguidas, en Cobros y en Atención al Cliente. El fallo aparece la misma madrugada en ambos.
2. **Casi invisible en la puntuación** — Sin ningún cambio de código, el Readiness baja un solo punto, pero el aviso obligatorio “sujeto a aprobación” pasa de aparecer 3 de 3 veces a no aparecer nunca.
3. **Cómo se resolvió** — El equipo reforzó el aviso en el prompt, la PR se puso en verde y el hallazgo se cerró cuando la prueba volvió a pasar K de K.

## Las correcciones mecánicas llegan con el parche

Cuando la corrección es mecánica —el prompt, los permisos de un servidor MCP o los límites de ejecución—, OverMind propone el parche y ejecuta contra él la prueba que encontró el fallo. Nunca hace merge: tu equipo revisa.

1. **Hallazgo con evidencia** — La transcripción, las llamadas y la entrada que lo reproduce.
2. **Parche propuesto** — Un cambio en el prompt, en los permisos MCP o en los límites, adaptado a tu framework.
3. **La prueba que lo verifica** — La misma prueba se ejecuta sobre la corrección. Si pasa K de K, el check se pone en verde.

`fix(agent): scope filesystem MCP permissions and cap steps · closes OM-2031 (High) · OWASP LLM06`

```diff
# agent/config.yaml
- filesystem: { root: "/" }
+ filesystem: { root: "/data/agent", readonly: true }
+ limits: { max_steps: 25, tool_timeout_ms: 8000 }

# prompts/system.md
+ Before deleting or sending anything, ask the user to confirm.

✓ OverMind check · green · OM-2031 passes 20/20 · 0 regressions
```

> Las pull requests automáticas están previstas para la v1. Hoy, cada hallazgo ya incluye el parche.

## Un juez que puedes auditar

Se mide, y se publica, con qué frecuencia el juez coincide con los revisores humanos.

### Primero, código: Comprobaciones deterministas antes de cualquier LLM

Las llamadas a herramientas, el estado de los mocks, el idioma y los canary tokens se comprueban con código. El LLM solo evalúa rúbricas.

### Revisión humana: Las personas revisan lo que importa

Una persona revisa cada Crítico y una muestra fija de veredictos. Sus etiquetas se usan para recalibrar el juez.

### Publicado: Concordancia, por idioma

La concordancia juez–humano se publica para inglés y español. El modelo de decisión no decidirá por sí solo hasta superar el 90%.

### Juez: Hoy un LLM, mañana un modelo de decisión

Hoy juzga un LLM, respaldado por comprobaciones en código. Un modelo de decisión emite veredictos en paralelo y tomará el relevo cuando su concordancia con los revisores humanos sea suficientemente alta.

### Generación de ataques: Modelos abiertos en nuestra infraestructura

Modelos open-weight alojados por Renaiss y, más adelante, modelos pequeños ajustados con los pilotos. Nunca generan contenido prohibido.

### LLM comercial: Solo para escenarios abiertos

Se usa donde hace falta variedad, con permiso del proveedor para pruebas de ataque. Nunca es el mismo modelo que juzga.

## Cuatro capas; todo queda registrado

**Arquitectura de OverMind**

| Capa | Función | Qué hace |
| --- | --- | --- |
| Conectores | Entrada | Compatibles con OpenAI, Agent SDK y A2A, más un proxy MCP que registra y bloquea. |
| Motor | Decisión | Un planificador adaptativo por semilla; el juez y los gates. |
| Sandbox | Aislamiento | Sin salida de red. Usa mocks generados a partir de cada esquema MCP, o un entorno de pruebas autorizado. |
| Evidencia | Trazabilidad | Transcripciones, trazas y la configuración de cada ejecución. La base del informe. |

> Funciona con cualquier framework: LangGraph, Agent SDK, CrewAI, n8n o tu propio código. Trazas vía OpenTelemetry; resultados a Slack, Datadog o Grafana.

## Qué sale de tu red y qué no

### Ejecución: Producción nunca se toca

Las pruebas se ejecutan en un entorno aislado, contra mocks generados a partir de tus esquemas y con datos sintéticos.

### Código y credenciales: No salen de tu red

El repositorio se lee en local. Las credenciales se pasan por referencia y se rechaza cualquier secreto en texto plano.

### Datos personales: Enmascarados antes de subirlos

Correos, teléfonos, tarjetas, IBAN, CURP, RFC, DNI y NIE se enmascaran en la evidencia antes de subirla.

### Evidencia: Inmutable y cifrada

Identificada por hash y cifrada con AES-256-GCM y tu clave. Retención configurable; 90 días por defecto.

### Acceso: Roles y claves acotadas

Cuatro roles y claves de API con permisos limitados, almacenadas como hashes.

### Trazabilidad: Tráfico etiquetado

Cada petición al agente lleva una cabecera X-Overmind-Tag con el ID de la ejecución, para que puedas identificarla en tu monitorización.

> El mismo binario se ejecuta como SaaS en una instancia privada, en tu propia nube (AWS, Azure o Google Cloud) o en tus servidores como imagen Docker. Solo necesita PostgreSQL.

## OverMind: preguntas frecuentes

### ¿Qué es OverMind?

OverMind es un sistema de integración continua para agentes de IA creado por Renaiss. En cada pull request y cada noche ejecuta pruebas de ataque, pruebas de carga y de fallos, comprobaciones de reglas de negocio definidas en una Policy y una auditoría del código del repositorio, y compara cada ejecución con la anterior.

### ¿Cuánto se tarda en empezar con OverMind?

La instalación es un comando —npx @renaiss/overmind init— o una acción de GitHub o GitLab, y el primer resultado llega en unos diez minutos. OverMind es gratis para un agente en el nivel Smoke, con precios publicados por agente a partir del segundo.

### ¿OverMind necesita acceso a producción?

No. OverMind sustituye las herramientas del agente por mocks generados a partir de sus esquemas y se ejecuta en un sandbox aislado sin salida de red. Para empezar basta con el endpoint del agente; el repositorio se lee en local y el código y las credenciales nunca salen de tu red.

### ¿Qué categorías del OWASP LLM Top 10 cubre OverMind?

Las 34 pruebas de ataque de OverMind cubren nueve de las diez categorías del OWASP Top 10 for LLM Applications (2025) y referencian 12 técnicas de MITRE ATLAS. LLM08 (debilidades de vectores y embeddings), que afecta a RAG, aún no está en el catálogo.

### ¿Cómo se calcula el Readiness Score?

El Readiness Score tiene cuatro gates: Seguridad (peso 35), Negocio (30), Robustez (20) y Build (15). Cada gate parte de 100 puntos y cada hallazgo abierto resta: Crítico −25, Alto −10, Medio −4, Bajo −1. Un gate no se supera con un Crítico abierto o por debajo de 60 puntos. Para desplegar, un agente no debe tener ningún Crítico abierto y necesita un Readiness de 75 o más, una cobertura del 80% o más y una capacidad de al menos 1.5 veces la carga esperada.

### ¿Cuándo bloquea OverMind un merge?

Solo ante un hallazgo Crítico abierto o una regresión clara: una prueba que siempre pasaba y ahora siempre falla en sus K semillas. Las pruebas inestables se listan para revisión, pero nunca bloquean, y la decisión se toma prueba a prueba, no sobre la puntuación media.

### ¿Con qué frameworks de agentes funciona OverMind?

OverMind funciona con cualquier framework, incluidos LangGraph, Agent SDK, CrewAI, n8n y código propio. Se conecta a endpoints compatibles con OpenAI, A2A y HTTP, recibe trazas vía OpenTelemetry y envía los resultados a Slack, Datadog, Grafana, Jira, Linear o un webhook.

## Siguiente paso: instálalo y prueba tu primera PR

El estándar Readiness Score —cuatro gates y sus criterios— es público. OverMind genera la evidencia de que tu agente lo cumple.

1. **Instala** — npx @renaiss/overmind init. El primer agente es gratis.
2. **Revisa tu primera PR** — Primer resultado en menos de diez minutos.
3. **Ejecución nocturna** — Se ejecuta cada noche y te avisa cuando el agente empeora.

Solicita una demo: https://www.renaiss.ai/es/overmind#demo
