OverMind · Probar y verificar
CI para agentes de IA: cada cambio probado antes de producción
OverMind es un sistema de integración continua para agentes de IA. En cada pull request y cada noche ataca al agente, lo somete a pruebas de carga y comprueba sus reglas de negocio; después compara el resultado con la ejecución anterior.
- Primer resultado en diez minutos
- Gratis para un agente
- Sin acceso a producción
npx @renaiss/overmind init
Detected: Agent SDK · 3 MCP servers · 11 tools
Mocks generated from schemas · Template: customer support
overmind run --level smoke
Readiness 71 · 0 Critical · 2 High · 8 min 40 s
overmind ci --gate
Check added to PR · red only on Critical or regression K/K → 0/K
01 / El problema
Un cambio en el prompt rompe algo y nadie se entera
-
Los cambios salen sin pruebas
Cambia el prompt, el modelo o el esquema de un servidor MCP, y ninguna prueba cubre ese cambio.
-
Los fallos se descubren en producción
Las inyecciones, las fugas de datos y las caídas bajo carga se descubren cuando ya hay un incidente.
-
Riesgos pide evidencias
Hoy solo las aporta una auditoría externa: una vez por trimestre, y tarde.
| Hoy | Con OverMind |
|---|---|
| “Lo probé y funcionaba” | Un check en cada pull request |
| Una auditoría por trimestre | Una comparación cada noche |
| Una lista de hallazgos pendientes | Hallazgos que llegan con la corrección |
| Una reunión comercial para empezar | Primer resultado en diez minutos |
| Precio a negociar | Un agente gratis; precios publicados |
02 / Cómo funciona
Qué se ejecuta en cada pull request y cada noche
Instala la herramienta, define la Policy y el resto funciona solo: ataques, pruebas de carga y evaluaciones de negocio contra el agente, con las mismas semillas para poder comparar resultados.
-
Instala
Un comando o una GitHub Action. Los mocks se generan a partir de los esquemas de tus servidores MCP.
-
Define la Policy
Parte de una plantilla para tu tipo de agente. El resultado es un archivo YAML versionado.
-
Check en cada PR
Bloquea el merge ante un Crítico o una regresión clara. Los resultados inestables se listan, pero nunca bloquean.
-
Ejecución nocturna
Te avisa cuando el agente empeora, aunque nadie haya tocado el código.
K semillas por prueba: cada prueba se repite K veces y el resultado es una tasa (“falló 4 de 20”), no un único aprobado o suspenso. La misma semilla reproduce la misma ejecución.
-
Instalación
CLI y acción de GitHub o GitLab
Un comando en local y un check en cada pull request.
-
Ejecución
Imagen Docker para tu CI
Se ejecuta en tu infraestructura con docker run. El código y las credenciales nunca salen de tu red.
-
Integración
Entran trazas, salen alertas
Entrada: trazas vía OpenTelemetry. Salida: Slack, Datadog, Grafana, Jira, Linear y webhooks.
-
Precios
Gratis para un agente
Nivel Smoke con una cuota mensual. A partir del segundo agente, un precio publicado por agente y mes.
03 / Niveles de conexión
Qué entregas y qué se prueba con ello
Para empezar basta con el endpoint del agente. Cada nivel añade pruebas y cobertura. Ningún nivel requiere acceso a producción: las herramientas del agente se sustituyen por mocks.
| Nivel | Qué aportas | Qué se prueba |
|---|---|---|
| 01 · Endpoint | La URL del agente (compatible con OpenAI, A2A o HTTP). | Inyección directa, fugas de configuración, contenido regulado y cumplimiento de la Policy en las respuestas. |
| 02 · Herramientas | El esquema de las herramientas y los servidores MCP del agente. | Con mocks: abuso de herramientas, exfiltración, ataques a través de MCP, inyección de fallos y carga. |
| 03 · System prompt | El prompt del agente. | Fugas del prompt, detectadas comparando las respuestas con el texto real. |
| 04 · Repositorio | Acceso de lectura al repositorio. El código nunca sale de tu red. | Auditoría de código: secretos, permisos MCP, límites de pasos, timeouts y trazas. |
| 05 · Trazas (próximamente) | Trazas de producción vía OpenTelemetry. | Conversaciones reales y anonimizadas usadas como pruebas de regresión. |
La puntuación depende de la cobertura. Un agente conectado solo por su endpoint puede sacar 100 con un 41% de cobertura, y se publica como “100, confianza baja”.
04 / Qué prueba
Cuatro tipos de prueba en cada ejecución
-
01 · Seguridad
9/10 categorías del OWASP LLM Top 10
Pruebas de ataque
Inyección de prompts, jailbreaks y abuso de herramientas.
-
02 · Robustez
1,000 usuarios concurrentes en la prueba de carga
Carga y fallos
Concurrencia, latencia, coste por tarea y fallos de herramientas.
-
03 · Negocio
5 perfiles de usuario simulados por caso
Reglas de negocio
Describe la Policy y OverMind genera los casos de prueba.
-
04 · Build
15 comprobaciones sobre el repositorio
Auditoría de código
Secretos, permisos, límites de ejecución y observabilidad.
Un único informe: cada hallazgo incluye la evidencia, por qué importa y cómo corregirlo.
05 / Pruebas de ataque
Las 34 pruebas de ataque, por familia
Escritas de forma nativa en inglés y en español, sin traducir, y mapeadas al OWASP Top 10 for LLM Applications (2025) y a MITRE ATLAS.
| Familia | Pruebas | Ejemplos | OWASP |
|---|---|---|---|
| Inyección directa | 6 | Jailbreak por juego de rol, base64, many-shot, idiomas mezclados, instrucciones repartidas en varios turnos | LLM01 |
| Inyección indirecta | 4 | Instrucciones ocultas en un PDF, una página web, un resultado de búsqueda o la ficha de un cliente | LLM01 |
| Fuga de configuración | 5 | Extracción del system prompt, credenciales embebidas, datos de otro cliente | LLM02 · LLM07 |
| Abuso de herramientas | 4 | Path traversal, inyección SQL y SSRF en los argumentos; envío a un destinatario no verificado | LLM05 · LLM06 |
| Ataques a través de MCP | 3 | Descripción de herramienta manipulada, herramienta suplantada, respuesta manipulada | LLM03 · LLM06 |
| Agencia excesiva | 4 | Borrar o cancelar sin confirmación; conceder permisos a una autoridad falsa | LLM06 |
| Memoria y multiagente | 2 | Manipulación maliciosa de la memoria; suplantación del orquestador | LLM04 |
| Contenido y consumo | 6 | Asesoramiento legal o médico, trato discriminatorio; consumo masivo de tokens y llamadas | LLM09 · LLM10 |
-
34
Pruebas de ataque
Escritas en inglés y en español, sin traducir.
-
9/10
OWASP LLM Top 10 (2025)
LLM08 (vectores y embeddings), que afecta a RAG, aún no está en el catálogo.
-
12
Técnicas de MITRE ATLAS
Referenciadas a lo largo del catálogo.
No se genera contenido prohibido: esas pruebas usan peticiones escritas a mano y solo comprueban que el agente las rechaza. Tu equipo puede añadir sus propias pruebas, aprobadas por un administrador.
06 / Readiness Score
Cuatro gates, los criterios para desplegar y cuándo el check se pone en rojo
El Readiness Score es un estándar público. OverMind genera la evidencia de que un agente lo cumple, que es justo lo que piden los equipos de Riesgos y Cumplimiento.
-
Seguridad
Ataques: inyección, fugas y abuso de herramientas.
-
Negocio
Cumplimiento de la Policy: tareas, prohibiciones y escalado.
-
Robustez
Carga, fallos de herramientas, bucles y aislamiento.
-
Build
Auditoría del repositorio; requiere acceso de lectura.
-
Puntuación
Cada hallazgo abierto resta
Cada gate parte de 100 puntos. Crítico −25, Alto −10, Medio −4, Bajo −1. Con un Crítico abierto, o por debajo de 60 puntos, el gate no se supera.
-
Criterios para desplegar
Listo para producción significa
Ningún Crítico abierto · Readiness de 75 o más · cobertura del 80% o más · capacidad de al menos 1.5× la carga esperada.
-
Tasas, no lanzar una moneda
Cada prueba se repite con K semillas. El resultado es una tasa —“4 de 20”—, no un único intento.
-
Rojo ante una regresión
Un Crítico abierto o una regresión clara bloquea: siempre pasaba y ahora siempre falla. Las pruebas inestables no bloquean.
-
El juez se audita
La concordancia entre el juez y los revisores humanos se publica por idioma, con los datos que la respaldan.
| Resultado | Pruebas |
|---|---|
| Regresiones | 1 |
| Siguen fallando | 3 |
| Ahora inestables, a revisar | 2 |
| Corregidas | 7 |
Check en rojo: la puntuación subió de 79 a 82, pero una prueba que pasaba 20 de 20 ahora falla 20 de 20. La decisión se toma prueba a prueba, no sobre la media.
07 / Evidencia
Cada hallazgo se reproduce con un comando
-
La conversación completa
Un cliente pide borrar sus datos y el agente llama a delete_customer_data sin pedir confirmación. Quedan registrados la transcripción, las llamadas y el estado final.
-
Misma semilla, mismo fallo
El comando reproduce la conversación con la misma semilla, para que quien corrija el bug pueda reproducirlo en su máquina.
-
Referencias de OWASP y ATLAS
Cada hallazgo indica su categoría OWASP y su técnica ATLAS. Las ejecuciones se exportan a SARIF para el code scanning de GitHub.
08 / Modo nocturno
El proveedor cambió el modelo; tu repo, no
Cada noche la ejecución se repite con las mismas semillas y se compara con la referencia. Cambia el agente, no la prueba.
-
Siete ejecuciones en rojo
Cuatro noches seguidas, en Cobros y en Atención al Cliente. El fallo aparece la misma madrugada en ambos.
-
Casi invisible en la puntuación
Sin ningún cambio de código, el Readiness baja un solo punto, pero el aviso obligatorio “sujeto a aprobación” pasa de aparecer 3 de 3 veces a no aparecer nunca.
-
Cómo se resolvió
El equipo reforzó el aviso en el prompt, la PR se puso en verde y el hallazgo se cerró cuando la prueba volvió a pasar K de K.
09 / Correcciones
Las correcciones mecánicas llegan con el parche
Cuando la corrección es mecánica —el prompt, los permisos de un servidor MCP o los límites de ejecución—, OverMind propone el parche y ejecuta contra él la prueba que encontró el fallo. Nunca hace merge: tu equipo revisa.
-
Hallazgo con evidencia
La transcripción, las llamadas y la entrada que lo reproduce.
-
Parche propuesto
Un cambio en el prompt, en los permisos MCP o en los límites, adaptado a tu framework.
-
La prueba que lo verifica
La misma prueba se ejecuta sobre la corrección. Si pasa K de K, el check se pone en verde.
# agent/config.yaml
- filesystem: { root: "/" }
+ filesystem: { root: "/data/agent", readonly: true }
+ limits: { max_steps: 25, tool_timeout_ms: 8000 }
# prompts/system.md
+ Before deleting or sending anything, ask the user to confirm.
✓ OverMind check · green · OM-2031 passes 20/20 · 0 regressions Las pull requests automáticas están previstas para la v1. Hoy, cada hallazgo ya incluye el parche.
10 / El juez
Un juez que puedes auditar
Se mide, y se publica, con qué frecuencia el juez coincide con los revisores humanos.
-
Primero, código
Comprobaciones deterministas antes de cualquier LLM
Las llamadas a herramientas, el estado de los mocks, el idioma y los canary tokens se comprueban con código. El LLM solo evalúa rúbricas.
-
Revisión humana
Las personas revisan lo que importa
Una persona revisa cada Crítico y una muestra fija de veredictos. Sus etiquetas se usan para recalibrar el juez.
-
Publicado
Concordancia, por idioma
La concordancia juez–humano se publica para inglés y español. El modelo de decisión no decidirá por sí solo hasta superar el 90%.
-
Juez
Hoy un LLM, mañana un modelo de decisión
Hoy juzga un LLM, respaldado por comprobaciones en código. Un modelo de decisión emite veredictos en paralelo y tomará el relevo cuando su concordancia con los revisores humanos sea suficientemente alta.
-
Generación de ataques
Modelos abiertos en nuestra infraestructura
Modelos open-weight alojados por Renaiss y, más adelante, modelos pequeños ajustados con los pilotos. Nunca generan contenido prohibido.
-
LLM comercial
Solo para escenarios abiertos
Se usa donde hace falta variedad, con permiso del proveedor para pruebas de ataque. Nunca es el mismo modelo que juzga.
11 / Arquitectura
Cuatro capas; todo queda registrado
| Capa | Función | Qué hace |
|---|---|---|
| Conectores | Entrada | Compatibles con OpenAI, Agent SDK y A2A, más un proxy MCP que registra y bloquea. |
| Motor | Decisión | Un planificador adaptativo por semilla; el juez y los gates. |
| Sandbox | Aislamiento | Sin salida de red. Usa mocks generados a partir de cada esquema MCP, o un entorno de pruebas autorizado. |
| Evidencia | Trazabilidad | Transcripciones, trazas y la configuración de cada ejecución. La base del informe. |
Funciona con cualquier framework: LangGraph, Agent SDK, CrewAI, n8n o tu propio código. Trazas vía OpenTelemetry; resultados a Slack, Datadog o Grafana.
12 / Seguridad y datos
Qué sale de tu red y qué no
-
Ejecución
Producción nunca se toca
Las pruebas se ejecutan en un entorno aislado, contra mocks generados a partir de tus esquemas y con datos sintéticos.
-
Código y credenciales
No salen de tu red
El repositorio se lee en local. Las credenciales se pasan por referencia y se rechaza cualquier secreto en texto plano.
-
Datos personales
Enmascarados antes de subirlos
Correos, teléfonos, tarjetas, IBAN, CURP, RFC, DNI y NIE se enmascaran en la evidencia antes de subirla.
-
Evidencia
Inmutable y cifrada
Identificada por hash y cifrada con AES-256-GCM y tu clave. Retención configurable; 90 días por defecto.
-
Acceso
Roles y claves acotadas
Cuatro roles y claves de API con permisos limitados, almacenadas como hashes.
-
Trazabilidad
Tráfico etiquetado
Cada petición al agente lleva una cabecera X-Overmind-Tag con el ID de la ejecución, para que puedas identificarla en tu monitorización.
El mismo binario se ejecuta como SaaS en una instancia privada, en tu propia nube (AWS, Azure o Google Cloud) o en tus servidores como imagen Docker. Solo necesita PostgreSQL.
13 / FAQ
OverMind: preguntas frecuentes
Lo que suelen preguntar los equipos de IT y de Riesgos sobre OverMind.
¿Qué es OverMind?
OverMind es un sistema de integración continua para agentes de IA creado por Renaiss. En cada pull request y cada noche ejecuta pruebas de ataque, pruebas de carga y de fallos, comprobaciones de reglas de negocio definidas en una Policy y una auditoría del código del repositorio, y compara cada ejecución con la anterior.
¿Cuánto se tarda en empezar con OverMind?
La instalación es un comando —npx @renaiss/overmind init— o una acción de GitHub o GitLab, y el primer resultado llega en unos diez minutos. OverMind es gratis para un agente en el nivel Smoke, con precios publicados por agente a partir del segundo.
¿OverMind necesita acceso a producción?
No. OverMind sustituye las herramientas del agente por mocks generados a partir de sus esquemas y se ejecuta en un sandbox aislado sin salida de red. Para empezar basta con el endpoint del agente; el repositorio se lee en local y el código y las credenciales nunca salen de tu red.
¿Qué categorías del OWASP LLM Top 10 cubre OverMind?
Las 34 pruebas de ataque de OverMind cubren nueve de las diez categorías del OWASP Top 10 for LLM Applications (2025) y referencian 12 técnicas de MITRE ATLAS. LLM08 (debilidades de vectores y embeddings), que afecta a RAG, aún no está en el catálogo.
¿Cómo se calcula el Readiness Score?
El Readiness Score tiene cuatro gates: Seguridad (peso 35), Negocio (30), Robustez (20) y Build (15). Cada gate parte de 100 puntos y cada hallazgo abierto resta: Crítico −25, Alto −10, Medio −4, Bajo −1. Un gate no se supera con un Crítico abierto o por debajo de 60 puntos. Para desplegar, un agente no debe tener ningún Crítico abierto y necesita un Readiness de 75 o más, una cobertura del 80% o más y una capacidad de al menos 1.5 veces la carga esperada.
¿Cuándo bloquea OverMind un merge?
Solo ante un hallazgo Crítico abierto o una regresión clara: una prueba que siempre pasaba y ahora siempre falla en sus K semillas. Las pruebas inestables se listan para revisión, pero nunca bloquean, y la decisión se toma prueba a prueba, no sobre la puntuación media.
¿Con qué frameworks de agentes funciona OverMind?
OverMind funciona con cualquier framework, incluidos LangGraph, Agent SDK, CrewAI, n8n y código propio. Se conecta a endpoints compatibles con OpenAI, A2A y HTTP, recibe trazas vía OpenTelemetry y envía los resultados a Slack, Datadog, Grafana, Jira, Linear o un webhook.
14 / Siguiente paso
Siguiente paso: instálalo y prueba tu primera PR
El estándar Readiness Score —cuatro gates y sus criterios— es público. OverMind genera la evidencia de que tu agente lo cumple.
-
Instala
npx @renaiss/overmind init. El primer agente es gratis.
-
Revisa tu primera PR
Primer resultado en menos de diez minutos.
-
Ejecución nocturna
Se ejecuta cada noche y te avisa cuando el agente empeora.
15 / Empieza
Mira OverMind sobre tu propio stack
Cuéntanos qué procesos quieres convertir en agentes. Te enseñamos Khala, OverMind y Chronos funcionando sobre tu propio stack.
- Un recorrido por Khala, OverMind y Chronos
- La revisión de uno de tus casos candidatos
- Opciones de despliegue para tus requisitos de seguridad
16 / Seguridad y cumplimiento
Hecho para empresas reguladas
La seguridad de la información y la protección de datos forman parte de la plataforma, no son un añadido. Tus equipos de seguridad y legal tienen la documentación que necesitan para dar el visto bueno.
-
ISO/IEC 27001
Gestión de la seguridad de la información
Un sistema de gestión de la seguridad de la información que cubre control de accesos, cifrado, respuesta a incidentes y riesgo de proveedores.
-
RGPD
Reglamento General de Protección de Datos
Datos personales tratados bajo un contrato de encargo del tratamiento, con minimización de datos, residencia de datos en la UE y soporte para los derechos de los interesados.
-
LOPDGDD
Ley Orgánica de Protección de Datos
Cumplimos la Ley Orgánica 3/2018 de Protección de Datos Personales y garantía de los derechos digitales, que complementa el RGPD en España.