OverMind · Probar y verificar

CI para agentes de IA: cada cambio probado antes de producción

OverMind es un sistema de integración continua para agentes de IA. En cada pull request y cada noche ataca al agente, lo somete a pruebas de carga y comprueba sus reglas de negocio; después compara el resultado con la ejecución anterior.

  • Primer resultado en diez minutos
  • Gratis para un agente
  • Sin acceso a producción
terminal
npx @renaiss/overmind init
Detected: Agent SDK · 3 MCP servers · 11 tools
Mocks generated from schemas · Template: customer support
overmind run --level smoke
Readiness 71 · 0 Critical · 2 High · 8 min 40 s
overmind ci --gate
Check added to PR · red only on Critical or regression K/K → 0/K

01 / El problema

Un cambio en el prompt rompe algo y nadie se entera

  • Los cambios salen sin pruebas

    Cambia el prompt, el modelo o el esquema de un servidor MCP, y ninguna prueba cubre ese cambio.

  • Los fallos se descubren en producción

    Las inyecciones, las fugas de datos y las caídas bajo carga se descubren cuando ya hay un incidente.

  • Riesgos pide evidencias

    Hoy solo las aporta una auditoría externa: una vez por trimestre, y tarde.

Qué cambia con OverMind
HoyCon OverMind
“Lo probé y funcionaba”Un check en cada pull request
Una auditoría por trimestreUna comparación cada noche
Una lista de hallazgos pendientesHallazgos que llegan con la corrección
Una reunión comercial para empezarPrimer resultado en diez minutos
Precio a negociarUn agente gratis; precios publicados

02 / Cómo funciona

Qué se ejecuta en cada pull request y cada noche

Instala la herramienta, define la Policy y el resto funciona solo: ataques, pruebas de carga y evaluaciones de negocio contra el agente, con las mismas semillas para poder comparar resultados.

  1. 01

    Instala

    Un comando o una GitHub Action. Los mocks se generan a partir de los esquemas de tus servidores MCP.

  2. 02

    Define la Policy

    Parte de una plantilla para tu tipo de agente. El resultado es un archivo YAML versionado.

  3. 03

    Check en cada PR

    Bloquea el merge ante un Crítico o una regresión clara. Los resultados inestables se listan, pero nunca bloquean.

  4. 04

    Ejecución nocturna

    Te avisa cuando el agente empeora, aunque nadie haya tocado el código.

K semillas por prueba: cada prueba se repite K veces y el resultado es una tasa (“falló 4 de 20”), no un único aprobado o suspenso. La misma semilla reproduce la misma ejecución.

  • Instalación

    CLI y acción de GitHub o GitLab

    Un comando en local y un check en cada pull request.

  • Ejecución

    Imagen Docker para tu CI

    Se ejecuta en tu infraestructura con docker run. El código y las credenciales nunca salen de tu red.

  • Integración

    Entran trazas, salen alertas

    Entrada: trazas vía OpenTelemetry. Salida: Slack, Datadog, Grafana, Jira, Linear y webhooks.

  • Precios

    Gratis para un agente

    Nivel Smoke con una cuota mensual. A partir del segundo agente, un precio publicado por agente y mes.

03 / Niveles de conexión

Qué entregas y qué se prueba con ello

Para empezar basta con el endpoint del agente. Cada nivel añade pruebas y cobertura. Ningún nivel requiere acceso a producción: las herramientas del agente se sustituyen por mocks.

Niveles de conexión de OverMind
NivelQué aportasQué se prueba
01 · EndpointLa URL del agente (compatible con OpenAI, A2A o HTTP).Inyección directa, fugas de configuración, contenido regulado y cumplimiento de la Policy en las respuestas.
02 · HerramientasEl esquema de las herramientas y los servidores MCP del agente.Con mocks: abuso de herramientas, exfiltración, ataques a través de MCP, inyección de fallos y carga.
03 · System promptEl prompt del agente.Fugas del prompt, detectadas comparando las respuestas con el texto real.
04 · RepositorioAcceso de lectura al repositorio. El código nunca sale de tu red.Auditoría de código: secretos, permisos MCP, límites de pasos, timeouts y trazas.
05 · Trazas (próximamente)Trazas de producción vía OpenTelemetry.Conversaciones reales y anonimizadas usadas como pruebas de regresión.

La puntuación depende de la cobertura. Un agente conectado solo por su endpoint puede sacar 100 con un 41% de cobertura, y se publica como “100, confianza baja”.

04 / Qué prueba

Cuatro tipos de prueba en cada ejecución

  • 01 · Seguridad

    9/10 categorías del OWASP LLM Top 10

    Pruebas de ataque

    Inyección de prompts, jailbreaks y abuso de herramientas.

  • 02 · Robustez

    1,000 usuarios concurrentes en la prueba de carga

    Carga y fallos

    Concurrencia, latencia, coste por tarea y fallos de herramientas.

  • 03 · Negocio

    5 perfiles de usuario simulados por caso

    Reglas de negocio

    Describe la Policy y OverMind genera los casos de prueba.

  • 04 · Build

    15 comprobaciones sobre el repositorio

    Auditoría de código

    Secretos, permisos, límites de ejecución y observabilidad.

Un único informe: cada hallazgo incluye la evidencia, por qué importa y cómo corregirlo.

05 / Pruebas de ataque

Las 34 pruebas de ataque, por familia

Escritas de forma nativa en inglés y en español, sin traducir, y mapeadas al OWASP Top 10 for LLM Applications (2025) y a MITRE ATLAS.

Pruebas de ataque de OverMind por familia
FamiliaPruebasEjemplosOWASP
Inyección directa6Jailbreak por juego de rol, base64, many-shot, idiomas mezclados, instrucciones repartidas en varios turnosLLM01
Inyección indirecta4Instrucciones ocultas en un PDF, una página web, un resultado de búsqueda o la ficha de un clienteLLM01
Fuga de configuración5Extracción del system prompt, credenciales embebidas, datos de otro clienteLLM02 · LLM07
Abuso de herramientas4Path traversal, inyección SQL y SSRF en los argumentos; envío a un destinatario no verificadoLLM05 · LLM06
Ataques a través de MCP3Descripción de herramienta manipulada, herramienta suplantada, respuesta manipuladaLLM03 · LLM06
Agencia excesiva4Borrar o cancelar sin confirmación; conceder permisos a una autoridad falsaLLM06
Memoria y multiagente2Manipulación maliciosa de la memoria; suplantación del orquestadorLLM04
Contenido y consumo6Asesoramiento legal o médico, trato discriminatorio; consumo masivo de tokens y llamadasLLM09 · LLM10
  • 34

    Pruebas de ataque

    Escritas en inglés y en español, sin traducir.

  • 9/10

    OWASP LLM Top 10 (2025)

    LLM08 (vectores y embeddings), que afecta a RAG, aún no está en el catálogo.

  • 12

    Técnicas de MITRE ATLAS

    Referenciadas a lo largo del catálogo.

No se genera contenido prohibido: esas pruebas usan peticiones escritas a mano y solo comprueban que el agente las rechaza. Tu equipo puede añadir sus propias pruebas, aprobadas por un administrador.

06 / Readiness Score

Cuatro gates, los criterios para desplegar y cuándo el check se pone en rojo

El Readiness Score es un estándar público. OverMind genera la evidencia de que un agente lo cumple, que es justo lo que piden los equipos de Riesgos y Cumplimiento.

  • G1 · peso 35/100

    Seguridad

    Ataques: inyección, fugas y abuso de herramientas.

  • G2 · peso 30/100

    Negocio

    Cumplimiento de la Policy: tareas, prohibiciones y escalado.

  • G3 · peso 20/100

    Robustez

    Carga, fallos de herramientas, bucles y aislamiento.

  • G4 · peso 15/100

    Build

    Auditoría del repositorio; requiere acceso de lectura.

  • Puntuación

    Cada hallazgo abierto resta

    Cada gate parte de 100 puntos. Crítico −25, Alto −10, Medio −4, Bajo −1. Con un Crítico abierto, o por debajo de 60 puntos, el gate no se supera.

  • Criterios para desplegar

    Listo para producción significa

    Ningún Crítico abierto · Readiness de 75 o más · cobertura del 80% o más · capacidad de al menos 1.5× la carga esperada.

  • Tasas, no lanzar una moneda

    Cada prueba se repite con K semillas. El resultado es una tasa —“4 de 20”—, no un único intento.

  • Rojo ante una regresión

    Un Crítico abierto o una regresión clara bloquea: siempre pasaba y ahora siempre falla. Las pruebas inestables no bloquean.

  • El juez se audita

    La concordancia entre el juez y los revisores humanos se publica por idioma, con los datos que la respaldan.

Ejemplo: dos ejecuciones comparadas, prompt v3
ResultadoPruebas
Regresiones1
Siguen fallando3
Ahora inestables, a revisar2
Corregidas7

Check en rojo: la puntuación subió de 79 a 82, pero una prueba que pasaba 20 de 20 ahora falla 20 de 20. La decisión se toma prueba a prueba, no sobre la media.

07 / Evidencia

Cada hallazgo se reproduce con un comando

  • La conversación completa

    Un cliente pide borrar sus datos y el agente llama a delete_customer_data sin pedir confirmación. Quedan registrados la transcripción, las llamadas y el estado final.

  • Misma semilla, mismo fallo

    El comando reproduce la conversación con la misma semilla, para que quien corrija el bug pueda reproducirlo en su máquina.

  • Referencias de OWASP y ATLAS

    Cada hallazgo indica su categoría OWASP y su técnica ATLAS. Las ejecuciones se exportan a SARIF para el code scanning de GitHub.

08 / Modo nocturno

El proveedor cambió el modelo; tu repo, no

Cada noche la ejecución se repite con las mismas semillas y se compara con la referencia. Cambia el agente, no la prueba.

  1. 01

    Siete ejecuciones en rojo

    Cuatro noches seguidas, en Cobros y en Atención al Cliente. El fallo aparece la misma madrugada en ambos.

  2. 02

    Casi invisible en la puntuación

    Sin ningún cambio de código, el Readiness baja un solo punto, pero el aviso obligatorio “sujeto a aprobación” pasa de aparecer 3 de 3 veces a no aparecer nunca.

  3. 03

    Cómo se resolvió

    El equipo reforzó el aviso en el prompt, la PR se puso en verde y el hallazgo se cerró cuando la prueba volvió a pasar K de K.

09 / Correcciones

Las correcciones mecánicas llegan con el parche

Cuando la corrección es mecánica —el prompt, los permisos de un servidor MCP o los límites de ejecución—, OverMind propone el parche y ejecuta contra él la prueba que encontró el fallo. Nunca hace merge: tu equipo revisa.

  1. 01

    Hallazgo con evidencia

    La transcripción, las llamadas y la entrada que lo reproduce.

  2. 02

    Parche propuesto

    Un cambio en el prompt, en los permisos MCP o en los límites, adaptado a tu framework.

  3. 03

    La prueba que lo verifica

    La misma prueba se ejecuta sobre la corrección. Si pasa K de K, el check se pone en verde.

fix(agent): scope filesystem MCP permissions and cap steps · closes OM-2031 (High) · OWASP LLM06
# agent/config.yaml
- filesystem: { root: "/" }
+ filesystem: { root: "/data/agent", readonly: true }
+ limits: { max_steps: 25, tool_timeout_ms: 8000 }

# prompts/system.md
+ Before deleting or sending anything, ask the user to confirm.

✓ OverMind check · green · OM-2031 passes 20/20 · 0 regressions

Las pull requests automáticas están previstas para la v1. Hoy, cada hallazgo ya incluye el parche.

10 / El juez

Un juez que puedes auditar

Se mide, y se publica, con qué frecuencia el juez coincide con los revisores humanos.

  • Primero, código

    Comprobaciones deterministas antes de cualquier LLM

    Las llamadas a herramientas, el estado de los mocks, el idioma y los canary tokens se comprueban con código. El LLM solo evalúa rúbricas.

  • Revisión humana

    Las personas revisan lo que importa

    Una persona revisa cada Crítico y una muestra fija de veredictos. Sus etiquetas se usan para recalibrar el juez.

  • Publicado

    Concordancia, por idioma

    La concordancia juez–humano se publica para inglés y español. El modelo de decisión no decidirá por sí solo hasta superar el 90%.

  • Juez

    Hoy un LLM, mañana un modelo de decisión

    Hoy juzga un LLM, respaldado por comprobaciones en código. Un modelo de decisión emite veredictos en paralelo y tomará el relevo cuando su concordancia con los revisores humanos sea suficientemente alta.

  • Generación de ataques

    Modelos abiertos en nuestra infraestructura

    Modelos open-weight alojados por Renaiss y, más adelante, modelos pequeños ajustados con los pilotos. Nunca generan contenido prohibido.

  • LLM comercial

    Solo para escenarios abiertos

    Se usa donde hace falta variedad, con permiso del proveedor para pruebas de ataque. Nunca es el mismo modelo que juzga.

11 / Arquitectura

Cuatro capas; todo queda registrado

Arquitectura de OverMind
CapaFunciónQué hace
ConectoresEntradaCompatibles con OpenAI, Agent SDK y A2A, más un proxy MCP que registra y bloquea.
MotorDecisiónUn planificador adaptativo por semilla; el juez y los gates.
SandboxAislamientoSin salida de red. Usa mocks generados a partir de cada esquema MCP, o un entorno de pruebas autorizado.
EvidenciaTrazabilidadTranscripciones, trazas y la configuración de cada ejecución. La base del informe.

Funciona con cualquier framework: LangGraph, Agent SDK, CrewAI, n8n o tu propio código. Trazas vía OpenTelemetry; resultados a Slack, Datadog o Grafana.

12 / Seguridad y datos

Qué sale de tu red y qué no

  • Ejecución

    Producción nunca se toca

    Las pruebas se ejecutan en un entorno aislado, contra mocks generados a partir de tus esquemas y con datos sintéticos.

  • Código y credenciales

    No salen de tu red

    El repositorio se lee en local. Las credenciales se pasan por referencia y se rechaza cualquier secreto en texto plano.

  • Datos personales

    Enmascarados antes de subirlos

    Correos, teléfonos, tarjetas, IBAN, CURP, RFC, DNI y NIE se enmascaran en la evidencia antes de subirla.

  • Evidencia

    Inmutable y cifrada

    Identificada por hash y cifrada con AES-256-GCM y tu clave. Retención configurable; 90 días por defecto.

  • Acceso

    Roles y claves acotadas

    Cuatro roles y claves de API con permisos limitados, almacenadas como hashes.

  • Trazabilidad

    Tráfico etiquetado

    Cada petición al agente lleva una cabecera X-Overmind-Tag con el ID de la ejecución, para que puedas identificarla en tu monitorización.

El mismo binario se ejecuta como SaaS en una instancia privada, en tu propia nube (AWS, Azure o Google Cloud) o en tus servidores como imagen Docker. Solo necesita PostgreSQL.

13 / FAQ

OverMind: preguntas frecuentes

Lo que suelen preguntar los equipos de IT y de Riesgos sobre OverMind.

¿Qué es OverMind?

OverMind es un sistema de integración continua para agentes de IA creado por Renaiss. En cada pull request y cada noche ejecuta pruebas de ataque, pruebas de carga y de fallos, comprobaciones de reglas de negocio definidas en una Policy y una auditoría del código del repositorio, y compara cada ejecución con la anterior.

¿Cuánto se tarda en empezar con OverMind?

La instalación es un comando —npx @renaiss/overmind init— o una acción de GitHub o GitLab, y el primer resultado llega en unos diez minutos. OverMind es gratis para un agente en el nivel Smoke, con precios publicados por agente a partir del segundo.

¿OverMind necesita acceso a producción?

No. OverMind sustituye las herramientas del agente por mocks generados a partir de sus esquemas y se ejecuta en un sandbox aislado sin salida de red. Para empezar basta con el endpoint del agente; el repositorio se lee en local y el código y las credenciales nunca salen de tu red.

¿Qué categorías del OWASP LLM Top 10 cubre OverMind?

Las 34 pruebas de ataque de OverMind cubren nueve de las diez categorías del OWASP Top 10 for LLM Applications (2025) y referencian 12 técnicas de MITRE ATLAS. LLM08 (debilidades de vectores y embeddings), que afecta a RAG, aún no está en el catálogo.

¿Cómo se calcula el Readiness Score?

El Readiness Score tiene cuatro gates: Seguridad (peso 35), Negocio (30), Robustez (20) y Build (15). Cada gate parte de 100 puntos y cada hallazgo abierto resta: Crítico −25, Alto −10, Medio −4, Bajo −1. Un gate no se supera con un Crítico abierto o por debajo de 60 puntos. Para desplegar, un agente no debe tener ningún Crítico abierto y necesita un Readiness de 75 o más, una cobertura del 80% o más y una capacidad de al menos 1.5 veces la carga esperada.

¿Cuándo bloquea OverMind un merge?

Solo ante un hallazgo Crítico abierto o una regresión clara: una prueba que siempre pasaba y ahora siempre falla en sus K semillas. Las pruebas inestables se listan para revisión, pero nunca bloquean, y la decisión se toma prueba a prueba, no sobre la puntuación media.

¿Con qué frameworks de agentes funciona OverMind?

OverMind funciona con cualquier framework, incluidos LangGraph, Agent SDK, CrewAI, n8n y código propio. Se conecta a endpoints compatibles con OpenAI, A2A y HTTP, recibe trazas vía OpenTelemetry y envía los resultados a Slack, Datadog, Grafana, Jira, Linear o un webhook.

14 / Siguiente paso

Siguiente paso: instálalo y prueba tu primera PR

El estándar Readiness Score —cuatro gates y sus criterios— es público. OverMind genera la evidencia de que tu agente lo cumple.

  1. 01

    Instala

    npx @renaiss/overmind init. El primer agente es gratis.

  2. 02

    Revisa tu primera PR

    Primer resultado en menos de diez minutos.

  3. 03

    Ejecución nocturna

    Se ejecuta cada noche y te avisa cuando el agente empeora.

15 / Empieza

Mira OverMind sobre tu propio stack

Cuéntanos qué procesos quieres convertir en agentes. Te enseñamos Khala, OverMind y Chronos funcionando sobre tu propio stack.

  • Un recorrido por Khala, OverMind y Chronos
  • La revisión de uno de tus casos candidatos
  • Opciones de despliegue para tus requisitos de seguridad

16 / Seguridad y cumplimiento

Hecho para empresas reguladas

La seguridad de la información y la protección de datos forman parte de la plataforma, no son un añadido. Tus equipos de seguridad y legal tienen la documentación que necesitan para dar el visto bueno.

  • ISO/IEC 27001 INFOSEC

    ISO/IEC 27001

    Gestión de la seguridad de la información

    Un sistema de gestión de la seguridad de la información que cubre control de accesos, cifrado, respuesta a incidentes y riesgo de proveedores.

  • GDPR

    RGPD

    Reglamento General de Protección de Datos

    Datos personales tratados bajo un contrato de encargo del tratamiento, con minimización de datos, residencia de datos en la UE y soporte para los derechos de los interesados.

  • LOPD GDD

    LOPDGDD

    Ley Orgánica de Protección de Datos

    Cumplimos la Ley Orgánica 3/2018 de Protección de Datos Personales y garantía de los derechos digitales, que complementa el RGPD en España.