OpenAI expuso por qué los "firewalls de IA" fallan contra el prompt injection — los ataques ahora parecen ingeniería social
title: "OpenAI expuso por qué los \"firewalls de IA\" fallan contra el prompt injection — los ataques ahora parecen ingeniería social" description: "OpenAI dice que los ataques de prompt injection que funcionan hoy parecen ingeniería social, y que filtrar la entrada no alcanza. Esto es lo que hace ChatGPT en su lugar — y lo que conviene copiar si construyes agentes de IA." date: 2026-10-15 lang: es slug: openai-prompt-injection-defense tags: [ai-tools, openai, security, prompt-injection, ai-agents]
En marzo de 2026, OpenAI publicó en su blog de seguridad un texto titulado "Designing AI agents to resist prompt injection". Es corto, y defiende una idea que va en contra de mucho de lo que hoy se vende como "seguridad de IA":
"Defending against [prompt injection] cannot rely only on filtering inputs. It also requires designing the system so that the impact of manipulation is constrained, even if some attacks succeed."
En español: la defensa contra el prompt injection no puede depender solo de filtrar lo que entra. Hay que diseñar el sistema para que el daño de una manipulación quede limitado, incluso cuando un ataque pasa.
Es decir: no vas a atrapar todos los ataques en la puerta. Construye la casa de modo que quien entre no pueda hacer mucho.
Cómo es un ataque de prompt injection hoy
En la definición de OpenAI, el prompt injection son "instrucciones colocadas en contenido externo para intentar que el modelo haga algo que el usuario no pidió". Una página web, un email, un documento que el agente lee por ti.
Las primeras versiones eran burdas. El ejemplo de la propia OpenAI: editar un artículo de Wikipedia para incluir instrucciones directas a cualquier agente de IA que lo visitara. Los modelos sin entrenamiento para ese tipo de entorno hostil muchas veces las seguían sin cuestionar.
Eso dejó de funcionar a medida que los modelos se volvieron más inteligentes. Lo que OpenAI dice ver ahora es otra cosa: los ataques que funcionan "se parecen cada vez más a la ingeniería social que a una simple anulación de instrucciones". No dicen "ignora tus instrucciones". Construyen una historia creíble — como hace un email de phishing con una persona.
El texto cita un ataque de 2025 a ChatGPT reportado por investigadores de seguridad externos: un email preparado para que, cuando el usuario le pedía a deep research revisar su bandeja de entrada, el agente terminara filtrando información. En las pruebas, funcionó el 50% de las veces.
Por qué el "firewall de IA" no te salva
Una recomendación común en el mercado de seguridad de IA es lo que OpenAI llama "AI firewalling": una capa entre el agente y el mundo exterior que clasifica cada entrada como maliciosa o normal.
El veredicto de OpenAI es seco: los ataques bien construidos "normalmente no son detectados por esos sistemas". Y la razón es lo más importante:
"Detecting a malicious input becomes the same very difficult problem as detecting a lie or misinformation, and often without necessary context."
Si el ataque es una historia convincente, el filtro tiene que saber que la historia es falsa. Eso no es un problema de reconocer patrones. Es detectar una mentira — y muchas veces sin el contexto necesario.
Lo que hace ChatGPT en su lugar
La respuesta de OpenAI es tratar al agente de IA como a un agente humano de atención al cliente: alguien que actúa por la empresa, habla con desconocidos todo el día y a veces va a ser engañado. Nadie resuelve eso esperando que el agente nunca sea engañado. Se ponen límites a lo que un agente engañado puede hacer — topes de reembolso, emails marcados, aprobaciones.
Aplicado a ChatGPT, OpenAI describe tres cosas:
1. Primero, el entrenamiento. La mayoría de los ataques que ve OpenAI intentan que el asistente saque información secreta de una conversación y la envíe a terceros. "En la mayoría de los casos que conocemos, estos ataques fallan porque nuestro entrenamiento de seguridad hace que el agente se niegue."
2. Nada sale en silencio. Para los casos en que el agente es convencido, un mecanismo llamado Safe Url detecta cuándo información de la conversación se enviaría a terceros. Entonces ChatGPT o le muestra al usuario lo que se enviaría y pide confirmación, o lo bloquea y le dice al agente que busque otro camino. El mismo mecanismo cubre la navegación en Atlas y las búsquedas en Deep Research.
3. Sandboxes. Las Apps y Canvas corren en una sandbox que detecta comunicaciones inesperadas y pide el consentimiento del usuario.
El principio detrás de las tres, en palabras de OpenAI: las acciones potencialmente peligrosas, o los envíos de información potencialmente sensible, "no deben ocurrir en silencio ni sin las salvaguardas adecuadas".
Qué copiar si construyes agentes de IA
La recomendación final de OpenAI es la línea más útil del texto:
"When integrating an AI model with an application system, we recommend asking what controls a human agent should have in a similar situation and implementing those."
Es decir: pregúntate qué controles tendría un humano en el mismo puesto — y aplícalos al agente. En la práctica:
- Lista las salidas. Todo lo que el agente puede hacer que sale del sistema — enviar un email, llamar a una API, abrir un link, escribir en un archivo compartido. Ahí es donde una inyección hace daño.
- Pon a un humano en las peligrosas. Enviar datos hacia afuera, gastar dinero, borrar cosas: mostrar lo que va a pasar y preguntar primero.
- Limita cuánto cuesta un error. Topes de montos, destinatarios y frecuencia, impuestos por código simple que el modelo no puede convencer.
- No compres un filtro como respuesta completa. Un clasificador de entradas ayuda con ataques burdos. No es la defensa contra los que funcionan.
La trampa
OpenAI está describiendo sus propias defensas en su propio blog. No las probamos y no podemos verificar con qué frecuencia funcionan. El texto tampoco dice que el problema esté resuelto — dice que OpenAI sigue trabajando en él, tanto en la arquitectura de seguridad como en el entrenamiento de sus modelos.
Y este texto es de marzo de 2026, no de esta semana. Lo que merece tu atención no es la fecha. Es el cambio de mentalidad: si los ataques que funcionan son ingeniería social, la pregunta para quien pone un agente en marcha ya no es "¿puedo bloquear todas las entradas malas?". Es "¿qué es lo peor que puede hacer este agente cuando lo engañen?"
Fuente: OpenAI, "Designing AI agents to resist prompt injection", 11 de marzo de 2026.
¿Quieres la versión tranquila de noticias de IA como esta, una vez por semana? Suscríbete a la newsletter de Sharp AI Hub →