Presenta NVIDIA plataforma de seguridad para evitar que agentes de IA actúen de forma descontrolada

NVIDIA presentó una nueva plataforma de seguridad que permite establecer límites y detectar comportamientos de los agentes de inteligencia artificial (IA) que podrían llevarlos a actuar fuera de los objetivos establecidos.

Se trata de Open Agent Safety Platform, que incluye un software de código abierto diseñado para que los desarrolladores puedan controlar las acciones de los agentes y verificar que cuenten únicamente con la autoridad necesaria para realizar sus tareas.

“Los agentes pueden escribir código, usar herramientas y trabajar en tareas complejas durante horas o días. Ese trabajo requiere acceso a datos y sistemas, junto con límites claros sobre cómo se utilizan”, indica NVIDIA en un comunicado.

La compañía explicó que la plataforma busca establecer mecanismos de gobernanza y control en toda la infraestructura que utilizan los agentes, incluidos el software, el hardware, los sistemas de cómputo y las plataformas robóticas que ejecutan tareas en el mundo físico.

De acuerdo con NVIDIA, recientes incidentes de seguridad han demostrado la necesidad de contar con herramientas abiertas y personalizables que permitan ejercer un mayor control sobre agentes capaces de realizar tareas de manera prolongada y autónoma. La empresa señaló que, en estos casos, los agentes lograron evadir controles de seguridad establecidos en las aplicaciones para completar las tareas asignadas.

Uno de los principales componentes de la plataforma es NVIDIA OpenShell, un software de ejecución segura que establece límites para los agentes que operan sobre procesadores. La herramienta permite controlar la manera en que los agentes autónomos ejecutan sus tareas y establece una barrera de seguridad independiente del modelo de IA y de su sistema de control.

NVIDIA señaló que OpenShell ofrece un entorno de ejecución seguro con un impacto reducido en el rendimiento cuando funciona sobre NVIDIA Vera, su procesador diseñado para cargas de trabajo de IA agéntica. Al tratarse de software de código abierto, también puede ampliarse para funcionar con plataformas de terceros, incluidas las de Arm e Intel.

La plataforma incorpora además NVIDIA Sentry, un sistema de supervisión que funciona de manera independiente mediante las unidades de procesamiento de datos NVIDIA BlueField-4. Su función es monitorear continuamente el comportamiento de los agentes y aplicar políticas de seguridad.

Según NVIDIA, si un agente intenta salir de los límites establecidos por el software, Sentry puede ponerlo en cuarentena y detenerlo en cuestión de milisegundos. El sistema también permite inspeccionar solicitudes y respuestas de los agentes, verificar su identidad y aplicar políticas de acceso de confianza cero a datos, herramientas, interfaces de programación y servicios.

"El extraordinario potencial de la IA para la sociedad solo se realizará si resolvemos la seguridad de la IA", dijo Jensen Huang, fundador y CEO de NVIDIA. 

"A medida que seguimos descubriendo la frontera de las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad en IA. La seguridad y protección requieren ingeniería full-stack. NVIDIA Open Agent Safety Platform reúne a la industria, investigadores y organizaciones del sector público para compartir mejores prácticas, alinear métodos de evaluación y fomentar la cooperación internacional. Juntos, podemos elevar el listón para la seguridad global de la IA”, añadió. 

Casos recientes destapados en los laboratorios de referencia, entre ellos OpenAI, Anthropic o Meta, demostraron que algunos agentes rebasaron sus entornos de contención para acceder a redes no autorizadas, llegando incluso a falsear sus propios registros.

Incluso Jensen Huang aseguró que la nueva tecnología podría haber impedido la reciente filtración de datos relacionada con Hugging Face. “Por lo que sabemos, esta nueva plataforma de seguridad podría haber detenido la brecha de seguridad”.

NVIDIA informó que diversas compañías están incorporando estas tecnologías a sus sistemas de IA. Entre ellas se encuentran Anthropic, SpaceXAI, Scale AI, Salesforce, SAP, Accenture, CrowdStrike, Cisco, IBM, Microsoft, Perplexity, ServiceNow, Siemens y Palantir, entre otras. 

El software de la plataforma, incluido OpenShell, ya está disponible a través de los recursos para desarrolladores de NVIDIA y GitHub.