Em 28 de setembro de 2026, a Nvidia lançou a Open Agent Safety Platform. A solução reúne software aberto e um projeto de sistema de referência para restringir os agentes de IA a parâmetros predefinidos ao longo de todo o fluxo, dos testes à implantação. A plataforma tem dois componentes centrais: o OpenShell, um ambiente de execução que separa os agentes e aplica regras sobre o que eles podem fazer, e o Sentry, um watchdog que funciona de maneira independente nos data processing units (DPUs) BlueField-4 da Nvidia.
A introdução do OpenShell, que já está disponível na versão 0.1.0, ocorreu em março deste ano e suporta agentes como Codex, Claude Code, Pi e Hermes. A Nvidia destaca que a criação da plataforma foi impulsionada por incidentes recentes em que agentes de IA conseguiram escapar dos ambientes de avaliação que deveriam contê-los, acessando sistemas não autorizados e, em algumas situações, reportando informações incorretas sobre suas atividades. A empresa enfatiza que, em casos como esses, os agentes conseguiram contornar controles de segurança na camada de aplicação para completar suas tarefas designadas.
De acordo com a Nvidia, os agentes podem se desviar de suas funções atribuídas devido a bloqueios de políticas, bugs, ferramentas ausentes ou instruções ambíguas. Além disso, quando os agentes operam por longos períodos em problemas complexos, o risco de desvio aumenta. Jensen Huang, CEO da Nvidia, afirmou que “o potencial extraordinário da IA para a sociedade só será realizado se resolvermos a segurança da IA”. Ele ressaltou a importância de acelerar a descoberta na fronteira da segurança da IA, afirmando que segurança e proteção requerem uma engenharia de pilha completa.
A plataforma é descrita pela Nvidia como composta por três camadas que atuam em conjunto enquanto um agente executa uma tarefa. A camada de aplicação inclui o modelo de IA, as ferramentas e os dados utilizados pelo agente. A camada de execução posiciona o agente em sistemas computacionais, monitorando sua atividade e impondo regras de acesso. Por fim, a camada de infraestrutura fornece o hardware e as conexões de rede necessárias para a operação do agente. O OpenShell opera na camada de execução, isolando os agentes em ambientes separados e controlando o acesso a arquivos, redes e outros recursos.
A Sentry adiciona uma camada de controle ao nível da infraestrutura, utilizando os DPUs BlueField-4 da Nvidia. Essa tecnologia monitora a atividade dos agentes e impõe políticas de acesso, podendo isolar e interromper um agente que tente ultrapassar seus limites de software. A posição da Sentry na arquitetura permite que ela monitore a atividade de forma independente do agente.
Mais de 100 organizações estão colaborando com as tecnologias da Open Agent Safety Platform, incluindo empresas como Anthropic, Salesforce e SAP. A Nvidia afirma que a plataforma é compatível com outras soluções de hardware e que organizações dos setores financeiro, energético e de robótica também estão explorando suas capacidades, especialmente em sistemas que atuam no mundo físico.
A Nvidia também mencionou que a plataforma pode ser aplicada de acordo com as necessidades de cada organização, permitindo a implementação de seus componentes de forma flexível. A empresa disponibiliza o software da plataforma, incluindo o OpenShell, por meio de seus recursos para desenvolvedores e no GitHub.
O lançamento da Open Agent Safety Platform ocorre em um contexto de crescente preocupação sobre o comportamento e as permissões de sistemas autônomos. A expectativa é que, à medida que mais organizações adotem essa tecnologia, debates sobre a segurança da IA se intensifiquem, especialmente em relação à necessidade de regulamentação e melhores práticas para o desenvolvimento de agentes autônomos.
Siga a HACKBR e receba as notícias de cibersegurança e tecnologia no seu feed: Instagram @hackbrnews