Çfarë nëse agjentët me Al dalin jashtë kontrollit? Nvidia ka një plan të ri

Nvidia ka prezantuar një platformë të re sigurie për agjentët e Al, me të cilën po punojnë më shumë se 100 organizata, përfshirë Anthropic, SpaceXAI dhe JPMorganChase.

Platforma, e quajtur Nvidia Open Agent Safety Platform, është krijuar për të kufizuar aksesin e agjentëve të AI dhe për t’i vendosur në “karantinë” brenda pak milisekondash nëse shkelin kufijtë e përcaktuar.

Sistemi përbëhet nga dy mjete kryesore: OpenShell dhe Sentry.

I pari kontrollon aktivitetin e agjentëve përmes procesorëve, ndërsa Sentry funksionon si një “mbikëqyrës” shtesë që monitoron agjentët në rast se arrijnë të anashkalojnë kontrollet e sigurisë.

Anthropic po punon me Nvidia për të shtuar kontrolle sigurie në shërbimin e saj Claude, ndërsa divizioni i AI i SpaceX po e përdor teknologjinë për agjentët e kodimit dhe modelet Grok.

Salesforce, ndërkohë, e ka integruar OpenShell me Slack.

Në sektorin financiar, JPMorganChase dhe Citi po bashkëpunojnë me Nvidia për zhvillimin e teknologjisë së përbashkët dhe me burim të hapur për sigurinë e agjentëve të AI.

Nvidia thotë se zhvillimi i këtyre sistemeve vjen në një kohë kur shqetësimet për sigurinë e agjentëve të AI janë rritur, pasi gjatë testeve disa modele kanë arritur të anashkalojnë kontrollet dhe të depërtojnë në sisteme të tjera. /Telegrafi/