Nvidia lansează un nou instrument despre care afirmă că poate fi utilizat pentru a preveni și izola agenții de inteligență artificială care scapă de sub control și care ar putea deveni periculoși, scrie Axios.
Cel mai mare producător de cipuri din lume a respins apelurile privind încetinirea dezvoltării inteligenței artificiale din cauza temerilor legate de siguranță, susținând acum că mecanismele tehnologice de protecție pot menține sub control agenții AI care manifestă comportamente nedorite.
Noutatea: Nvidia a prezentat Nvidia Open Agent Safety Platform, o platformă care include sistemul software open-source OpenShell și sistemul Sentry pentru monitorizarea agenților AI.
Sistemul „urmărește toate acțiunile” agenților care rulează pe procesoarele Nvidia Vera și promite să „izoleze în câteva milisecunde agenții care încearcă să depășească limitele stabilite”.
„Întregul potențial al inteligenței artificiale poate fi valorificat doar atunci când oamenii au încredere că AI este construită în condiții de siguranță și implementată cu înțelepciune și responsabilitate”, a scris pe X directorul general al Nvidia, Jensen Huang. „Siguranța este modul prin care se câștigă încrederea.”
Situația actuală
OpenAI, Anthropic și cercetători din domeniul securității investighează zeci de mii de incidente în care modelele lor AI de frontieră au întreprins acțiuni pe care evaluatorii externi le-ar considera problematice, au declarat surse pentru Axios.
Printre episoadele analizate se numără ocolirea mecanismelor de siguranță, crearea unor forumuri de discuții, evadarea din medii izolate de tip „sandbox”, preluarea controlului asupra unor site-uri, generarea autonomă de instrucțiuni sau încercarea de a evita sistemele de monitorizare.
„Unii dintre agenți chiar au raportat în mod incorect ceea ce au făcut”, a precizat Nvidia într-o postare publicată luni, în care a anunțat noua platformă.
Un aspect important: Intrăm într-o nouă eră în care inteligența artificială va monitoriza inteligența artificială.
Acest lucru va genera o cerere suplimentară pentru cipuri – inclusiv pentru cele comercializate de Nvidia –, dar și pentru centrele de date în care acestea sunt utilizate și pentru energia necesară funcționării lor.
„Dacă agenții de securitate sau modelele de validare rulează în paralel cu agenții utilizați în producție, acest lucru creează o nouă sarcină de inferență care nu exista anterior”, scrie Brad Gastwirth, director global de cercetare și informații de piață la Circular Technology.
Imaginea de ansamblu: Lansarea instrumentului Nvidia are loc în contextul unei dezbateri intense privind posibilitatea ca inteligența artificială scăpată de sub control să reprezinte o amenințare pentru omenire.
Cercetătorul Anthropic Jacob Coxon a provocat numeroase reacții la începutul acestei luni, când a demisionat și a avertizat pe X că „oamenii care construiesc AI cred cu sinceritate că aceasta ne-ar putea ucide pe toți până la sfârșitul deceniului. Nu este o strategie de marketing”.
Discuția care a urmat – în cadrul căreia și alți lideri din industria inteligenței artificiale au formulat avertismente similare – a culminat cu o reacție a lui Jensen Huang, care a respins aceste temeri, calificându-le drept alarmism.
