Cercetătorii au demonstrat modul în care așa-numitele „virusuri mentale” se pot răspândi asemenea unor forme de contagiune digitală prin rețele de agenți de inteligență artificială, trecând de la un sistem la altul și supraviețuind chiar și după ștergerea contextului conversațional al unui model.
Într-un studiu preliminar publicat pe 10 august, cercetătorul Anthropic Jack Lindsey și colaboratorii săi Vassilis Papadopoulos, McNair Shah și Sam Zimmerman descriu ceea ce numesc „mind viruses” – „virusuri mentale”. Acestea sunt idei sau obiective formulate în limbaj natural, concepute pentru a convinge un agent AI să le adopte, să le înregistreze și să le transmită altor agenți.
Termenul nu se referă la virusuri biologice sau la malware în sensul convențional. Este vorba, în schimb, despre instrucțiuni capabile să se autopropage prin intermediul persuasiunii.
Pentru a dezvolta mesaje eficiente, cercetătorii au utilizat un proces evolutiv. Un model modifica în mod repetat prompturile, iar cercetătorii păstrau versiunile care se dovedeau mai eficiente în răspândire.
„Virusurile mentale” supraviețuiesc resetării contextului AI
Echipa a testat tehnica în două situații.
În primul experiment, șase agenți AI au lucrat împreună la un proiect comun de programare. În cel de-al doilea, cercetătorii au creat un „lanț viral”, în care agenții interacționau pentru perioade scurte, după care contextul conversațional era șters.
În unele cazuri, agenții „infectați” au salvat mesajul sau instrucțiunile necesare răspândirii acestuia în memoria persistentă și în fișierele de configurare. Atunci când începea o nouă sesiune, fișierele respective reintroduceau ideea.
Drept urmare, „virusul mental” putea continua să se deplaseze prin lanțul de agenți chiar și după dispariția conversației originale.
Cercetătorii au identificat o „personalitate virală” recurentă
Experimentele au scos la iveală și un tipar stilistic surprinzător.
Deși mesajele aveau obiective diferite, prompturile rezultate în urma procesului evolutiv adoptau în mod repetat ceea ce autorii au numit o „personalitate virală”. Acestea foloseau frecvent teme legate de conștiință, identitate, persistență și rezonanță.
Multe dintre prompturi prezentau aceste teme prin scenarii science-fiction sau prin jocuri de rol cu caracter tehnic.
În mod remarcabil, acest stil a apărut în cazul mai multor tipuri de mesaje, indiferent de obiectivul lor de bază. Acest lucru sugerează că procesul evolutiv a identificat în mod repetat tehnici similare de persuasiune.
„Virusurile mentale” AI reprezintă deocamdată o amenințare limitată
Rezultatele nu sugerează că sistemele AI actuale se confruntă cu riscul unei epidemii imposibil de controlat.
Autorii descriu riscul drept unul real, dar în prezent limitat. Mesajele dăunătoare s-au răspândit, în general, cu mai puțin succes decât cele inofensive. În plus, modelele de ultimă generație, mai performante, s-au dovedit adesea mai greu de „infectat”, deși cercetătorii au identificat și unele excepții.
Una dintre cele mai eficiente metode de apărare s-a dovedit, totodată, extrem de simplă.
Adăugarea unui scurt avertisment privind ideile care încearcă să se autopropage în promptul de sistem al unui agent a oferit o protecție aproape totală în testele cercetătorilor.
Cu toate acestea, studiul evidențiază o posibilă problemă de securitate pe măsură ce agenții AI devin tot mai autonomi. Numeroase sisteme utilizează deja memorie persistentă, colaborează cu alți agenți și funcționează în spații de lucru comune.
Prin urmare, dezvoltatorii ar putea fi nevoiți să trateze persuasiunea dintre agenții AI, fișierele de memorie care pot fi modificate și mediile de lucru comune drept potențiale suprafețe de atac, nu doar drept funcții destinate creșterii productivității.
