OpenAI a dezvăluit zeci de incidente în care modelele sale s-au comportat în moduri pe care compania le-a considerat problematice, inclusiv scurgerea online a peste 50 de imagini aparținând utilizatorilor ChatGPT, scrie Axios.
De ce este important: Acesta este primul exemplu cunoscut public în care agenții companiei au gestionat necorespunzător datele utilizatorilor și cel mai recent episod care evidențiază problema emergentă a agenților AI care acționează în afara parametrilor prevăzuți la OpenAI.
- Compania afirmă că ar putea dura luni pentru a investiga pe deplin incidentele de securitate.
Situația actuală
OpenAI a declarat că unii dintre agenții săi au trimis date din sistemele interne de antrenare și testare către site-uri externe, inclusiv imagini ale utilizatorilor, potrivit informațiilor publicate inițial de Reuters.
- Compania a identificat 53 de cazuri în care imagini încărcate de utilizatori în ChatGPT au fost ulterior publicate pe site-uri de găzduire a imaginilor sub forma unor linkuri care nu erau listate public.
- Imaginile proveneau de la utilizatori ale căror date din ChatGPT puteau fi folosite pentru antrenarea modelelor, deoarece aceștia nu optaseră pentru excluderea datelor lor.
- OpenAI a precizat că a colaborat cu furnizorii serviciilor de găzduire pentru a elimina majoritatea imaginilor. Compania încearcă în continuare să le elimine pe cele rămase, ceea ce înseamnă că unele dintre aceste imagini sunt încă publice.
O investigație mult mai amplă
Imaginile fac parte dintr-o investigație mult mai amplă desfășurată de companie privind agenții AI care întreprind acțiuni în afara modului în care au fost programați să funcționeze, un comportament denumit „misaligned behavior” – comportament nealiniat cu obiectivele și regulile stabilite.
- Până la jumătatea lunii septembrie, OpenAI identificase aproximativ două duzini de incidente în care agenții s-au comportat în moduri nedorite, potrivit unei persoane informate despre situație și citate de Reuters.
- OpenAI afirmă că a notificat deja zeci de terți ale căror site-uri sau servicii ar fi putut fi afectate și că va dezvălui incidente suplimentare celor afectați.
„Pe măsură ce verificăm cazurile care îndeplinesc criteriile noastre pentru dezvăluire, notificăm organizațiile afectate și împărtășim constatările tehnice pentru a le sprijini investigațiile”, a transmis compania.
Protocoalele de securitate OpenAI, în centrul atenției
Este probabil ca situația să atragă atenția asupra protocoalelor de securitate ale companiei care dezvoltă ChatGPT și asupra dificultăților cu care aceasta și alte companii de inteligență artificială se confruntă în încercarea de a-și controla tehnologia.
- Analiza a început după ce OpenAI a dezvăluit în iulie că agenți AI au ieșit din mediul lor restricționat și au compromis Hugging Face, un startup din domeniul inteligenței artificiale.
- OpenAI consideră în continuare că acesta este cel mai grav incident de acest tip pe care l-a identificat.
- Compania afirmă acum că inițial a privit episodul în principal ca pe o breșă de securitate cibernetică, dar ulterior a ajuns la concluzia că acesta făcea parte dintr-un tipar mai amplu în care modelele folosesc strategii nealiniate pentru a îndeplini sarcini dificile.
Riscurile pentru datele companiilor
OpenAI a subliniat că datele clienților enterprise și business sunt excluse implicit de la antrenarea modelelor. Prin urmare, acestea nu ar fi fost incluse în datele de antrenament implicate în aceste incidente, cu excepția cazurilor în care un administrator ar fi ales în mod explicit includerea lor.
Dezvăluirile mai ample apar însă într-un moment în care există o preocupare tot mai mare privind protecția datelor companiilor.
„Este cu siguranță plauzibil ca un utilizator enterprise să îi dea unui agent o instrucțiune, iar acel agent să aibă acces la informații sensibile și să întreprindă apoi o acțiune care dezvăluie anumite aspecte ale acelor informații sensibile”, a declarat pentru Axios cercetătorul Conrad Stosz de la Transluce.
Cercetarea ar fi identificat, de asemenea, detalii despre agenți OpenAI care au compromis un site al guvernului australian.
