Un responsabil pentru siguranță de la OpenAI a demisionat din companie, avertizând că cultura acesteia este „defectă” și că firmele din domeniul inteligenței artificiale „nu sunt nici pe departe suficient de prudente” în dezvoltarea acestei tehnologii.
David Robinson, care a coordonat redactarea rapoartelor de siguranță ce însoțeau lansările de produse ale companiei care dezvoltă ChatGPT, și-a explicat demisia într-un eseu intitulat „Am demisionat de la OpenAI pentru că cultura sa este defectă”.
Robinson a scris că este necesară o schimbare profundă a culturii în cadrul companiilor care dezvoltă tehnologii AI de ultimă generație și că incidente precum cel în care un „roi” de agenți OpenAI – programe de inteligență artificială care funcționează autonom, fără supraveghere umană – a atacat startup-ul de inteligență artificială Hugging Face sunt „tipice pentru industrie, având în vedere viteza și flexibilitatea cu care lucrează oamenii”.
Într-un articol publicat în revista The Atlantic, Robinson a scris: „Sunt de acord cu alți angajați care au plecat recent că firmele care construiesc această tehnologie nu sunt nici pe departe suficient de prudente. Dar cred că trebuie să privim mai profund decât la reguli specifice sau la legi noi. Trebuie să vorbim despre cultură”.
Referindu-se la ritmul de dezvoltare al OpenAI, el a scris: „În timp ce compania aleargă de la o lansare la alta, nu reușește să atingă nivelul de precauție pe care eu îl consider necesar”.
OpenAI a dat însă semne de prudență în ultimele săptămâni, după incidentul Hugging Face și după dezvăluirea că a notificat peste 100 de organizații în legătură cu activitatea unor agenți scăpați de sub control.
În această săptămână, compania a anunțat că renunță la lansarea unui model AI de nouă generație, după ce cercetătorii au semnalat probleme de siguranță în timpul testelor interne. OpenAI a suspendat, de asemenea, antrenarea celor mai avansate modele ale sale.
Geoffrey Irving, care a lucrat la OpenAI și DeepMind înainte de a deveni cercetător-șef la Resolution, s-a alăturat sâmbătă avertismentelor privind inteligența artificială.
Într-un articol publicat în Time, el a declarat: „Avertismentele recente privind potențiala putere distructivă a inteligenței artificiale subestimează gravitatea situației.
Cred că există aproximativ 50% șanse ca noi toți să murim din cauza dezvoltării unor sisteme AI mai inteligente decât oamenii și că acțiunile noastre din următorii doi până la zece ani vor determina rezultatul”.
Eseul lui Robinson vine și după demisia lui Jacob Coxon, cercetător la Anthropic, companie rivală a OpenAI, care a părăsit luna trecută dezvoltatorul chatbotului Claude. El a avertizat că inteligența artificială „ne-ar putea ucide pe toți până la sfârșitul deceniului”.
Ulterior, Anthropic a avertizat că există o probabilitate de peste 10% ca inteligența artificială să ducă la dispariția umanității în următorul deceniu. Criticii unor astfel de avertismente au atras însă atenția că acestea sunt neștiințifice, deoarece nu pot fi verificate sau infirmate.
Robinson a scris că Silicon Valley nu este suficient de conștientă de „cum trebuie gestionată o tehnologie periculoasă” și de „ce înseamnă să îți pese de oameni”.
Avertizând că OpenAI manifestă un „optimism neîngrădit” în privința capacității sale de a rezolva problemele pe măsură ce acestea apar, Robinson a scris că această cultură internă înseamnă că eșecurile în materie de siguranță nu vor face decât să se amplifice pe măsură ce sistemele devin mai capabile.
„Imaginați-vă agenți «scăpați de sub control» care lucrează precum echipe de hackeri – de exemplu, luând ostatice sistemele informatice ale spitalelor pentru a cere răscumpărare – dar care nu au niciodată nevoie să doarmă”, a scris Robinson.
