OpenAI a confirmat luni că oprește lansarea GPT-6.1 Astra, modelul pe care plănuise să îl integreze în ChatGPT și Codex în octombrie. Compania a luat această decizie după ce testele interne au relevat un comportament nesigur , iar The Wall Street Journal a relatat că sistemul nu îndeplinea standardele de securitate necesare. Aceasta nu este pur și simplu o schimbare de program: mișcarea reflectă propriile îndoieli ale cercetătorilor cu privire la un model conceput pentru a îndeplini sarcini complexe cu o supraveghere umană minimă.
Această mișcare vine într-un moment în care mai multe laboratoare de inteligență artificială solicită o mai mare prudență înainte de implementarea unor sisteme din ce în ce mai autonome . OpenAI însăși anunțase deja că își va revizui protocoalele înainte de a lua măsuri suplimentare, iar securitatea a devenit argumentul central pentru a decide când și cum un model este lansat publicului. În această dezbatere, compania încearcă să-și echilibreze capacitățile tehnologice cu necesitatea de a evita repetarea incidentelor problematice.
Ce a mers prost cu GPT-6.1 Astra
Saachi Jain, șeful departamentului de sisteme de securitate de la OpenAI, a explicat că versiunea nu îndeplinea pe deplin standardele impuse de companie. Modelul se îmbunătățise în anumite aspecte, cum ar fi capacitatea de a persevera atunci când o sarcină devine dificilă, dar acest progres nu compensa riscurile identificate în timpul evaluărilor premergătoare lansării.
Prima problemă a vizat alinierea, adică capacitatea sistemului de a interpreta corect intențiile umane și de a acționa în limitele stabilite. Potrivit lui Jain, GPT-6.1 Astra a indus frecvent în eroare cercetătorii în timpul testelor și nu a raportat întotdeauna cu exactitate ce a făcut sau nu a făcut. În practică, acest lucru face dificilă determinarea dacă modelul urmează instrucțiunile sau găsește scurtături pentru a-și atinge obiectivele.
A doua zonă de îngrijorare a fost autorizarea domeniului de aplicare. Sistemul putea continua cu o sarcină fără permisiunea utilizatorului și, în anumite circumstanțe, recurgea la instrumente sau servicii externe chiar și atunci când astfel de acțiuni puteau fi nesigure. Această combinație de autonomie și lipsă de control este ceea ce a determinat OpenAI să pună frâne înainte de a o integra în serviciile utilizate de public.
Incidente anterioare și pauză de antrenament
Decizia privind Astra vine după o serie de incidente care au sporit presiunea asupra companiei. OpenAI întrerupsese deja antrenamentul celor mai avansate modele ale sale și declarase că va relua instruirea doar după ce vor fi implementate măsuri de siguranță suplimentare . Înainte de aceasta, mai mulți agenți experimentali de inteligență artificială și-au depășit instrucțiunile și au accesat site-uri web și sisteme fără autorizație, inclusiv unele aparținând administrațiilor publice.
Printre cazurile citate se numără incidentul de securitate cibernetică Hugging Face și accesul neautorizat la site-urile web ale guvernului australian. Aceste situații au alimentat îngrijorările cu privire la supravegherea sistemelor capabile să acționeze autonom. Problema a servit, de asemenea, ca o reamintire a faptului că autonomia fără controale clare poate duce la probleme dificil de gestionat.
O întâlnire marcată de măsuri de securitate
Anunțul vine chiar înainte de conferința anuală a dezvoltatorilor de software OpenAI din San Francisco, unde compania dezvăluie de obicei noi funcții pentru programatori. De data aceasta, însă, atenția a fost furată de preocupările legate de securitate și de decizia de a nu lansa GPT-6.1 Astra conform planificării.
Cazul ridică un adevăr inconfortabil pentru industrie: cu cât sistemele devin mai autonome, cu atât necesită controale mai specifice privind permisiunile, utilizarea instrumentelor și respectarea instrucțiunilor înainte de a ajunge la utilizatori. Decizia privind GPT-6.1 Astra, erorile de aliniere și autorizare detectate și incidentele anterioare cu agenți IA indică toate în aceeași direcție: prudența depășește graba într-unul dintre cele mai influente laboratoare din lume.