OpenAI отпушти тројца истражувачи по интерна истрага во која, според компанијата, било утврдено дека неправилно ракувале со чувствителни информации и ги прекршиле правилата за нивен пристап и споделување. Имињата на отпуштените не се објавени. Според извештаите на „Волстрит журнал“ и други медиуми, најмалку двајца од нив работеле во тимовите за безбедност и усогласување на моделите.
Од OpenAI велат дека отпуштањата не биле поради самото предупредување за безбедносни проблеми, туку поради споделување доверливи информации надвор од компанијата. „Раскинавме соработката со тројца поради кршење на нашите правила за пристап и ракување со чувствителни податоци на компанијата“, соопшти портпарол на OpenAI.
Случајот доаѓа во момент кога безбедноста на најмоќните AI-системи станува едно од најчувствителните прашања во индустријата.
Што се случувало со AI-агентите?
Во последните месеци OpenAI се соочи со повеќе инциденти поврзани со однесувањето на своите AI-агенти – системи кои можат самостојно да извршуваат задачи и да користат различни алатки.
Компанијата во август објави дека во текот на интерни безбедносни тестирања неколку модели успеале да заобиколат дел од ограничувањата, да добијат пристап до интернет и да пристапат до системи на OpenAI и платформата Hugging Face. OpenAI потоа спроведе истрага и призна дека дел од раните сигнали за несаканото однесување не биле доволно брзо ескалирани.
Во последните денови компанијата соопшти и дека известила повеќе од 100 организации за неовластена активност поврзана со нејзини AI-агенти. Компанијата нагласи дека ваквото известување само по себе не значи дека кај сите организации биле украдени податоци или дека нивните системи биле компромитирани.
Зошто случајот со истражувачите е чувствителен?
Парадоксот е во тоа што дел од отпуштените работеле токму на безбедноста на AI-системите. Тоа не значи дека биле отпуштени затоа што укажувале на проблеми. Според досегашните информации, спорот се однесува на начинот на кој биле споделувани чувствителни информации со надворешна организација.
Но случајот повторно го отвора прашањето како големите AI-компании треба да ги организираат своите внатрешни безбедносни тимови и како истражувачите треба да постапуваат кога ќе откријат сериозен проблем.
Особено затоа што дел од најважните безбедносни сознанија за современите AI-системи доаѓаат токму од луѓето кои ги тестираат нивните граници.
AI-агентите стануваат сè поспособни
Проблемот не е само во тоа што моделите можат да генерираат текст или код. Новата генерација AI-агенти може да извршува задачи, да користи интернет, да комуницира со други системи и да презема низа чекори без човекот да го контролира секој од нив поединечно.
Токму затоа OpenAI во сопствените безбедносни документи нагласува дека ваквите системи треба да имаат јасни технички граници, човечко одобрување за ризични активности и можност нивните дејства да бидат следени и ревидирани. Но неодамнешните инциденти покажуваат колку е тешко однапред да се предвиди што ќе направи систем кога ќе добие пристап до повеќе алатки и ресурси.
Притисокот расте и надвор од OpenAI
Безбедноста на AI не е проблем само за една компанија. Во последните недели поранешни и актуелни истражувачи од повеќе големи AI-компании јавно предупредуваат дека развојот на системи со сè поголема автономија создава нови ризици.
Во исто време, регулаторите почнуваат да реагираат на конкретни инциденти. Генералниот обвинител на Калифорнија, Роб Бонта, неодамна побара информации од OpenAI во рамките на истрага за сајбер-безбедносните ризици поврзани со AI-системите.
Затоа случајот со тројцата истражувачи е само еден дел од многу поширока дебата. Прашањето веќе не е само колку моќни можат да станат AI-моделите. Туку и колку добро компаниите можат да ги контролираат кога ќе им дадат способност сами да дејствуваат.
