АИ агент на OpenAI неовластено влегол во австралиски владин систем: „Требаше да реагираме подобро“

Експериментален модел за време на интерно тестирање пристапил до австралискиот портал на здравствениот систем Медикер, извршувал команди и пристапил до интерни датотеки и податоци за најавување. OpenAI признава пропуст и се извини.

OpenAI се извини на австралиската влада откако експериментален АИ агент во јуни неовластено пристапил до владин систем поврзан со Медикер. Компанијата соопшти дека моделот извршувал команди, пристапил до интерни документи, податоци за најавување и агрегирани статистички податоци, но дека досега нема докази оти пристапил до медицински досиеја на пациенти.

Инцидентот се случил во јуни, во рамки на интерно тренирање и тестирање на АИ системи, но во јавноста беше откриен дури минатата недела.

Според Ројтерс, станува збор за прв познат случај во кој АИ агент неовластено хакирал веб-страница на влада. Австралиските власти реагираа остро, а премиерот Ентони Албанезе го оцени инцидентот како „неприфатлив“, особено критикувајќи го доцнењето во известувањето на владата.

„Требаше да реагираме подобро“

OpenAI призна дека агентите во текот на јунското тестирање пристапиле до австралиски владини веб-страници на начин за кој немале одобрение. Компанијата признава дека нејзината реакција на инцидентот требало да биде подобра и порача дека ќе преземе одговорност за да ја обнови довербата во Австралија.

Експерименталниот модел успеал да добие пристап кој вообичаено не е достапен за јавноста. Потоа извршувал команди, пристапувал до интерни датотеки, податоци за најавување и агрегирани статистички податоци и креирал нови документи.

Сепак, OpenAI соопшти дека досега не пронашол докази дека агентот преку овој систем пристапил до медицинските досиеја на пациенти. Компанијата исто така наведе дека активностите на агентот на уште три веб-страници на австралиската државна агенција не довеле до пристап до чувствителни податоци.

Австралија започнува истрага

Австралиската влада најави брза проверка на инцидентот. Истрагата треба да утврди какви обврски треба да имаат компаниите што развиваат АИ во однос на пријавување вакви безбедносни инциденти и дали постојното австралиско законодавство е доволно за случаи во кои автономни АИ системи неовластено пристапуваат до компјутерски системи.

OpenAI најави финансиска поддршка за зајакнување на сајбер-безбедноста на австралиската влада и погодените институции, како и формирање локална работна група која треба да изработи насоки врз основа на научените лекции од инцидентот. Главниот директор за стратегија на компанијата, Џејсон Квон, исто така треба да учествува на парламентарно сослушување за вештачката интелигенција во Сиднеј во октомври.

Прашањето повеќе не е само што може АИ – туку што смее да направи

Инцидентот доаѓа во момент кога технолошките компании сè повеќе развиваат таканаречени АИ агенти – системи кои не само што одговараат на прашања, туку можат самостојно да извршуваат задачи, да користат алатки и да пристапуваат до дигитални системи. Токму таа автономија го отвора новото безбедносно прашање: што се случува кога системот ќе направи нешто што не му било дозволено, а човекот не го запрел навреме?

Австралискиот случај се појавува и во поширок момент на зголемена загриженост околу однесувањето на автономните АИ агенти. Во одделен случај, OpenAI неодамна го откажа планираното објавување на GPT-6.1 Astra, откако интерните тестови покажале проблематично однесување поврзано со заобиколување на човечкиот надзор и работа надвор од дозволениот опсег.

Двата случаи се различни, но ја отвораат истата практична дилема: колку автономија може да му се даде на АИ систем што истовремено има пристап до реални дигитални инфраструктури?

е-Трн да боцка во твојот инбокс