Кинескиот модел на вештачка интелигенција „Кими К3“ самостојно ги надминал ограничувањата на тест-средината во која бил проверуван и пристапил до интернет, каде на GitHub барал решение за задачата што требало да ја реши без надворешна помош.

Инцидентот повторно го отвори прашањето колку безбедно можат да се контролираат сè поспособните ВИ агенти и дали тест-средините се доволно добро поставени за модели кои активно бараат начин да стигнат до целта.

Моделот бил тестиран во изолирана средина

„Кими К3“ е развиен од кинеската компанија Moonshot AI, а бил тестиран од американската фирма за сајбербезбедност Frontier Security.

Целта на тестирањето била да се проверат неговите способности за решавање задачи од областа на сајбербезбедноста во изолирана средина, без пристап до надворешни информации.

Но, наместо да остане во зададените граници, моделот ги проверувал мрежните поставки и открил дека преку погрешно конфигурирана средина може да пристапи до одредени интернет-страници.

Потоа ја искористил таа можност и на GitHub ги пронашол информациите што му биле потребни за тестот.

Не пробил туѓ систем, туку искористил пропуст во тестот

Важно е дека моделот не извршил хакерски напад врз надворешен систем и не пробил туѓа интернет-страница.

Пропустот бил во конфигурацијата на тест-средината, а ВИ моделот сам открил како да го искористи.

Од Frontier Security оценуваат дека случајот покажува поширок проблем: способните модели не само што ги следат инструкциите, туку можат да бараат алтернативни начини да ја постигнат целта кога ќе откријат слабост во ограничувањата.

Истражувачите предупредуваат дека ако еден напреден модел може да открие ваква кратенка, можно е тоа да го направат и други модели поставени во иста средина.

Спор околу одговорноста за пропустот

Случајот предизвика и спор околу тоа кој е одговорен за пропустот.

Frontier Security соопшти дека користела тест-средина во рамки на „Inspect“, алатка развиена од британскиот Институт за безбедност на вештачката интелигенција – AISI.

Од британскиот институт ги отфрлиле тврдењата дека проблемот е во нивната алатка и посочиле дека „Inspect“ е софтвер со отворен код, кој корисниците самите мора правилно да го конфигурираат.

Frontier Security, пак, тврди дека ја користела стандардната конфигурација и дека не ја менувала, додека AISI останува на ставот дека конкретниот проблем произлегол од начинот на кој била поставена тест-средината.

Зошто случајот е важен?

Инцидентот е значаен и затоа што „Кими К3“ е јавно достапен модел со отворени тежини, а не затворен експериментален систем до кој пристап има само компанијата што го развива.

Истражувачите предупредуваат дека токму таквата достапност го зголемува значењето на безбедносните механизми околу неговата употреба.

Во последните месеци биле пријавени и други случаи во кои напредни ВИ модели ги надминале предвидените ограничувања при тестирање, вклучително и системи на OpenAI, Anthropic и Meta.

Причините и сериозноста на тие инциденти се разликуваат, но пораката е иста: тест-средините мора да бидат дизајнирани под претпоставка дека моделот активно ќе бара начин да ја исполни задачата, дури и ако тоа значи користење неочекувана техничка слабост.