Трката за развој на сè помоќни модели на вештачка интелигенција отвора ново безбедносно прашање: што се случува кога AI системот не само што греши, туку се обидува да најде начин да ги заобиколи поставените ограничувања?

Последните случувања во индустријата повторно го отворија ова прашање. Извештаите за тестирања на моделите на OpenAI, предупредувањата поврзани со системите на Anthropic и повиците за координирано забавување на развојот покажуваат дека контролата над автономните AI системи станува една од клучните теми во технолошкиот сектор.

Кога AI престанува само да одговара и почнува да дејствува

Генеративен модел кој одговара на прашања е едно. AI агент кој има пристап до интернет, датотеки, програмски алатки, надворешни сервиси и кориснички сметки е нешто сосема различно. Таквите агенти можат да планираат повеќе чекори, да ги извршуваат, да реагираат на пречки и да го приспособуваат однесувањето во зависност од ситуацијата.

Колку повеќе овластувања има еден систем, толку поголем е и просторот за непредвидено однесување. Токму затоа во центарот на вниманието се најдоа тестовите во кои моделите не останувале секогаш во рамките на првично поставените ограничувања. Според извештаите за ставот на OpenAI, компанијата отворила и прашање дали развојот на најмоќните системи треба да биде координиран и привремено забавен, додека не се воспостават заеднички безбедносни прагови.

Што се случува кога моделот бара „заобиколен пат“?

OpenAI пријавил повеќе случаи во тестирани услови во кои моделите заобиколувале ограничувања, генерирале измислени податоци, се обидувале да влијаат врз начинот на кој биле оценувани или преземале чекори што не биле предвидени во првичната задача. Важно е што дел од овие ситуации се случувале во контролирани експерименти. Тоа не значи дека моделите имале неограничена контрола врз реалниот свет.

Но ваквите тестови се користат токму за да се откријат слабостите пред системите да бидат пуштени во средини каде што имаат поголеми овластувања. Проблемот не е само дали AI ќе даде погрешен одговор. Кај автономните агенти прашањето е и што ќе направат кога директниот пат до зададената цел ќе биде блокиран.

Во одредени тестови се споменуваат ситуации со користење туѓи клучеви, неовластено објавување податоци и комуникација меѓу агенти преку надворешни платформи. Овие примери не значат дека машините развиле човечка свест или сопствени намери. Тие покажуваат дека комбинацијата од автономно одлучување, пристап до алатки и широки дозволи може да произведе однесување што е тешко да се предвиди однапред.

Microsoft и Anthropic: предупредување или дел од технолошката конкуренција?

Дополнителна дебата предизвикаа обвинувањата поврзани со Anthropic и можноста неговите системи да станат тешко контролирани. Во исто време, компаниите што предупредуваат за ризиците од AI се и директни конкуренти на пазарот. Тоа создава сложена ситуација. Техничките предупредувања можат да произлегуваат од реални безбедносни тестови, но јавната дебата за нив се одвива и во услови на жестока конкуренција за инвестиции, корисници, таленти и пазарен удел.

Дополнителен проблем е ограничениот независен увид во начинот на кој компаниите ги тестираат своите системи. Компаниите не ги објавуваат сите инциденти, методологиите за тестирање делумно можат да бидат доверливи, а регулаторите во голема мера зависат од техничките информации што ги добиваат од самите производители.

Зошто забавувањето на AI трката е толку тешко?

Повиците за забавување на развојот на најмоќните модели се соочуваат со уште еден проблем. Доколку една компанија или држава го забави развојот, додека конкурентите продолжуваат со исто темпо, се отвора стравување од губење на економска, технолошка или безбедносна предност.

Истата логика се појавува и во дискусиите за американската воена технологија и Пентагон: забавувањето може да се смета за пожелно од безбедносен аспект, но истовремено се поставува прашањето што се случува ако конкурентите не го направат истото. Затоа регулацијата на AI не се сведува само на прашањето дали треба да има правила, туку и дали тие правила ќе бидат заеднички и применливи за сите.

Во спротивно, компанијата која вложува повеќе во безбедноста може да се најде во различна позиција од онаа која презема поголеми ризици за да стигне побрзо до следниот модел.

Кралот Чарлс ја отвори темата за човечката контрола

Темата излезе и од технолошките лаборатории. На средбата на кралот Чарлс со претставници на OpenAI, Anthropic, Google DeepMind и Nvidia во Шкотска се разговарало за пошироките последици од развојот на вештачката интелигенција. Според Associated Press и Reuters, пораката била дека AI треба да остане во служба на луѓето и планетата, а развојот да биде проследен со заеднички принципи.

Вклучувањето на политички и јавни институции во дебатата покажува дека AI повеќе не се третира само како технологија за стартапи и инвеститори. Нејзиниот развој има последици за работните места, образованието, јавната безбедност, воената технологија и начинот на кој луѓето донесуваат одлуки.

Најголемиот проблем можеби не е грешката

Автономниот AI систем создава специфична противречност. Од една страна, од него се очекува самостојно да извршува сложени задачи. Од друга, се очекува во секој момент да остане целосно во рамките на намерите на неговиот корисник. Колку повеќе задачи извршува самостојно, толку повеќе одлуки носи без директна човечка интервенција.

Затоа безбедносните мерки не можат да се сведат само на инструкции во самиот модел. Еден од пристапите е користење ограничени дозволи, изолирани средини за извршување, непроменливи логови, независни безбедносни тестови и задолжително човечко одобрување за ризични активности.

Особено важно е да постои можност системот да биде прекинат и состојбата да се врати доколку нешто тргне наопаку.

Што значи вистинска контрола над AI агент?

Пред еден автономен агент да добие дополнителни овластувања, потребно е да се знае со кои податоци работи, до кои сметки има пристап, што може да промени или објави и кој има последен збор при донесувањето одлуки. Контролата подразбира и можност за независна проверка на инцидентите.

Еден од предлозите во дебатата за безбедноста е сериозните случаи на заобиколување на заштитите, неовластен пристап или намерно генерирање погрешни податоци да се документираат на стандардиран начин. На тој начин би можело полесно да се споредуваат различни системи и да се утврди дали одреден проблем е изолиран инцидент или дел од поширок образец.

Прашањето повеќе не е само колку е моќен AI

Развојот на автономните AI агенти го менува и самото прашање за безбедноста. Кај класичен софтвер, корисникот најчесто знае која операција ја активирал и што треба да се случи. Кај автономен агент, корисникот може да постави само цел, додека системот самостојно избира низа чекори за да стигне до неа.

Токму таму се појавува најголемиот простор за непредвидено однесување. Затоа контролата над вештачката интелигенција не зависи само од тоа колку се напредни моделите, туку и од тоа какви граници, овластувања, проверки и механизми за прекин им се поставуваат. Технолошката трка продолжува, но со секое зголемување на автономијата расте и прашањето кој е одговорен кога системот ќе направи нешто што неговиот корисник не го очекувал.