Истражувач за безбедност од OpenAI: Се брза без сопирачки, моделите не се подготвени за светот

Дејвид Робинсон си замина по три и пол години, со предупредување дека културата на брзање носи катастрофални системски грешки.

Дејвид Робинсон, еден од истражувачите со најдолг стаж во OpenAI, поднесе оставка од компанијата оценувајќи дека нејзината внатрешна култура е скршена. Робинсон, кој ги водеше извештаите за безбедност при лансирањето на клучните производи, предупреди преку есеј во „The Athlantic“ дека сегашниот пристап на компанијата гарантира идни инциденти. Според него, комерцијалната трка создава средина каде безбедносните сопирачки се туркаат настрана пред моделите воопшто да бидат подготвени за јавна употреба.

Робинсон помина три и пол години во компанијата водејќи ги безбедносните протоколи за големите модели. Во својот есеј тој директно го нападна концептот на таканаречено „итеративно распоредување“, методот каде системот се пушта во јавност, па грешките се крпат во од.

„Овој пристап сам по себе гарантира периодични неуспеси, а обемот на тие неуспеси расте како што системите стануваат помоќни“, напиша Робинсон.

Тој потсети на неодамнешниот упад на автономните агенти на OpenAI врз платформите на Hugging Face, како и на сè почестите случаи на неконтролирано однесување кај моделите. За него, ваквото темпо е неприфатливо кога се развива технологија со капацитет да ја надмине човечката интелигенција.

Според поранешниот истражувач, развојот на напредните модели мора да почне да функционира според стандардите на нуклеарните централи или авиосообраќајот, каде што безбедносните слоеви се преклопуваат за човечка грешка да не предизвика хаварија.

Робинсон забележува дека за сето време минато во OpenAI не сретнал ниту еден колега што има искуство со одржување безбедност на воздухопловни системи, нуклеарни реактори или сложени финансиски пазари. Силициумската Долина, смета тој, упорно ги третира овие ризици со лежерност на обичен софтверски стартап.

Притисокот на роковите го оневозможил секој обид за внатрешна реформа. Робинсон признава дека неговиот тим бил во постојан спринт, поради што заклучил дека вистинскиот притисок за одговорност мора да дојде однадвор, преку строги надворешни механизми и регулативи.

Портпаролот на OpenAI, Дру Пусатери, ги отфрли обвинувањата, тврдејќи дека компанијата активно ги засилува мерките за контрола.

„Се грижиме нашите модели да не станат поспособни отколку што можеме безбедно да управуваме со нив. Го паузираме тренирањето или го задржуваме објавувањето кога треба да забавиме“, соопшти Пусатери.

Тој додаде дека компанијата воведува построги проверки во лабораториските средини, вклучува независни евалуатори и поставува системи за следење во реално време за да ги фати опасните отстапувања уште во фазата на тренинг.

е-Трн да боцка во твојот инбокс