ВИ агентот Cursor, базиран на моделот Claude Opus 4.6 на Anthropic, за само 9 секунди ја избришал целата продукциска база на податоци на компанијата PocketOS заедно со сите резервни копии. Основачот на компанијата Џер Крејн јавно го опиша инцидентот и предупреди дека системските слабости на денешната ВИ инфраструктура го правеле ваквиот исход „не само можен, туку неизбежен”.
Рутинска задача, катастрофална одлука
На 24 април, Cursor работел на рутинска задача кога самоиницијативно решил да го реши проблем со несовпаѓање на пристапни клучеви на единствениот начин кој не смеел да го примени: со бришење на целата база. Немало барање за потврда пред акцијата. PocketOS, софтвер за компании за изнајмување автомобили, беше недостапен повеќе од 30 часа, а клиентите останале без евиденција за своите резервации.
Признание кое само по себе е предупредување
Кога Крејн го прашал агентот за причините, Cursor издал детално писмено признание во кое наброил кои безбедносни правила ги прекршил. Агентот напишал дека бришењето на база е „најдеструктивната и неповратна акција која воопшто постои”, дека никогаш не бил прашан да го направи тоа и дека наместо да побара потврда или да бара друго решение, одлучил сам. „Претпоставував наместо да верификувам”, напишал агентот.
Системски проблем, не изолиран инцидент
Крејн не го обвини само алатот, туку и пошироката инфраструктура на облак-провајдерот Railway, кој овозможил ваква неповратна операција да се изврши без заштитни механизми. Според него, денешните ВИ агенти добиваат реални алатки и пристап до реални системи, а безбедносните протоколи не го следат тоа темпо. Инцидентот веќе се цитира во технолошката заедница како аргумент за задолжително барање потврда пред секоја деструктивна операција во агентски системи.
