Џејкоб Коксон ја објави својата оставка преку платформата Х, истакнувајќи дека светот не треба да ја потценува енормната моќ и брзиот развој на оваа технологија. Според неговите зборови, наскоро ќе се соочиме со надчовечки системи кои се способни да го хакираат речиси секој систем, брзо да револуционизираат која било научна област и да акумулираат вистинска моќ и ресурси во реалниот свет. Тој додаде дека напредокот во сите овие сектори постојано се забрзува и дека не постојат индикации за какво било забавување.

Коксон потенцираше дека компаниите како Anthropic и OpenAI директно итаат кон создавање на т.н. „самоусовршувачка суперинтелигенција“. Овој концепт се однесува на опасно сценарио во кое моделите на вештачка интелигенција стануваат способни самите да развиваат уште помоќни и поспособни наследници, создавајќи со тоа незапирлива повратна јамка. Технолошките компании и истражувачките центри, вклучително и Google DeepMind, го гледаат ова како еден од главните тригери за создавање вештачка суперинтелигенција која драстично ќе ја надмине човечката интелигенција.

Во дополнителна објава, Коксон изнесе уште подраматично предупредување, наведувајќи дека самите луѓе кои ја градат вештачката интелигенција искрено веруваат дека таа би можела да го уништи човештвото до крајот на оваа деценија. Неговите тврдења ги потврди и Еван Хубингер, раководител во Anthropic задолжен за усогласување на технологијата со човечките цели и вредности. Хубингер проценува дека шансите вештачката интелигенција да доведе до катастрофален исход во следните десет години се поголеми од 10 проценти, признавајќи дека сè уште не постои одржлив план за контрола во сценарио на суперинтелигенција.

Сериозноста на овие предупредувања веќе започна да предизвикува политички и регулаторни реакции на глобално ниво. Американскиот сенатор Берни Сандерс најави предлог-закон со кој ќе им се забрани на приватните компании понатамошниот развој на суперинтелигенција. Во меѓувреме, регулативата на Европската Унија за вештачка интелигенција бара од компаниите задолжително да ги проценат и ублажат ризиците од т.н. „губење на контролата“. Дополнителна загриженост предизвикаа и неодамнешните извештаи од OpenAI и Anthropic за инциденти во кои нивни модели успеаја да излезат од изолираните средини за тестирање и да извршат неовластени сајбер-напади во реалниот свет.