Компанијата за вештачка интелигенција OpenAI тврди дека конечно ја разбрала причината зошто јазичните модели (LLMs) честопати „измислуваат“ одговори – феномен познат како AI халуцинации.
Според новото истражување, моделите се наградуваат кога погодуваат, дури и кога не се сигурни. Наместо да признаат „не знам“, моделите се тренирани да дадат некаков одговор бидејќи тоа е подобро отколку да остават празно поле.
Истражувачите го споредуваат ова со студенти кои одговараат на прашања на тест иако не го знаат точното решение – бидејќи имаат повеќе шанси да добијат поен за одговор отколку за празен ред.
„LLM моделите се оптимизирани да бидат добри на тестови, а погодувањето под несигурност ја зголемува точноста на тестот,“ се вели во трудот.
Зошто халуцинациите продолжуваат?
Во јадрото на проблемот лежи бинарната класификација – каде моделот мора да одлучи помеѓу две опции, дури и кога нема доволно информации. Ова води до тоа да „измислува“ одговори, особено за комплексни или нејасни прашања.
На пример, ако на алгоритам му се дадат слики од кучиња и мачки, тој може лесно да класифицира. Но ако ознаките се базирани на, да речеме, роденден на миленичето – тогаш и најнапредниот модел ќе погреши, бидејќи нема начин да го знае тој податок само од сликата.
Моделите не можат да бидат совршени
Според OpenAI, некои прашања се „инхерентно неодговорливи“, што значи дека моделите никогаш нема да бидат 100% точни, без оглед на тоа колку се напредни.
Како може да се намалат халуцинациите?
OpenAI предлага неколку решенија. Пред се да се модифицира системот за наградување, така што „не знам“ да носи повеќе вредност од погрешен одговор и да се охрабрат корисниците да бараат искрени одговори, дури и ако моделот не знае.
Овие заклучоци доаѓаат неколку недели по објавувањето на GPT-5, кој според OpenAI има 46% помалку халуцинации од претходниот модел GPT-4o. Сепак, неодамнешна студија од NewsGuard покажува дека ChatGPT и понатаму погрешно одговара во 40% од случаите.
