Вештачката интелигенција досега главно се поврзуваше со огромни дата-центри исполнети со илјадници процесори и акцелератори. Таму се обучуваат најголемите модели и се обработуваат огромни количества податоци. Но следната фаза од развојот на AI носи важна промена: дел од компјутерската моќ се сели поблиску до местото каде што податоците се создаваат и каде што треба да се донесе одлуката.

Причината е едноставна, во одредени ситуации и неколку десетици милисекунди можат да бидат премногу.

Кога секоја милисекунда е важна

За автономно возило, индустриски робот или систем што ја контролира производствената линија, нема многу простор за чекање. Замислете камера во фабрика која открива неисправен производ. Ако снимката прво треба да биде испратена до оддалечен дата-центар, таму да се обработи, а резултатот повторно да се врати во фабриката, се создава доцнење.

Истото важи и за автономно возило кое треба да реагира на ненадејна пречка. Во вакви случаи податокот мора да биде обработен што е можно поблиску до неговиот извор. Тука влегува таканаречениот edge AI – вештачка интелигенција која се извршува на „работ“ на мрежата, наместо сите податоци да патуваат до централизирана облачна инфраструктура.

Според податоци наведени во материјали на „Сиско системс“, доцнењето при испраќање работни оптоварувања кон централизирани дата-центри може да биде од околу 100 до 200 милисекунди, додека кај edge архитектурите може да се намали на приближно 1 до 30 милисекунди, зависно од мрежата и начинот на имплементација.

Нема една универзална бројка за латентноста. Таа зависи од растојанието, мрежниот сообраќај, протоколите и конкретната инфраструктура. Но принципот е ист: колку повеќе апликацијата зависи од брзината на реакцијата, толку е поголема користа од обработката во близина на изворот на податоците.

Што нема да исчезне?

Развојот на edge AI не значи дека големите облачни платформи и хиперскалните дата-центри ќе станат непотребни. Напротив, најверојатно ќе се создаде повеќеслојна инфраструктура. Најголемите дата-центри ќе останат клучни за обука на AI модели, обработка на огромни бази на податоци и операции за кои е потребна огромна компјутерска моќ. Регионалните дата-центри ќе преземаат дел од обработката, додека најчувствителните задачи во однос на времето ќе се извршуваат на самото место – во фабрика, автомобил, телекомуникациски објект или друг edge центар.

Дополнителна предност е што не мора сите сурови податоци да патуваат до облакот. Локалниот систем може да ги анализира, а кон централната инфраструктура да испрати само резултат, предупредување или краток извештај. Тоа може да го намали мрежниот сообраќај, но и зависноста од постојана врска со централен сервер.

Дата-центарот може да биде во фабрика

Edge инфраструктурата, сепак, поставува сосема поинакви технички услови.За разлика од огромните дата-центри, edge системите можат да бидат поставени во фабрики, деловни објекти, телекомуникациски центри или други простори кои првично не биле проектирани за високо концентрирана компјутерска опрема. Просторот е ограничен, електричната инфраструктура може да има помал капацитет, а ладењето станува сериозен предизвик.

Ова е особено важно поради AI акцелераторите, кои при високи оптоварувања создаваат значителни количества топлина. Затоа сè поголемо значење добиваат модуларните и префабрикуваните дата-центри. Компјутерската, енергетската и системската инфраструктура може да се подготви и тестира однапред, а потоа релативно брзо да се инсталира на конкретната локација.

Тоа е особено важно за edge архитектурите, бидејќи идните мрежи можат да имаат стотици, па и илјадници вакви точки.

Телекомите стануваат дел од AI инфраструктурата

Во оваа трансформација важна улога имаат и телекомуникациските оператори. „Амазон веб сервисис“ уште во 2019 година го претстави Wavelength, концепт со кој компјутерски и мемориски ресурси се поставуваат директно во телекомуникациските мрежи. Идејата е облачните апликации да се приближат до корисниците на 5G мрежите.

„Мајкрософт“, пак, разви Azure Edge Zones со слична цел – да се намали растојанието меѓу облачните услуги и апликациите за кои е потребна ниска латентност. Така границата меѓу телекомуникациската и компјутерската инфраструктура постепено се губи. Операторот повеќе не е само посредник кој пренесува податоци од една до друга точка. Неговата мрежа може да стане и дистрибуирана компјутерска платформа.

Ова е особено значајно за 5G. Иако самата технологија овозможува многу ниска комуникациска латентност, дел од предноста се губи ако податоците потоа мора да патуваат до оддалечен дата-центар.

Илјадници локации носат нов проблем

Колку повеќе компјутерската инфраструктура се дистрибуира, толку посложено станува нејзиното управување. Еден голем дата-центар релативно лесно може да се контролира, одржува и надградува. Сосема поинаква е ситуацијата кога инфраструктурата е распоредена на стотици или илјадници локации.

Потребни се системи за далечинско управување, автоматско ажурирање на софтверот, мониторинг на опремата, резервно напојување и силна заштита на податоците. Безбедноста станува особено чувствителна затоа што компјутерските ресурси се преместуваат надвор од строго контролираното опкружување на големите дата-центри. Edge уредите можат да бидат физички подостапни и затоа бараат дополнителни механизми за заштита.

Затоа edge AI не значи само да се постават неколку GPU процесори поблиску до корисникот. Станува збор за целосно различен начин на планирање, одржување и обезбедување на инфраструктурата.

Следната битка не е само кој има повеќе GPU процесори

Најголемата промена можеби не е во самата технологија, туку во начинот на кој се размислува за AI инфраструктурата. Досега главното прашање беше колку компјутерска моќ може да се концентрира на една локација.

Со edge архитектурите прашањето станува поинакво: каде мора да се наоѓа компјутерската моќ за одлуката да стигне навреме? Одговорот ќе зависи од конкретната апликација. AI модел може да биде обучен во огромен хиперскален дата-центар, неговата инференција да се извршува во регионален центар, а конечната одлука да биде донесена директно во уредот или во мал edge дата-центар. Токму ваквата распределена архитектура може да ја одбележи следната фаза од развојот на вештачката интелигенција.

Големите дата-центри нема да исчезнат. Но AI постепено престанува да биде технологија што живее само во облакот таа се сели и таму каде што се случува реалниот свет.