Odprite Twitter, LinkedIn ali kateri koli tehnološki blog in preplavila vas bo množica modnih izrazov: TOPS, parametri, nevronski procesorji, LLM. Smo sredi velike oboroževalne tekme na področju umetne inteligence, proizvajalci strojne opreme pa drug drugega preglasujejo s tem, kdo ima največje številke.
Vendar se za trenutek ustavimo. Odmislimo marketinški hrup in poglejmo z vidika ljudi, ki dejansko opravljajo delo — razvijalcev, ustvarjalcev in raziskovalcev. Kakšen pogon za AI v tem obdobju hitro rastoče računske moči res potrebujemo na svoji mizi?
Iluzija oblaka in lokalna resničnost
Pred letom ali dvema je bil odgovor preprost: oblak. Zahtevno delo smo prepustili strežniškim centrom. Bilo je preprosto in dostopno. Toda začetno navdušenje se izteka. Stroge omejitve pogostosti klicev API, stalna skrb zaradi nalaganja lastniške kode podjetja na strežnike tretjih oseb in neprestani stroški mesečnih naročnin hitro spreminjajo pogled panoge: AI moramo izvajati lokalno.
Zasebnost podatkov ni več razkošje, temveč zahteva. Dostop do modelov brez omrežne zakasnitve pa bistveno spremeni potek dela.
Težava: vrnili smo se v preteklost
Kako se je trg strojne opreme odzval na potrebo po lokalni AI? Ponudil nam je ogromne, okorne računalnike v stolpnih ohišjih.
Da bi dobili moč za izvajanje modelov z velikim številom parametrov ali izris kompleksnih prizorov, ustvarjenih z AI, smo bili prisiljeni narediti korak nazaj. Pod mize znova postavljamo kovinske velikane, težke 40 funtov. Sobo grejejo kot peč, porabljajo veliko elektrike in ob vsaki paketni obdelavi zvenijo kot letalo pri vzletu.
To je paradoks: uporabljamo najbolj futuristično programsko opremo doslej, a jo izvajamo na strojni opremi v obliki izpred desetletja. Ali res ne zmoremo bolje?
Trezna ugotovitev: surova moč ni dovolj
Tu je neprijetna resnica, ki se pogosto izgubi v boju tehničnih specifikacij: surova računska moč, izražena v TOPS, je le polovica zgodbe.
Če ste že poskusili lokalno izvajati velik jezikovni model, veste, kje je pravo ozko grlo. Ni vedno procesor, temveč pomnilnik. Prenos ogromnih naborov podatkov med CPU in ločeno grafično kartico je točka, kjer se začne zatikati. Lahko imate najhitrejši čip na svetu, a če je prepustnost pomnilnika majhna, je to kot Ferrarijev motor v prometnem zastoju. AI zahteva ogromno RAM-a in prepustnosti.
Poleg tega izvajanje vseh nalog z golo silo ogromnega, energijsko požrešnega GPU ni elegantna rešitev. Potrebujemo arhitekture, zasnovane prav za to — sisteme, v katerih CPU, zmogljiv integriran GPU in namenski NPU (nevronska procesna enota) usklajeno sodelujejo ter si delijo veliko količino izjemno hitrega poenotenega pomnilnika.
Nova opredelitev namiznega pogona za AI
Pri Minisforumu pozorno spremljamo to področje in menimo, da panoga k težavi pristopa z napačne strani. Za zmogljivost delovne postaje ne bi smeli žrtvovati svojega delovnega prostora.
Resnično sodoben pogon za AI bi moral biti drugačen:
Ne bi smel zavzeti celotne mize: biti mora eleganten, kompakten in neopazen. Na mizi naj deluje tiho, ne pa da ji vlada.
Potrebuje »avtocestno« prepustnost, ne le velike kapacitete: 32GB ali 64GB RAM-a je uporabnih, toda resne naloge AI zahtevajo ogromno kapaciteto — denimo 128GB — v kombinaciji z izjemno hitrim prenosom. Pregrada med pomnilnikom CPU in GPU mora izginiti.
Zahteva usmerjeno učinkovitost: namesto surove moči in nastajanja velike količine toplote mora namensko strojno opremo za AI (NPU) uporabljati za učinkovito izvajanje sklepanja v ozadju.
Brez kompromisov pri povezljivosti: povezati se mora z vsem — z več zasloni 8K, izjemno hitrimi omrežnimi vrati in razširitvami z visoko prepustnostjo.
Prihodnost je v gostoti zmogljivosti
Smo na prelomnici. Prihodnost razvoja AI, 3D-izrisovanja in ustvarjalnih delovnih procesov ne bi smela biti omejena na strežniške omare ali ogromna, hrupna stolpna ohišja.
Prava revolucija strojne opreme ne bo pomenila zgolj več tranzistorjev na plošči. Šlo bo za gostoto. Nastopila bo, ko bo prava, brezkompromisna zmogljivost AI na ravni delovne postaje postala tako kompaktna, tiha in lepa kot knjiga s trdimi platnicami ob monitorju.
Prav takšen pogon res potrebujemo. In prav takšno prihodnost gradimo.
Dodajte komentar