Od modelov 7B do 70B+: izbira Mini PC-ja za lokalno umetno inteligenco

Vse več ljudi modele umetne inteligence poganja lokalno. Lokalni LLM-ji, programerska orodja AI, zasebne baze znanja RAG, agenti AI, ustvarjanje slik in analiza dokumentov lahko delujejo na vaši strojni opremi, brez stalnega pošiljanja vsake datoteke ali delovnega podatka zunanji oblačni storitvi.

Zato je mini PC za lokalno umetno inteligenco vse bolj praktična možnost.

V primerjavi z veliko tradicionalno delovno postajo AI lahko mini PC z veliko pomnilnika hkrati služi kot vsakdanji računalnik, lokalni strežnik LLM, razvojni računalnik za AI in vozlišče domačega laboratorija. Nekateri modeli ponujajo 64 GB, 96 GB ali celo 128 GB pomnilnika, več NVMe SSD-jev, OCuLink in hitrejše omrežje, kar omogoča poznejše dodajanje zunanje grafike ali NAS-a AI.

Ali mini PC zmore vaše lokalne naloge AI, je odvisno od nekaj konkretnih vprašanj:

1. Načrtujete model s 7B, 14B, 30B ali 70B parametri?
2. Kateri format kvantizacije boste uporabili?
3. Koliko pomnilnika je dejansko na voljo?
4. Do koliko pomnilnika lahko dostopa GPU?
5. Kakšno prepustnost pomnilnika ponuja sistem?
6. Ali programska oprema uporablja predvsem CPU, GPU ali NPU?
7. Je vaš proces odvisen od NVIDIA CUDA?
8. Koliko prostora SSD potrebujejo modeli, zbirka RAG in baza znanja?

Namesto preprostega vprašanja »Kateri mini PC za AI je najzmogljivejši?« je zato koristneje vprašati: »Katere lokalne modele in procese AI želim dejansko poganjati ter kakšno strojno opremo potrebujejo?«

Kakšen mini PC potrebujejo modeli 7B, 30B in 70B?

Število parametrov se ne pretvori neposredno v porabo pomnilnika. Končne zahteve določajo kvantizacija, dolžina konteksta, predpomnilnik KV, ogrodje za sklepanje, operacijski sistem in druga sočasna programska oprema.

Nekatere modele 70B je po 4-bitni kvantizaciji teoretično mogoče naložiti v pomnilnik sistema s 64 GB, vendar pomnilnik potrebujejo tudi operacijski sistem, predpomnilnik KV, kontekst, zbirka RAG in druge aplikacije.

Če bo lokalni LLM razreda 70B redni del vašega dela, je 96 GB ali 128 GB običajno praktičnejša dolgoročna izbira kot konfiguracija, ki komaj sprejme sam model.

Kateri odprti modeli so smiselni na mini PC-ju?

7B–14B: dobro izhodišče za lokalno AI

Ta razred je primeren za lokalni klepet, povzemanje dokumentov, osnovne pomočnike AI, preprost RAG, lažje programiranje z AI in poskuse v domačem laboratoriju.

Če šele začenjate z Ollama, LM Studio ali drugim orodjem za lokalne LLM-je, ni veliko razlogov za takojšen nakup delovne postaje AI s 128 GB. Mini PC z 32 GB lahko že podpira celovito preizkusno okolje lokalne AI, hkrati pa služi za pisarno, razvoj ali domačo zabavo.

Tak sistem je bližje kombinaciji vsakdanji PC + razvojni PC + začetna lokalna AI kot namenskemu strežniku AI.

20B–32B: eden najuporabnejših razredov za osebno lokalno AI

V območju 20B–32B je več modelov, ki se neposredno ujemajo z dejanskimi nalogami.

1. Mistral Small 24B: uporaben za splošni klepet, klicanje funkcij in lokalne agente.

2. Qwen3-30B-A3B: uporaben za sklepanje, programiranje, večjezično delo in agentske procese.

3. Qwen2.5-Coder-32B: bolj usmerjen v ustvarjanje in razumevanje kode ter programiranje z AI.

4. DeepSeek-R1-Distill-Qwen-32B: bolj usmerjen v naloge z zahtevnim sklepanjem.

Tu je smiselno razlikovati med gostim modelom in modelom MoE. Qwen3-30B-A3B ni običajen gost model 30B, pri katerem vsi parametri sodelujejo v vsakem koraku sklepanja.

Po uradnih podatkih Qwen ima približno 30,5 milijarde skupnih parametrov, od tega okoli 3,3 milijarde aktivnih na žeton. Gre za model Mixture-of-Experts (MoE). MoE zmanjša število parametrov, vključenih v posamezen korak, vendar vse uteži še vedno zasedajo shrambo in pomnilnik. Pri oceni strojnih zahtev ga zato ne smete obravnavati kot zgolj model 3,3B.

Zato sama oznaka »30B« ali »32B« v imenu ne zadošča za napoved izkušnje. Pomembni sta tudi arhitektura in kvantizacija.

Za lokalno programiranje z AI, zasebni RAG, osebne baze znanja in agente AI je posebno zanimiv razred lokalnih LLM-jev okoli 30B. Tu mini PC s 64 GB začne postajati smiselna prava delovna postaja za razvoj osebne lokalne AI in ne zgolj PC z veliko RAM-a.

70B: kakovostnejši lokalni pomočniki in večji sistemi RAG

Modeli 70B običajno potrebujejo precej več pomnilnika. Dober primer je Llama 3.3 70B Instruct. Meta ga predstavlja kot večjezični besedilni model 70B, ki med drugim podpira angleščino, nemščino, francoščino, italijanščino, portugalščino in španščino. Zato je posebno zanimiv za evropsko lokalno uporabo AI.

Proizvodno ali inženirsko podjetje v Nemčiji lahko na primer v lokalni bazi znanja hrani priročnike, vzdrževalno in servisno dokumentacijo, gradivo za nadzor kakovosti, interne procese, produktno znanje, vprašanja kupcev in poprodajne zapise.

Dokumenti so lahko v angleščini, nemščini, francoščini in italijanščini. Večjezični lokalni LLM razreda 70B nad sistemom RAG lahko gradivo išče, povzema in ureja.

Pri takšni postavitvi mini PC ali lokalna delovna postaja AI opravlja računanje AI.

NAS skrbi za modele + dokumente + bazo znanja RAG + projekte + varnostne kopije.

Tako naravno nastane značilna postavitev mini PC za lokalno AI + NAS AI + RAG.

Zakaj je mini PC primeren za lokalno AI?

V preteklosti sta bili najočitnejši omejitvi mini PC-ja grafična zmogljivost in notranja razširljivost.

Lokalna AI prinaša drugačno strojno težavo. Številni večji modeli najprej potrebujejo dovolj pomnilnika, da lahko CPU ali GPU sploh dostopa do modela. Mini PC-ji z veliko pomnilnika so primerni za takšno okolje.

Več pomnilnika razširi nabor lokalnih LLM-jev, ki jih lahko poganjate

Potrošniške namizne grafične kartice imajo običajno določeno kapaciteto VRAM-a. GPU je lahko zelo hiter, toda če je model precej večji od razpoložljivega VRAM-a, mora del dela preiti v sistemski pomnilnik ali se razdeliti med CPU in GPU.

Zato mini PC-ji z veliko pomnilnika postajajo zanimivejši za uporabnike lokalnih LLM-jev. 32 GB, 64 GB, 96 GB in 128 GB niso več le ravni splošne večopravilnosti. Začenjajo ustrezati različnim ravnem kapacitete za lokalne LLM-je.

Deljeni pomnilnik integrirani grafiki daje več prilagodljivosti

Integrirani grafiki Radeon 780M in Radeon 890M ne delujeta s povsem določenim prostorom 8 GB, 12 GB ali 16 GB VRAM-a kot običajna namenska grafika. Uporabljata lahko skupni sistemski pomnilnik.

S pravo programsko opremo, gonilniki in zaledjem sklepanja lahko več sistemskega pomnilnika zagotovi več prostora lokalnim nalogam AI. Zato se za nekatere uporabnike lokalnih LLM-jev 64 GB RAM-a + integrirana grafika in 32 GB RAM-a + integrirana grafika razlikujeta v več kot običajni večopravilnosti.

Dodatni pomnilnik lahko vpliva tudi na prostor za lokalne modele, kontekst, storitve RAG in druge sočasne aplikacije.

Poenoten pomnilnik mini PC približa delovni postaji AI

Platforme, kot je Ryzen AI Max+ 395, to zamisel razvijejo dlje. Uporabljajo pomnilnik LPDDR5x z veliko kapaciteto in visoko prepustnostjo, CPU in Radeon 8060S pa delujeta z velikim skupnim pomnilniškim prostorom.

Pri tem 128 GB ne pomeni samo »CPU ima 128 GB RAM-a«. Vrednost je v tem, da velik pomnilniški prostor lahko hkrati služi CPU-ju, GPU-ju in celotnemu lokalnemu procesu AI.

Kapaciteta določa velikost modela in zahtevnost procesa, ki ga lahko izvajate; večja prepustnost in močnejši GPU pa lahko izboljšata odzivnost ter vsakdanjo zmogljivost sklepanja.

Platforma z velikim poenotenim pomnilnikom je res privlačna, ko morajo na istem računalniku obstajati velik lokalni model + dostop GPU + večopravilnost.

Na kaj se osredotočiti pri lokalni AI: CPU, GPU ali NPU?

Vsi trije so pomembni, vendar opravljajo različne naloge.

CPU je temelj celotnega sistema. Operacijski sistem, Docker, podatkovne zbirke, vektorske vložitve, storitve RAG, prevajanje kode in del sklepanja lahko uporabljajo CPU. Če mini PC služi tudi razvoju, domačemu laboratoriju in lokalnemu strežniku AI, je močnejša večjedrna zmogljivost koristnejša.

GPU je pomembnejši za številne lokalne LLM-je, ustvarjanje slik in vizualne naloge AI. Poleg računske zmogljivosti preverite, koliko pomnilnika mu je dostopnega in ali izbrano ogrodje sklepanja podpira njegovo zaledje.

NPU je energijsko varčen pospeševalnik, zasnovan posebej za AI. Združljive funkcije AI na napravi lahko izvaja samostojno, zato več nalog ni povsem odvisnih od CPU-ja ali GPU-ja.

Pri izbiri mini PC-ja za lokalno AI je smiselneje skupaj oceniti kapaciteto pomnilnika + GPU + programsko podporo + NPU kot sisteme razvrščati samo po TOPS.

Če je glavni cilj lokalni LLM, začnite pri velikosti modela in pomnilniku. Pri ustvarjanju slik ali programski opremi s pospeševanjem GPU bolj preverite grafiko in združljivost programske opreme. Če pričakujete več funkcij AI sistema Windows na napravi ali aplikacij, optimiziranih za NPU, postane NPU pomembnejši.

Kako izbirati med različnimi vrstami mini PC-jev za lokalno AI?

Mini PC z 32 GB: začetna lokalna AI

Ta raven je primerna za lokalne modele 7B–14B, nekatere večje kvantizirane modele, preprost RAG, začetno programiranje z AI, Ollama, LM Studio in domači laboratorij.

Predstavljajte si študenta ali samostojnega razvijalca v Franciji ali Nemčiji, ki želi lokalnega pomočnika za programiranje ob hkratni uporabi VS Code, brskalnika in Dockerja.

V takšnem primeru ni veliko razlogov za začetek z delovno postajo AI s 128 GB. Mini PC z 32 GB že združi vsakdanji PC + razvojni PC + začetno lokalno AI v enem računalniku.

Mini PC s 64 GB: osebna lokalna AI razreda 30B+

To je praktičnejša raven za redno uporabo lokalne AI. Ustreza modelom in nalogam, kot so Mistral Small 24B, Qwen3-30B-A3B, Qwen2.5-Coder-32B, DeepSeek-R1-Distill-Qwen-32B, RAG, lokalni pomočniki za programiranje, agenti AI in več storitev AI na Dockerju.

Evropski samostojni razvijalec lahko na primer lokalno poganja programerski model razreda 30B ter hkrati ohrani odprte IDE, Git, Docker, brskalnik, podatkovno zbirko in lokalni strežnik LLM.

Vrednost 64 GB je v tem, da preostalo razvojno okolje lahko še naprej deluje med izvajanjem modela.

Mini PC s 96–128 GB: lokalni LLM razreda 70B

Če že ciljate na Llama 3.3 70B, večjezičnega pomočnika razreda 70B, večji RAG, dolg kontekst, več agentov ali modelov hkrati, je čas za platformo z večjo kapaciteto.

Nekateri 4-bitno kvantizirani modeli 70B na 64 GB sodijo v območje »mogoče je poskusiti«. Za redno uporabo pa je praktičnejših 96–128 GB.

Sistem potrebuje prostor za uteži modela + predpomnilnik KV + operacijski sistem + RAG + podatkovno zbirko + aplikacije hkrati.

Delovna postaja AI s 128 GB poenotenega pomnilnika: 70B+ in večji lokalni modeli

To je druga kategorija od običajnega pisarniškega mini PC-ja. Bližje je kategoriji kompaktna delovna postaja AI / delovna postaja za lokalni LLM / zasebni strežnik AI.

Primernejša je za lokalne LLM-je 70B, velike kvantizirane modele, poskuse z modeli 100B+, večmodelne agente AI, zasebne poslovne baze znanja, laboratorije AI in skupno sklepanje majhnih ekip.

Pomembna ni le kapaciteta, temveč kombinacija velik poenoten pomnilnik + velika prepustnost pomnilnika + zmogljiva integrirana grafika.

Kako bi lahko bil videti evropski domači laboratorij za lokalno AI?

Predstavljajte si uporabnika v Nemčiji ali drugje v Evropi, ki podnevi potrebuje računalnik za razvoj in delo, pozneje pa želi na isti postavitvi poganjati lokalno AI.

Lahko ima tudi lokalni LLM, družinske fotografije, delovne dokumente, bazo znanja RAG, storitve Docker, samodejne varnostne kopije in agente AI.

Najpreprostejši začetek je običajno en mini PC. Deluje lahko kot delovna postaja + lokalni strežnik AI + razvojni računalnik. Dokler sta knjižnica modelov in podatkovna zbirka manjši, lahko vse ostane na notranji shrambi NVMe. NAS dodate pozneje z rastjo okolja.

Takrat velja: Mini PC = računska plast, ki izvaja sklepanje lokalnih LLM-jev, agente AI, vektorske vložitve, programiranje in ustvarjanje slik.

NAS = podatkovna plast, ki hrani modele, dokumente, bazo znanja RAG, medije, projekte in varnostne kopije.

Če imata oba sistema hitrejše omrežje, na primer 10GbE, lahko lokalni strežnik AI do večjih baz znanja in projektnih podatkov dostopa neposredno iz NAS-a. Za evropske domače laboratorije, majhne studie, samostojne razvijalce in manjše ekipe je takšna postavitev mini PC + NAS za lokalno AI lažje dolgoročno razširljiva kot stalno združevanje vseh nalog v eni napravi.

Če še primerjate vlogi računalniškega sistema in centralizirane shrambe, preberite Mini PC ali NAS? Kaj sem se naučil med izbiranjem med njima.

Potrebuje mini PC za lokalno AI NAS?

Na začetku običajno ne. Če uporabljate le nekaj modelov in zasebno bazo znanja, lastna shramba NVMe mini PC-ja praviloma zadošča.

Ko okolje vključuje več modelov 30B ali 70B, velike zbirke vektorskih vložitev, dokumentne zbirke, slike in video, različne različice modelov, skupinske datoteke in samodejne varnostne kopije, NAS postane koristnejši.

Mini PC je predvsem računski del lokalne AI.

NAS je predvsem shramba lokalne AI.

Zato mini PC za lokalno AI in NAS AI nista zares konkurenčna izdelka. Bolje ju je razumeti kot dva dela iste zasebne infrastrukture AI.

Za osebno postavitev je razumno začeti z enim mini PC-jem. Ko modeli, dokumenti in varnostne kopije narastejo, shrambo ločite pozneje. Tako lažje nadgradite delovno postajo AI brez vsakokratnega seljenja celotne zbirke podatkov.

Koliko shrambe SSD potrebuje mini PC za lokalno AI?

Datoteke modelov so le del okolja. Sčasoma shrambo zapolnijo tudi različne kvantizacije, modeli vektorskih vložitev, vektorske zbirke, slike Dockerja, repozitoriji kode, datoteke baze znanja, slike, videi in ustvarjeni rezultati.

1 TB je primernejši za začetnika z lokalno AI, ki hrani le nekaj modelov in projektov.

Kapaciteta 2 TB je praktičnejša za dolgoročno programiranje z AI, RAG ali vzdrževanje več modelov hkrati.

4 TB ali več je smiselnejših za večje knjižnice modelov, projekte slikovne in video AI, obsežne baze znanja in profesionalne procese.

Poleg prednameščene kapacitete preverite dejansko število rež M.2. Dve ali tri reže omogočajo več prilagodljivosti pri ločevanju sistema, modelov in projektnih podatkov, ko potrebe rastejo.

Za širši pogled na kapaciteto preberite naš Vodnik po shrambi SSD za mini PC-je.

Kdaj je smiseln OCuLink + zunanja grafika?

Namenske grafike ne potrebuje vsak uporabnik lokalne AI.

OCuLink postane smiselnejši, ko procesor, pomnilnik in shramba še zadoščajo, grafične zahteve pa rastejo. To lahko pomeni več orodij za ustvarjanje slik s pospeševanjem GPU, profesionalno programsko opremo, ki zahteva NVIDIA CUDA, večjo zmogljivost sklepanja GPU ali uporabo istega mini PC-ja za zahtevnejše igre in ustvarjanje vsebin.

Takrat dodajanje namizne grafike prek OCuLink omogoči ohranitev prvotnega mini PC-ja brez zamenjave celotnega sistema.

Če razmišljate o tej poti, preberite naš Vodnik po priklopni postaji OCuLink eGPU.

Izbira mini PC-ja MINISFORUM za lokalno AI glede na velikost modela

X1-Lite 255: začetna lokalna AI za modele 7B–14B

X1-Lite 255 ima 32 GB DDR5 in 1 TB SSD, grafiko Radeon 780M, USB4 in OCuLink.

Primernejši je za lokalne LLM-je 7B–14B, osnovni RAG, poskuse programiranja z AI, domači laboratorij in vsakdanjo uporabo. Njegova vloga je preprosta: cenovno dostopnejši vstop v lokalno AI z ohranjeno možnostjo poznejše zunanje grafične nadgradnje.

UM880 Plus: nadgradljiv mini PC za lokalno AI in domači laboratorij

UM880 Plus ponuja nadgradljiv pomnilnik DDR5, dve mesti M.2 in OCuLink.

Primeren je za uporabnike, ki želijo začeti z običajnim razvojnim računalnikom in ga postopoma spremeniti v lokalni strežnik AI. Začne lahko z 32 GB za modele 7B–14B, po nadgradnji pomnilnika pa preide na modele 20B–32B, RAG in več storitev Docker. Če GPU pozneje postane ozko grlo, OCuLink omogoči dodajanje namizne grafike.

Njegova glavna prednost je pot nadgradnje.

AI X1 Pro-370: izhodišče s 64 GB za osebno lokalno AI razreda 30B+

AI X1 Pro-370 ima 64 GB RAM-a in 2 TB SSD ter podpira do 128 GB DDR5.

Za osebne uporabnike lokalne AI 64 GB pomeni opazno drugačen razred nalog. Primeren je za Qwen3-30B-A3B, Qwen2.5-Coder-32B, DeepSeek-R1-Distill-Qwen-32B, lokalni RAG, programiranje z AI, agente AI in ustvarjanje vsebin.

Podpora do 128 GB pušča tudi več pomnilniške rezerve za poznejše večje kvantizirane modele.

MS-S1 MAX: delovna postaja za lokalno AI 70B+ s poenotenim pomnilnikom

MS-S1 MAX združuje Ryzen AI Max+ 395 z Radeon 8060S in podpira do 128 GB poenotenega pomnilnika LPDDR5x.

Namenjen je lokalnim LLM-jem 70B, Llama 3.3 70B, večjim sistemom RAG, večagentskim procesom, obsežnim lokalnim bazam znanja, zasebnim strežnikom AI, laboratorijem AI in manjšim ekipam.

Pri tej kategoriji je pomembna kombinacija 128 GB poenotenega pomnilnika + velika prepustnost pomnilnika + Radeon 8060S. Zato je bližje kompaktni delovni postaji za lokalno AI kot običajnemu mini PC-ju.

Če takšno platformo AI z veliko kapaciteto primerjate s tradicionalnejšim zmogljivim mini PC-jem, preberite Ryzen AI Max+ 395 proti zmogljivim mini PC-jem Intel.

Zakaj bi evropski uporabniki razmislili o mini PC-ju za lokalno AI?

Za posameznike, samostojne strokovnjake in manjše ali srednje velike ekipe v Evropi vrednost lokalne AI ni le v zmogljivosti.

Oblikovalski studio v Nemčiji lahko želi neobjavljena gradiva naročnikov ohraniti na svojih napravah in omrežju.

Razvojna ekipa v Franciji lahko želi, da koda, preizkusni podatki in interna dokumentacija ostanejo predvsem lokalno.

Trgovec, veletrgovec ali manjši proizvajalec, ki prodaja v več državah EU, lahko upravlja produktne informacije, tehnične dokumente, vprašanja kupcev, servisno gradivo in interne standardne operativne postopke (SOP) v angleščini, nemščini, francoščini, italijanščini in španščini. Večjezični lokalni LLM + RAG lahko te podatke združi v interno bazo znanja AI za pomoč podpori kupcem, produktna vprašanja, interno iskanje, urejanje dokumentov in usposabljanje zaposlenih.

Lokalna AI lahko zmanjša količino delovnih podatkov, ki jih morate stalno pošiljati zunanjim storitvam AI.

Kaj naj evropski kupci še preverijo pred nakupom?

Ko sistem iz običajnega mini PC-ja z 32 GB preide na 64 GB, 128 GB ali delovno postajo AI, nakup ni več odvisen samo od CPU-ja, GPU-ja in pomnilnika. Lokalna poprodajna podpora in možnosti popravil postanejo del dejanskih stroškov lastništva.

Trgovina MINISFORUM EU Store evropskim kupcem prodaja mini PC-je, delovne postaje in sisteme NAS MINISFORUM. Za naročila v države EU navaja DDV, vključen v ceno, izdelke na zalogi pa odpošilja iz skladišča v EU.

Za upravičene PC-je, delovne postaje in izdelke NAS, kupljene v EU Store 9. marca 2026 ali pozneje, trenutni garancijski pogoji zagotavljajo 24 mesecev kritja. MINISFORUM EU ponuja tudi evropski postopek popravil, pri čemer se njegov servisni center v EU nahaja v Hamburgu v Nemčiji.

Pri mini PC-ju z veliko kapaciteto za lokalno AI je zato poleg strojne opreme smiselno upoštevati DDV EU + skladišče v EU + garancijo EU + popravila v Evropi. Ti dejavniki ne povečajo velikosti modela, ki ga lahko poganjate, vplivajo pa na nakup, popravilo in poprodajne stroške lastništva zmogljive delovne postaje AI v Evropi.

Če upoštevate samo tri stvari

1. Začnite z uporabo in modelom, nato izberite mini PC.

Naloge 7B, 30B in 70B potrebujejo zelo različno strojno opremo.

2. Pri lokalni AI najprej preverite kapaciteto in arhitekturo pomnilnika.

Model, kontekst in preostali proces AI potrebujejo prostor v razpoložljivem pomnilniku.

3. Postavitev mini PC + NAS za lokalno AI rešuje dve različni težavi.

Mini PC opravlja računanje. NAS hrani modele, dokumente, baze znanja in varnostne kopije. Ko okolje raste, lahko vsako stran nadgradite ali ločite brez vsakokratne ponovne postavitve celotnega sistema.