Postoji razlog zašto je enterprise AI tradicionalno zahtijevao serverske sobe. Tipični veliki jezični model — vrsta koja pokreće ChatGPT ili Claude — ima milijarde parametara. Svaki parametar pohranjen je kao broj. Pri punoj preciznosti, model od 14 milijardi parametara treba otprilike 28 gigabajta memorije samo za učitavanje. Pokretanje zahtijeva još više. Zato AI tvrtke grade masivne podatkovne centre pune specijaliziranih GPU-ova koji koštaju deseci tisuća eura svaki.

Kvantizacija mijenja matematiku.

Umjesto pohranjivanja svakog parametra kao broja s pomičnim zarezom visoke preciznosti (16 bita ili 32 bita), kvantizacija ih komprimira u manje reprezentacije — 8-bitne, 4-bitne, ponekad i niže. Model od 14 milijardi parametara koji pri punoj preciznosti treba 28 GB može raditi u 8–10 GB kad je kvantiziran na 4 bita. To je razlika između serverskog ormara i kompaktnog uređaja na vašem stolu.

Očito pitanje: uništava li kompresija kvalitetu?

Što gubite — a što ne

Za većinu poslovnih zadataka, odgovor je ne. Istraživanja dosljedno pokazuju da dobro izvedena 4-bitna kvantizacija zadržava 95–98 % sposobnosti modela na praktičnim zadacima — pisanje e-mailova, sažimanje dokumenata, odgovaranje na pitanja o učitanim datotekama, izrada izvještaja. Gubici se pojavljuju u rubnim slučajevima — složeni višestupanjski matematički zaključci, rijetki jezici s ograničenim podacima za treniranje, visokospecijalizirane akademske domene. Za posao koji većina tvrtki treba od AI-ja — napisati profesionalni odgovor, izvući ključne podatke iz PDF-a, izraditi ponudu na temelju predloška — kvantizirani model daje identične rezultate kao verzija pune veličine.

Zamislite to poput audio kompresije. Nekomprimirana WAV datoteka tehnički je više kvalitete od MP3. Ali kad slušate glazbu u autu, na putu na posao ili u uredu, ne čujete razliku. Informacija koja se uklanja tijekom kompresije je informacija koju ionako niste koristili. Kvantizacija funkcionira po istom principu — uklanja preciznost koja modelu nije potrebna za zadatke koje zapravo izvršavate.

Razlika je značajnija nego što jaz u kvaliteti sugerira. Modeli pune preciznosti zahtijevaju hardver koji košta pet do deset puta više. Troše više energije. Stvaraju više topline. Zahtijevaju infrastrukturu za hlađenje i namjenski serverski prostor. Kvantizirani modeli rade na hardveru koji stane u ladicu, spaja se na običnu utičnicu i košta manje od vrhunskog laptopa.

Zašto ovo mijenja ekonomiku AI-ja

To je ono što lokalni AI čini održivim kao proizvod — ne samo kao istraživački projekt. Prije pet godina, pokretanje korisnog jezičnog modela zahtijevalo je cloud infrastrukturu i tekuću pretplatu. Prije dvije godine trebao vam je skup desktop s vrhunskim GPU-om. Danas kvantizirani modeli rade na hardveru koji košta manje od godišnje pretplate na cloud AI za mali ured.

Ekonomika se preokrenula. Pitanje više nije: „Možemo li si priuštiti pokretanje AI-ja lokalno?” Pitanje je: „Možemo li si priuštiti da nastavimo plaćati nekome drugome da ga pokreće za nas?”

Cloud AI pretplata za tim od pet osoba košta otprilike 1.500 € godišnje. To je 4.500 € kroz tri godine — a na kraju tih triju godina ne posjedujete ništa. Hardverska alternativa ima početne troškove, ali nakon toga je tekući trošak struja. Nema naknada po radnom mjestu. Nema API mjerenja. Nema ograničenja korištenja. Vaš deseti zaposlenik koristi ga po istoj cijeni kao vaš prvi.

Jaz se nastavlja smanjivati

Tehnike kvantizacije poboljšavaju se svake godine. Modeli dostupni danas pri 4-bitnoj preciznosti nadmašuju modele pune preciznosti od prije dvije godine. Putanja je jasna: manji, brži, sposobniji. Ono što danas radi na desktopu, sutra će raditi na laptopu. Ono što sada zahtijeva 16 GB memorije, sljedeće godine trebat će 8 GB.

Tvrtke koje čekaju „savršen” trenutak za usvajanje lokalnog AI-ja otkrit će da je taj trenutak prošao dok su plaćale cloud pretplate. Tehnologija ne dolazi. Ona je tu. Pitanje je hoće li je vaše poslovanje koristiti — ili nastaviti iznajmljivati od nekoga drugoga.