Postoji razlog za\u0161to je enterprise AI tradicionalno zahtijevao serverske sobe. Tipi\u010dni veliki jezi\u010dni model \u2014 vrsta koja pokre\u0107e ChatGPT ili Claude \u2014 ima milijarde parametara. Svaki parametar pohranjen je kao broj. Pri punoj preciznosti, model od 14 milijardi parametara treba otprilike 28 gigabajta memorije samo za u\u010ditavanje. Pokretanje zahtijeva jo\u0161 vi\u0161e. Zato AI tvrtke grade masivne podatkovne centre pune specijaliziranih GPU-ova koji ko\u0161taju deseci tisu\u0107a eura svaki.<\/p>\n\n\n\n
Umjesto pohranjivanja svakog parametra kao broja s pomi\u010dnim zarezom visoke preciznosti (16 bita ili 32 bita), kvantizacija ih komprimira u manje reprezentacije \u2014 8-bitne, 4-bitne, ponekad i ni\u017ee. Model od 14 milijardi parametara koji pri punoj preciznosti treba 28 GB mo\u017ee raditi u 8\u201310 GB kad je kvantiziran na 4 bita. To je razlika izme\u0111u serverskog ormara i kompaktnog ure\u0111aja na va\u0161em stolu.<\/p>\n\n\n\n
O\u010dito pitanje: uni\u0161tava li kompresija kvalitetu?<\/p>\n\n\n\n
Za ve\u0107inu poslovnih zadataka, odgovor je ne. Istra\u017eivanja dosljedno pokazuju da dobro izvedena 4-bitna kvantizacija zadr\u017eava 95\u201398 % sposobnosti modela na prakti\u010dnim zadacima \u2014 pisanje e-mailova, sa\u017eimanje dokumenata, odgovaranje na pitanja o u\u010ditanim datotekama, izrada izvje\u0161taja. Gubici se pojavljuju u rubnim slu\u010dajevima \u2014 slo\u017eeni vi\u0161estupanjski matemati\u010dki zaklju\u010dci, rijetki jezici s ograni\u010denim podacima za treniranje, visokospecijalizirane akademske domene. Za posao koji ve\u0107ina tvrtki treba od AI-ja \u2014 napisati profesionalni odgovor, izvu\u0107i klju\u010dne podatke iz PDF-a, izraditi ponudu na temelju predlo\u0161ka \u2014 kvantizirani model daje identi\u010dne rezultate kao verzija pune veli\u010dine.<\/p>\n\n\n\n
Zamislite to poput audio kompresije. Nekomprimirana WAV datoteka tehni\u010dki je vi\u0161e kvalitete od MP3. Ali kad slu\u0161ate glazbu u autu, na putu na posao ili u uredu, ne \u010dujete razliku. Informacija koja se uklanja tijekom kompresije je informacija koju ionako niste koristili. Kvantizacija funkcionira po istom principu \u2014 uklanja preciznost koja modelu nije potrebna za zadatke koje zapravo izvr\u0161avate.<\/p>\n\n\n\n
Razlika je zna\u010dajnija nego \u0161to jaz u kvaliteti sugerira. Modeli pune preciznosti zahtijevaju hardver koji ko\u0161ta pet do deset puta vi\u0161e. Tro\u0161e vi\u0161e energije. Stvaraju vi\u0161e topline. Zahtijevaju infrastrukturu za hla\u0111enje i namjenski serverski prostor. Kvantizirani modeli rade na hardveru koji stane u ladicu, spaja se na obi\u010dnu uti\u010dnicu i ko\u0161ta manje od vrhunskog laptopa.<\/p>\n\n\n\n
Za\u0161to ovo mijenja ekonomiku AI-ja<\/strong><\/p>\n\n\n\n To je ono \u0161to lokalni AI \u010dini odr\u017eivim kao proizvod \u2014 ne samo kao istra\u017eiva\u010dki projekt. Prije pet godina, pokretanje korisnog jezi\u010dnog modela zahtijevalo je cloud infrastrukturu i teku\u0107u pretplatu. Prije dvije godine trebao vam je skup desktop s vrhunskim GPU-om. Danas kvantizirani modeli rade na hardveru koji ko\u0161ta manje od godi\u0161nje pretplate na cloud AI za mali ured.<\/p>\n\n\n\n Ekonomika se preokrenula. Pitanje vi\u0161e nije: \u201eMo\u017eemo li si priu\u0161titi pokretanje AI-ja lokalno?” Pitanje je: \u201eMo\u017eemo li si priu\u0161titi da nastavimo pla\u0107ati nekome drugome da ga pokre\u0107e za nas?”<\/p>\n\n\n\n Cloud AI pretplata za tim od pet osoba ko\u0161ta otprilike 1.500 \u20ac godi\u0161nje. To je 4.500 \u20ac kroz tri godine \u2014 a na kraju tih triju godina ne posjedujete ni\u0161ta. Hardverska alternativa ima po\u010detne tro\u0161kove, ali nakon toga je teku\u0107i tro\u0161ak struja. Nema naknada po radnom mjestu. Nema API mjerenja. Nema ograni\u010denja kori\u0161tenja. Va\u0161 deseti zaposlenik koristi ga po istoj cijeni kao va\u0161 prvi.<\/p>\n\n\n\n Tehnike kvantizacije pobolj\u0161avaju se svake godine. Modeli dostupni danas pri 4-bitnoj preciznosti nadma\u0161uju modele pune preciznosti od prije dvije godine. Putanja je jasna: manji, br\u017ei, sposobniji. Ono \u0161to danas radi na desktopu, sutra \u0107e raditi na laptopu. Ono \u0161to sada zahtijeva 16 GB memorije, sljede\u0107e godine trebat \u0107e 8 GB.<\/p>\n\n\n\n Tvrtke koje \u010dekaju \u201esavr\u0161en” trenutak za usvajanje lokalnog AI-ja otkrit \u0107e da je taj trenutak pro\u0161ao dok su pla\u0107ale cloud pretplate. Tehnologija ne dolazi. Ona je tu. Pitanje je ho\u0107e li je va\u0161e poslovanje koristiti \u2014 ili nastaviti iznajmljivati od nekoga drugoga.<\/p>\n","protected":false},"excerpt":{"rendered":" Postoji razlog za\u0161to je enterprise AI tradicionalno zahtijevao serverske sobe. Tipi\u010dni veliki jezi\u010dni model \u2014 vrsta koja pokre\u0107e ChatGPT ili Claude \u2014 ima milijarde parametara. Svaki parametar pohranjen je kao broj. Pri punoj preciznosti, model od 14 milijardi parametara treba otprilike 28 gigabajta memorije samo za u\u010ditavanje. Pokretanje zahtijeva jo\u0161 vi\u0161e. Zato AI tvrtke grade […]<\/p>\n","protected":false},"author":1,"featured_media":425,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_post_was_ever_published":false},"categories":[16],"tags":[],"class_list":["post-417","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-umjetna-inteligencija"],"jetpack_featured_media_url":"https:\/\/emporiant.com\/ba\/wp-content\/uploads\/sites\/4\/2026\/05\/QuantizedModels-1.jpg","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/posts\/417","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/comments?post=417"}],"version-history":[{"count":1,"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/posts\/417\/revisions"}],"predecessor-version":[{"id":422,"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/posts\/417\/revisions\/422"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/media\/425"}],"wp:attachment":[{"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/media?parent=417"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/categories?post=417"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/emporiant.com\/ba\/wp-json\/wp\/v2\/tags?post=417"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Jaz se nastavlja smanjivati<\/strong><\/h3>\n\n\n\n