Valodas modelis lokāli uzņēmuma serverī: kas jāņem vērā

Ja vēlaties, lai klientu e-pasti, cenrāži un līgumi paliktu uzņēmumā, AI darbināšana savā uzņēmuma serverī šķiet saprātīga izvēle: programmatūra atrodas Jūsu birojā, un dati paliek turpat. Tomēr, pirms sākat darbināt valodas modeli lokāli, jāizvērtē viss, kas nepieciešams tā ieviešanai un uzturēšanai. Pirms kaut ko izstrādājam, mēs kopā ar Jums pārrunājam piekļuvi, datu apstrādi un trešo pušu pakalpojumus.¹

Valodas modelis ir programmatūra, kas izlasa parastiem vārdiem uzrakstītu jautājumu un uzraksta atbildi. Valodas modeļi ir viens no dabiskās valodas apstrādes rīkiem — šī joma māca datoriem lasīt un rakstīt ikdienas tekstu. Darbināt modeli pašiem nozīmē izvēlēties datortehniku, uzstādīt un atjaunināt programmatūru, pārbaudīt, vai atbildes ir pietiekami labas latviešu un citās uzņēmumā izmantotajās valodās, un noteikt cilvēku, kurš par to rūpējas.

Šajā rakstā šie punkti aplūkoti pēc kārtas. Noslēgumā godīgi izvērtējam, kad vienkāršāka izvēle ir mākoņpakalpojums — rīks, kas darbojas cita uzņēmuma serveros.

Ko nozīmē darbināt valodas modeli lokāli savā serverī

Lai darbinātu modeli lokāli, jāuzstāda tā faili un programmatūra.² Modeli darbina tāda programma kā Ollama.³ Modeļa failu Jūs lejupielādējat un glabājat savā datorā.³

Kad modeļa fails ir Jūsu datorā, tas var darboties pilnīgi bezsaistē.³ Tas attiecas uz gadījumiem, kad neviena darba daļa nav atkarīga no attāla pakalpojuma.²

Citas programmas sazinās ar modeli, izmantojot API — saskarni, kas ļauj citām programmām nosūtīt modelim jautājumus un saņemt atbildes. Ollama API izmanto tādu pašu formātu kā OpenAI mākoņpakalpojums, tāpēc daudzus esošos rīkus var pieslēgt bez izmaiņām.³ Praksē Jūsu komanda tā iegūst dabiskās valodas saskarni: e-pasta rīks nosūta modelim klienta vēstuli un saņem atpakaļ atbildes melnrakstu.

Šo savienojumu vērtējiet reālistiski. Pirms modeli savienojat ar vietām, kur komanda saņem ziņojumus, paredziet iestatīšanas darbu. Praksē neliela savienotājprogramma vai automatizācijas rīks paņem katru jaunu ziņojumu, nosūta to modelim un ievieto melnrakstu tur, kur darbinieki to redzēs, piemēram, izklājlapas rindā. Ja komandā nav cilvēka ar nepieciešamajām tehniskajām zināšanām, sāciet ar ziņojumu ielīmēšanu manuāli un melnrakstu kopēšanu atpakaļ, bet automatizējiet tikai tad, kad pārbaudēs pārliecināsieties, ka atbilžu kvalitāte ir pietiekama. Modelis pats Jūsu ziņojumiem nepiekļūst.

Ar modeļa lejupielādi vien nepietiek — tas arī jāiestata un jāuztur.² Ja Jūsu patiesais mērķis ir atbildes, kas balstītas uzņēmuma dokumentos, vispirms izlasiet vienkāršu ceļvedi uzņēmuma zināšanu bāzes izveidē. Modelis ir tikai viena tās daļa.

Atmiņa nosaka, kuru modeli var darbināt

Parametri ir iekšējie iestatījumi, ko modelis apguvis apmācības laikā. Modeļu lielumu apzīmē ar parametru skaitu, piemēram, 7B vai 70B.⁴ „7B” nozīmē septiņus miljardus. Pilnā FP16 precizitātē lielākam parametru skaitam vajag vairāk atmiņas.⁴ Pilnā, nesaspiestā precizitātē katram parametru miljardam nepieciešami aptuveni 2GB atmiņas, tātad 7B modelim vajag ap 14GB, bet 70B modelim — ap 140GB.⁴

Visbūtiskākā ir VRAM — grafiskās kartes atmiņa. Tieši VRAM ir galvenais datortehnikas ierobežojums, kas nosaka, kāda lieluma modeļus var darbināt bez būtiskas modeļa saspiešanas.⁵

Parastais risinājums ir kvantizācija, kas vienkārši nozīmē saspiesta modeļa izmantošanu — līdzīgi kā mazāks fotoattēla fails, kas izskatās gandrīz tāpat. Q4_K_M kvantizācija samazina atmiņas patēriņu aptuveni četras reizes salīdzinājumā ar FP16 un lielākajai daļai modeļu saglabā ap 95% no standarta testu kvalitātes.⁴ Pilniem modeļiem bieži vajag 20–40GB VRAM, bet saspiestās versijas var ietilpt kartē ar 8GB.⁶ Ar pareiziem iestatījumiem arī parastas 8GB grafiskās kartes var darbināt spējīgus modeļus.⁶ Ja nepieciešams darbināt lielāku modeli, divas RTX 4090 kartes kopā dod 48GB — pietiekami, lai darbinātu Llama 3.1 70B ar Q4_K_M.⁴

Ātrumu mēra tokenos sekundē — aptuveni tas nozīmē, cik ātri vārdi parādās ekrānā. Visam modelim jāietilpst grafiskās kartes atmiņā. 7B modelis, kas uz GPU darbojas ar 45 tokeniem sekundē, var nokristies līdz 8, ja kaut 10% tā slāņu nonāk sistēmas RAM.⁴ Datorā, kurā ir tikai CPU, Ollama var radīt ap 3–6 vārdiem sekundē, nevis 30 vai vairāk.³

Ja atbildes melnrakstu cilvēks izlasīs vēlāk, lēnums var būt pieņemams. Ja darbinieki gaida pie ekrāna, parasti tas nav pieņemams.

Pārējais dators: barošana, procesors, krātuve un sistēma

Grafisko karti vērtējiet kopā ar pārējo datoru. Jaudīgām kartēm, piemēram, 4090, un konfigurācijām ar vairākām kartēm vajag barošanas bloku ar 1000–1200W jaudu vai vairāk.⁵ Pietiekami jaudīgs procesors nodrošina, ka dators turpina reaģēt bez aizkavēm, kamēr tas sagatavo tekstu modelim.⁵ Ātra krātuve saīsina modeļa ielādes laiku.⁵ Mazu modeļu darbināšanai un vieglākiem lokāliem eksperimentiem pietiek ar 32GB sistēmas atmiņas.⁵

Pirms lēmuma pieprasiet vietējam piegādātājam aktuālu cenu piedāvājumu. Salīdziniet iegādes, elektrības un uzturēšanas darba izmaksas ar mākoņpakalpojuma gada abonēšanas izmaksām tādam pašam lietotāju skaitam. Pārbaudiet arī datora enerģijas patēriņu, ņemot vērā savu elektrības tarifu.

AI darba slodzēm Linux piedāvā labu grafikas draiveru atbalstu un mazāk saderības problēmu.⁵ Ja birojā neviens nepārzina šo operētājsistēmu, vai nu uzticiet servera iestatīšanu un uzturēšanu ārējam partnerim, vai uztveriet to kā iemeslu izvēlēties mākoņpakalpojumu.

Paredziet arī rīcību servera darbības traucējumu gadījumā. Datortehnika mēdz sabojāties, un grafiskās kartes laika gaitā nolietojas, kas var apturēt darbu.⁷ Iepriekš izlemiet, ko komanda dara, kad serveris nedarbojas. Parasti tas nozīmē rakstīt atbildes manuāli, kā agrāk, līdz serveris ir salabots.

Atjauninājumi un iestatījumi, par kuriem kādam jārūpējas

Lokālie modeļi ir populāri, un izvēle ir plaša. Ollama modeļu bibliotēkā Llama 3.1 lejupielādēts 115,9 miljonus reižu.⁴ Mūsu pieredzē jaunas modeļu versijas un darbināšanas programmu atjauninājumi parādās bieži. Kādam jāizlemj, kurus no tiem uzstādīt, jāuzstāda tie un jāpārbauda, vai nekas nav sabojājies.

Dažus noklusējuma iestatījumus arī vajag mainīt. Konteksta logs nozīmē, cik daudz teksta modelis izlasa vienlaikus; to mēra tokenos — nelielās vārdu daļās. Ollama noklusējums ir 4096 tokeni, un to var palielināt ar vienu iestatījumu.⁴ Garš e-pastu pavediens ar pievienotu cenu piedāvājumu noklusējuma apjomā var neietilpt, un tad modelis daļu no tā neņems vērā.

Turklāt Ollama izlādē modeli no atmiņas pēc dažām neaktivitātes minūtēm.³ Pēc klusāka posma pārbaudiet, vai pirmā atbilde nav jāgaida ilgāk. Apsveriet, cik daudz atmiņas varat atvēlēt modelim laikā starp pieprasījumiem.

Kā pārbaudīt, vai atbildes ir pietiekami labas

Kvantizācija samazina modeļa svaru glabāšanai nepieciešamo vietu, bet tā var pasliktināt atbilžu kvalitāti.² Aptuveni 95% rādītājs raksturo standarta testu kvalitāti lielākajai daļai modeļu.⁴ Standarta testi neparāda, cik labi modelis tiks galā ar Jūsu uzņēmuma dokumentiem un klientu jautājumiem. Tajos nav ne Jūsu cenrāža, ne darba laika, ne tā, kā Jūsu klienti formulē sūdzības.

Tāpēc izveidojiet savu pārbaudi. Apkopojiet jautājumus, ko klienti uzdod ikdienā: pieprasījumu par darba laiku, piegādātāja jautājumu par kavētu pasūtījumu, klienta lūgumu mainīt cenu piedāvājumu. Uzrakstiet tos tā, kā klienti tos patiešām raksta — latviešu, lietuviešu, igauņu, krievu vai angļu valodā, ar visām pareizrakstības kļūdām. Pie katra jautājuma atzīmējiet, kas obligāti jāietver labai atbildei.

Palaidiet šo jautājumu kopu caur modeli un lūdziet kādam, kas pārzina darbu, novērtēt katru atbildi. Pēc katras izmaiņas — jaunas modeļa versijas, cita saspiešanas līmeņa, jauna iestatījuma — palaidiet to pašu kopu vēlreiz. Ja vērtējumi pasliktinās, izmaiņu neieviesiet.

Neviens vispārīgs „labu latviešu valodas modeļu” saraksts šo pārbaudi neaizstāj. Rezultāti atšķiras atkarībā no modeļa, saspiešanas līmeņa un tā, kā raksta tieši Jūsu klienti, tāpēc izmēģiniet kandidātus ar vieniem un tiem pašiem jautājumiem un paturiet to, kuram vērtējums ir vislabākais.

Vairāk par to, kāpēc cilvēks pārbauda katru melnrakstu.

Kas par to atbild un kas jādara katru mēnesi

Lokālam modelim vajag vienu konkrētu atbildīgo personu, kā arī aizvietotāju atvaļinājumu un slimības dienām. Ja atbildīgais nav noteikts, atjauninājumi tiek izlaisti, kvalitāte pamazām krītas, un neviens to nepamana, līdz to pamana klients. Datortehnika var sabojāties, un grafiskās kartes nolietojas,⁷ tāpēc atbildīgā persona uzrauga arī pašu datoru.

Reālistiski novērtējiet uzturēšanai nepieciešamo darba laiku. Paredziet laiku gan regulārai apkopei, gan problēmu risināšanai, kad tās rodas. Šīs stundas tiek atņemtas no atbildīgās personas ikdienas darbiem, tāpēc ņemiet to vērā plānošanā.

Uzturēšanu plānojiet, pirms kaut kas tiek izstrādāts. Skatiet plānu dienai pēc palaišanas.

Kad vienkāršāka izvēle ir mākoņpakalpojums

Lokāliem modeļiem ir reālas priekšrocības. Izstrādātāji tos izvēlas, jo salīdzinājumā ar mākoņpakalpojumiem tie nodrošina ātrākas atbildes, zemākas darbības izmaksas un labāku datu privātumu.⁶ Pēc uzstādīšanas tie darbojas arī bez interneta savienojuma.³

Mākoņpakalpojumiem ir savas priekšrocības. Premium piekļuve mākoņa AI pakalpojumam parasti maksā ap 20 USD mēnesī.³ Salīdzinot mākoņpakalpojumus, ņemiet vērā, kurš rūpējas par datortehniku, atjauninājumiem un remontu.

Lai sāktu izmantot mākoņpakalpojumu, galvenokārt jāizvēlas rīks, jāizveido konti tiem, kas to lietos, un rakstiski jāvienojas, kādus datus tajā drīkst un kādus nedrīkst ielīmēt. Ja runa ir par klientu ziņojumiem, jautājiet pakalpojuma sniedzējam, kur dati tiek glabāti, vai tos izmanto apmācībai, un pieprasiet datu apstrādes līgumu; lokālā serverī izlemiet, kam ir piekļuve un kad vecie ziņojumi tiek dzēsti.

Saprātīgs princips: izvēlieties lokālu risinājumu, ja līgums, normatīvais akts vai stingra uzņēmuma politika nosaka, ka datiem jāpaliek Jūsu datortehnikā, vai ja lietošanas apjoms ir ļoti liels. Citādi sāciet ar mākoņpakalpojumu un vēlāk izvērtējiet situāciju no jauna.

Jebkurā gadījumā noderīgā daļa ir tā pati. Melnrakstus un atbildes no Jūsu apstiprinātajiem dokumentiem, katrai norādot avotu, var izveidot gan uz lokāla, gan uz mākoņā darbināta modeļa bāzes. Lēmums par to, kur darbojas modelis, ir otršķirīgs — vispirms jāizvēlas uzdevums.

Biežāk uzdotie jautājumi

Kā darbināt lielus valodas modeļus ar grafisko karti, kurai ir maz atmiņas?

Izmantojiet saspiestu jeb kvantizētu modeļa versiju. Ar kvantizāciju un pareizu optimizāciju spējīgi valodas modeļi var darboties ar parastām patērētāju grafiskajām kartēm, kurām ir 8GB VRAM.⁶ Q4_K_M kvantizācija samazina atmiņas patēriņu aptuveni 4 reizes salīdzinājumā ar FP16 un lielākajai daļai modeļu saglabā ap 95% no standarta testu kvalitātes.⁴ Nodrošiniet, lai viss modelis ietilptu grafiskās kartes atmiņā, jo, ja daļa no tā nonāk sistēmas atmiņā, ātrums krasi samazinās.⁴

Kā darbināt modeli lokāli uzņēmuma serverī?

Uzstādiet lokālu darbināšanas programmu un lejupielādējiet modeli. Ollama lokālais API izmanto ar OpenAI saderīgu formātu, tāpēc ar to darbojas lielākā daļa esošo rīku.³ Strādājot ar populāriem dziļās mācīšanās ietvariem, Linux piedāvā labu GPU draiveru atbalstu un mazāk saderības problēmu.⁵ Plānojiet ne tikai uzstādīšanas dienu, bet arī iestatīšanu un pastāvīgu uzturēšanu.²

Vai lokāls valodas modelis darbojas bez interneta?

Jā, ja modelis un programmatūra ir uzstādīti un konfigurācija nav atkarīga no attāla pakalpojuma.²,³ Savienojums tomēr būs vajadzīgs, lai lejupielādētu atjauninājumus un jaunas modeļa versijas, kad nolemsiet tās uzstādīt.

Vai lokāls modelis labi atbildēs latviski?

Tas atkarīgs no modeļa un no tā, cik stipri tas ir saspiests, tāpēc pārbaudiet, nevis pieņemiet. Palaidiet savu reālo klientu jautājumu kopu latviešu un citās uzņēmumā izmantotajās valodās un atkārtojiet pārbaudi pēc katras izmaiņas. Cilvēks joprojām pārbauda melnrakstus pirms nosūtīšanas.

Vai lokāls modelis ir lētāks par mākoņa AI abonementu?

Premium piekļuve mākoņpakalpojumiem parasti maksā ap 20 USD mēnesī.³ Lejupielādējama modeļa darbināšana nozīmē iestatīšanu un pastāvīgu uzturēšanu.² Mēs izvēlamies modeli katram uzdevumam: komerciālu modeli no tāda pakalpojumu sniedzēja kā OpenAI, Anthropic vai Google vai atvērtu modeli, ja to prasa Jūsu datu noteikumi.¹