Jauns kolēģis jautā, kā notiek preču ar atvērtu iepakojumu atgriešana. Kāds pārtrauc savu darbu, pārmeklē trīs mapes un atrod vecu piezīmi, kas varbūt joprojām ir pareiza, bet varbūt arī ne. Uzņēmumā ar 15 vai 30 darbiniekiem uz atkārtotiem jautājumiem var būt grūti atbildēt, ja informācija ir izkaisīta pa failiem un cilvēku galvām.

Iespējams, Jūs vēlaties, lai šajā iekšējā informācijā varētu meklēt, nesūtot klientu datus un cenrāžus ārējam pakalpojumam. No tā izriet praktisks jautājums: vai mazs lokāls valodas modelis, kas darbojas datorā Jūsu pašu birojā, ar šo uzdevumu tiks galā pietiekami labi?

Atbilde ir atkarīga no uzdevuma. Šajā rakstā salīdzināti divi ikdienas darbi: meklēšana apstiprinātos uzņēmuma dokumentos un atbilžu melnrakstu sagatavošana klientiem. Aplūkosim arī, kā pārbaudīt modeli, pirms sākat tam uzticēties, un kurš paliek atbildīgs par atbildēm.

Kas ir mazs lokāls valodas modelis

Valodas modelis ir programmatūra, kas lasa un raksta tekstu. Tā ir tā dabiskās valodas apstrādes daļa, ar kuru lielākā daļa cilvēku tagad saskaras tērzēšanas rīkos. Ja kādreiz esat meklējuši “kas ir lielais valodas modelis”, īsā atbilde ir šāda: tā pati programmatūra, tikai lielāka un parasti darbināta pakalpojuma sniedzēja serveros.

Lokāls modelis darbojas datorā, kas pieder Jums. Tā lielumu mēra parametros — iekšējos iestatījumos, ko modelis apguvis apmācības laikā. Vairāk parametru parasti nozīmē labāku tekstu, bet arī lielāku atmiņas patēriņu. Microsoft modelim Phi-4-mini ir 3,8 miljardi parametru, un tas darbojas datorā ar 8 GB atmiņas.¹ Meta modelis Llama 3.3 8B ir plaši ieteikts sākuma modelis, kas ar 8 GB aparatūru tiek galā ar tekstu apkopošanu un atbildēšanu uz jautājumiem.²

Apsveriet iespēju izmēģināt kvantizētu jeb saspiestu modeli, lai redzētu, vai tā atmiņas patēriņš un atbilžu kvalitāte atbilst Jūsu darbam. Lielākajai daļai modeļu izplatīts saspiešanas līmenis saglabā vispārīgo zināšanu testa rezultātus viena līdz trīs punktu robežās no pilnās versijas.¹ Tā kā modelis darbojas Jūsu ierīcē, sensitīvi uzņēmuma dati paliek tajā, nevis nonāk ārējos serveros.³

Tas ir īpaši svarīgi, ja uzņēmuma zināšanas glabājas cilvēku galvās un Jūs negribat tās kopēt uz kāda cita serveriem.

Informācijas meklēšana uzņēmuma dokumentos: kad pietiek ar mazu modeli

Pirmais uzdevums ir šaurs. Kolēģis uzdod jautājumu, un atbilde jau ir kaut kur Jūsu apstiprinātajos dokumentos: preču atgriešanas noteikumos, cenrādī vai pakalpojuma kontrolsarakstā. Sistēma izmanto izgūšanu: vispirms tā atrod dažus fragmentus, kas atbilst jautājumam, un tad uzraksta atbildi, balstoties tikai uz tiem.

Šāds šaurs uzdevums der mazam modelim. Tam nav jāzina viss par pasauli — pietiek izlasīt dažas rindkopas un skaidri tās apkopot. Labi izvēlēts lokāls modelis var tikt galā ar ikdienas darbiem, piemēram, dokumentu apkopošanu un atbildēšanu uz jautājumiem.²

Konteksta logs ir teksta apjoms, ko modelis var izlasīt vienlaikus. 128K tokenu (vārdu daļu) konteksta logs ir pietiekami liels, lai ietvertu veselus dokumentus un garas sarunu vēstures.² Izmantojot izgūšanu, modelis parasti lasa daudz mazāk teksta, tāpēc darbojas ātri. Dati visu laiku paliek ierīcē.¹

Darba plūsma · No darbinieka jautājuma līdz pārbaudītai atbildei ar avotu
  1. Sākums

    Uzdot jautājumu

    Piemēram: Kādi ir mūsu noteikumi preču atgriešanai, ja iepakojums ir atvērts? Jautājumu ieraksta kopīgajā tērzēšanā vai meklēšanas laukā.

  2. Sagatavo sistēma

    Atrast atbilstošos fragmentus

    Sistēma meklē tikai apstiprinātajos dokumentos un atlasa dažus fragmentus, kas atbilst jautājumam.

  3. Sagatavo sistēma

    Sagatavot īsu atbildi ar avotiem

    Mazais lokālais modelis uzraksta īsu atbildi, balstoties tikai uz šiem fragmentiem, un pievieno saiti uz katru avotu.

  4. Pārbauda cilvēks

    Pārbaudīt avotu

    Pirms rīkoties, kolēģis atver norādīto dokumentu. Ja dokumentos atbildes nav, jautājums tiek nodots par šo tēmu atbildīgajai personai.

  5. Rezultāts

    Izmantot atbildi vai labot dokumentu

    Atbilde tiek izmantota. Par katru trūkumu vai novecojušu dokumentu tiek ziņots personai, kas rūpējas par dokumentu aktualitāti.

Ierobežojums ir vienkāršs: atbilde var būt tikai tik laba, cik labi ir dokumenti. Ja preču atgriešanas noteikumi pavasarī mainījās, bet dokumentu neviens neatjaunināja, sistēma atkārtos veco noteikumu. Tāpēc saite uz avotu ir svarīga. Tieši uz šāda darba balstās atbildes no Jūsu apstiprinātajiem dokumentiem.

Atbildes klientiem: kad izvēlēties lielāku modeli pakalpojuma sniedzēja serveros

Otrais uzdevums ir sarežģītāks. WhatsApp pienāk pieprasījums krievu valodā: vai sestdien ir brīvs laiks un cik tas maksā? Sūdzībai, kas e-pastā atsūtīta latviešu valodā, vajadzīga atvainošanās, pareiza cena un godīgs piedāvājums. Atbildes melnrakstam jāskan dabiski un jāietver precīzas cenas. Jāizvērtē arī tas, kādu risinājumu piedāvāt klientam.

Mākonī mitināts modelis darbojas pakalpojuma sniedzēja serveros, un tekstu Jūs tam nosūtāt internetā. Turpmāk to saucam par pakalpojuma sniedzēja modeli. Pakalpojuma sniedzēju modeļi parasti ir lielāki. Lielākajā daļā praktisko uzdevumu labākie lokālie 14B modeļi sasniedz aptuveni 80–90% no ChatGPT GPT-5.2 kvalitātes.² Meklējot informāciju uzņēmuma dokumentos, šī atšķirība var nebūt būtiska. Atbildot sarūgtinātam klientam viņa dzimtajā valodā, tā var izrādīties svarīga.

Arī saspiešana dažos uzdevumos ietekmē kvalitāti vairāk nekā citos.¹ Daži mazāki modeļi ir veidoti ātrumam: Mistral 7B patērē mazāk atmiņas nekā Llama 3.3 un atbild ātrāk, taču ātrumu tas izvirza priekšā kvalitātei.² Ātrai iekšējai atbildei tas ir labs kompromiss, bet rūpīgi sagatavotai vēstulei klientam — vājāks.

Lai kurš modelis sagatavotu atbildes melnrakstu, cilvēks to izlasa un apstiprina pirms nosūtīšanas. Vairāk par to, kā cilvēka pārbaude padara AI darbu uzticamu.

Kas datoram nepieciešams modeļa darbināšanai

Modelim jāietilpst datora darba atmiņā — ātrajā atmiņā, ko dators izmanto modeļa darbības laikā. Mazie modeļi tajā ietilpst viegli. Phi-4-mini izplatītā saspiešanas līmenī aizņem aptuveni 3,5 GB un darbojas datoros ar 8 GB atmiņas.¹ Modelim ar 27 miljardiem parametru un tieši četriem bitiem uz parametru modeļa svaru glabāšanai vien nepieciešami 13,5 GB decimālajās vienībās.⁴ OpenAI norāda, ka tā saspiestā MXFP4 versija darbojas 16 GB atmiņas ietvaros.⁴

Mac datoros ar Apple Silicon vienoto atmiņu kopīgi izmanto GPU, CPU, operētājsistēma un aktīvās lietotnes.⁴ Tāpēc Apple Silicon klēpjdatorā ar 16 GB vienotās atmiņas, kamēr darbojas operētājsistēma un citas lietotnes, modelim nav pieejami visi 16 GB.⁴ Apple vienotajā atmiņā var ietilpt modeļi, kas ir lielāki par viena atsevišķa GPU VRAM, un llama.cpp atbalsta Metal un ļauj modeļa darbināšanai izmantot gan procesoru, gan grafisko procesoru.⁴

Arī garāki dokumenti prasa atmiņu. Palielinot teksta apjomu, ko modelis lasa vienlaikus, pieaug kopējais atmiņas patēriņš.⁴

Ātrumu mēra tokenos sekundē; tokens ir vārda daļa. Mistral Small 3 7B vidējas klases aparatūrā ar 16 GB RAM un Q4_K_M kvantizāciju ģenerē aptuveni 50 tokenus sekundē.¹ Ar to pietiek īsai atbildei darbiniekam. Pirms kaut ko pērkat, izmēģiniet modeli datorā, kas Jums jau ir.

Pārbaudīt modeli ar saviem jautājumiem, pirms sākt tam uzticēties

Publicētie rezultāti ir sākumpunkts, nevis pierādījums. Kad Microsoft pētnieki pārbaudīja trīs savā jomā plaši izmantotas publiskās testu kopas, viņi atklāja, ka 30–50 procenti sākotnējo testu datu bija kļūdaini.³ Qwen 3 7B HumanEval testā iegūst 76,0 punktus, bet Llama 3.3 — 72,6.¹ Llama 3.3 8B ar Q4_K_M kvantizāciju MMLU testā iegūst 73,0 punktus.¹ Neviens no šiem skaitļiem neparāda, vai modelis spēs izskaidrot Jūsu preču atgriešanas noteikumus.

Nepieņemiet, ka modelis labi atbildēs latviešu, lietuviešu un igauņu valodā — pārbaudiet atbilžu kvalitāti paši. Vienkāršs tests izskatās šādi.

Atlasīt aptuveni divdesmit reālus jautājumus

Ņemiet tos no pēdējā mēneša darbinieku tērzēšanas, e-pastiem un WhatsApp ziņām. Iekļaujiet gan vieglus, gan neērtus jautājumus, kā arī vienu vai divus, uz kuriem Jūsu dokumentos atbildes nav.

Iekļaut klientu valodas

Dažus jautājumus uzrakstiet latviski, kā arī krieviski, angliski, lietuviski vai igauniski, ja Jūsu klienti lieto šīs valodas.

Darbināt lokālo modeli un pakalpojuma sniedzēja modeli

Iedodiet abiem modeļiem tos pašus apstiprinātos dokumentus un tos pašus jautājumus, lai salīdzinājums būtu godīgs.

Pārbaudīt katru atbildi, salīdzinot ar avotu

Katrai atbildei atveriet norādīto dokumentu. Atzīmējiet, vai atbilde ir pareiza, daļēji pareiza vai nepareiza, un pierakstiet, kur modelis atzina, ka atbildi nezina.

Izlemt katram uzdevumam atsevišķi

Lokālais modelis var palīdzēt darbiniekiem atrast informāciju, taču klientu atbilžu sagatavošanai tā kvalitāte var būt nepietiekama. Izvēlieties modeli katram uzdevumam, nevis vienu visam.

Kas atbild par rezultātu, un cik izmaksā sistēmas uzturēšana?

Ja modelis darbojas lokāli, nav API izmaksu un pieprasījumu skaita ierobežojumu.² Dati paliek Jūsu ierīcē.¹ Tas ir reāls ieguvums, taču darbs no tā nekļūst bezmaksas.

Brīdinājums

Ja nav jāmaksā par katru lietošanas reizi, tas nenozīmē, ka nav izmaksu. Kādam jāievāc apstiprinātie dokumenti, jāizņem vecās versijas, kopā ar Jums jāiestata sistēma un jāuztur cenrādis un noteikumi aktuāli ikreiz, kad mainās kāda cena vai noteikums. Arī pēc sistēmas palaišanas tās uzturēšanai būs jāvelta darbinieku laiks.

Nosakiet vienu atbildīgo personu katrai tēmai, piemēram, preču atgriešanai, cenām vai piegādei. Šī persona rūpējas, lai dokumenti būtu pareizi, un atbild uz jautājumiem, uz kuriem sistēma atbildēt nespēj. Ja vēlaties šo daļu saplānot, izlasiet vienkāršu ceļvedi uzņēmuma zināšanu bāzes izveidei.

Pieprasiet Lindevo piedāvājumu sadarbībai ar Jūsu uzņēmumu.

Biežāk uzdotie jautājumi

Vai mazs lokāls valodas modelis var atbildēt uz jautājumiem latviešu valodā?

Izmēģiniet modeli ar jautājumiem latviešu valodā un novērtējiet atbilžu precizitāti un dabiskumu. Savos divdesmit testa jautājumos iekļaujiet latviešu valodu, kā arī krievu, lietuviešu vai igauņu valodu, ja Jūsu klienti tās lieto. Ja atbildes kādā valodā ir vājas, šim uzdevumam izmantojiet lielāku pakalpojuma sniedzēja modeli.

Vai lokāli darbināts modelis nodrošina mūsu klientu datu privātumu?

Ja modelis darbojas lokāli, dati paliek Jūsu pašu ierīcē, nevis tiek sūtīti uz ārējiem serveriem.¹,³ Jūs joprojām nosakāt, kam ir piekļuve un kuri dokumenti ir apstiprināti. Atbildes ar avotiem turklāt ļauj viegli pārbaudīt, no kurienes nāk katrs fakts.

Kāds dators vajadzīgs mazam lokālam modelim?

Phi-4-mini darbojas aparatūrā ar 8 GB RAM un ar Q4_K_M kvantizāciju aizņem aptuveni 3,5 GB.¹ Modelim ar 27 miljardiem parametru un tieši četriem bitiem uz parametru modeļa svaru glabāšanai vien nepieciešami 13,5 GB decimālajās vienībās, un, palielinot iestatīto konteksta garumu, pieaug kopējais atmiņas patēriņš.⁴ Pirms kaut ko pērkat, veiciet testu datorā, kas Jums jau ir.

Vai mazs lokāls modelis ir pietiekami labs atbildēm klientiem?

Vienkāršiem melnrakstiem tas var būt pietiekams, jo labi izvēlēts lokāls modelis var tikt galā ar ikdienas e-pastu melnrakstu sagatavošanu.² Lielākajā daļā praktisko uzdevumu labākie lokālie 14B modeļi sasniedz aptuveni 80–90% no ChatGPT GPT-5.2 kvalitātes.² Jebkurā gadījumā katru atbildi pirms nosūtīšanas apstiprina cilvēks.

Avoti (4)

Ir process, ko gribētos pārrunāt?

Pieteikt sarunu (atveras jaunā cilnē)