Īpašnieks AI sistēmu bieži vispirms pamana pēc tās darba rezultātiem, piemēram, atbildes melnraksta piegādātājam, pārdošanas atgādinājuma vai atjauninājuma pasūtījumu izklājlapā. Katra melnraksta pamatā ir pieprasījums valodas modelim. Vārteja var reģistrēt katru modeļa pieprasījumu un tā izmaksas, un pakalpojumu sniedzēju atslēgas visu laiku paliek vārtejā.¹

Ja uzņēmumā ir trīs vai četri rīki, kas izmanto valodas modeļus teksta sagatavošanai, piekļuves atslēgas glabājas dažādās vietās, bet izmaksas tiek uzskaitītas atsevišķi. Viena atslēga ir e-pasta automatizācijā, otra atskaites skriptā, trešā testā, ko kāds aizmirsa izslēgt. Ja nav kopēja pārskata, var būt grūti saprast, cik šie rīki izmaksā un kur meklēt cēloni, ja melnraksts neparādās.

Viena pieeja ir sūtīt aģentu un automatizāciju pieprasījumus modeļiem caur AI modeļu vārteju. Šajā rakstā skaidrots, ko vārteja dara, kur glabājas atslēgas, kurš nosaka izdevumu limitus, kas notiek, ja modelis nedarbojas, un ko atbildīgā persona pārbauda žurnālā.

Ko AI modeļu vārteja dara: vienkāršiem vārdiem

Aplūkosim vienu ikdienišķu uzdevumu. Piegādātājs e-pastā raksta, ka piegāde kavēsies divas dienas, un Jūsu sistēma sagatavo atbildi, ko pārbauda Jūsu komanda. Lai šo atbildi uzrakstītu, sistēma nosūta e-pastu un dažus norādījumus modeļa pakalpojumu sniedzējam, proti, uzņēmumam, kura modelis faktiski raksta tekstu.

Lai piekļūtu pakalpojumu sniedzējam, programmai vajadzīga API atslēga. Tā ir gara parole, ar kuras palīdzību viena programma sazinās ar citu, un pēc tās pakalpojumu sniedzējs zina, kam izrakstīt rēķinu.

Vārteja ir viens kontrolpunkts starp Jūsu rīkiem un modeļu pakalpojumu sniedzējiem.³ Rīki sūta savus pieprasījumus vārtejai, un vārteja tos nodod tālāk, pārvalda API atslēgas un rīkojas gadījumos, kad pakalpojumu sniedzējs nedarbojas.³ Šāda vārteja var sūtīt pieprasījumus vairākiem pakalpojumu sniedzējiem, tāpēc Jūs neesat piesaistīti vienam uzņēmumam.⁴

LiteLLM, Cloudflare AI Gateway un TrueFoundry ir vārteju produktu piemēri.¹,⁵,⁶ LiteLLM norāda, ka tā atvērtā pirmkoda vārteju var izvietot;² pajautājiet, vai Jums piedāvātais risinājums darbosies Jūsu serverī vai tas ir maksas tiešsaistes pakalpojums.

Izlemiet, kur vārteja darbosies un kā tā būs savienota ar Jūsu izklājlapu un e-pasta sistēmu. Tā darbojas nelielā serverī vai kā tiešsaistes pakalpojums, ko uzstāda un uztur Jūsu sistēmas izstrādātājs, bet Jūsu izklājlapa un e-pasta iesūtne paliek tādas pašas. Lindevo projekta ietvaros savieno rīkus, kurus Jūs jau izmantojat, piemēram, Gmail, Microsoft 365, WhatsApp un Google Sheets.⁷ Pirms palaišanas Lindevo vienojas ar Jūsu komandu, kurš atbild par sistēmu un kā tiks nodrošināts atbalsts.⁷

Pirms vārtejas izmantošanas noskaidrojiet, kur tiek apstrādāti klientu e-pasti, un pārbaudiet, kādi pienākumi uz to attiecas. Atbildi saņemiet rakstiski, pirms sistēma tiek palaista.

Ja izmantojat tikai vienu gatavu rīku, pajautājiet tā piegādātājam, kā tas pārvalda API atslēgas un izdevumus; iespējams, sava vārteja Jums nav vajadzīga. Ja vienīgais rīks, kas izmanto modeli, ir viens izklājlapas skripts, vārteja, visticamāk, ir vairāk, nekā nepieciešams; atgriezieties pie šī jautājuma, kad parādīsies otrs rīks. Neatkarīgi no tā, vai sistēmas izstrādei nolīgsiet vietējo vai ārvalstu speciālistu, pirms darba sākšanas viņam būtu jāatbild uz šiem jautājumiem par atslēgām, limitiem un žurnāliem.

Tas ir arī viens no iemesliem, kāpēc AI sistēma ir vairāk nekā tērzēšanas robots.

Kāpēc atslēgas glabājas vienuviet

Glabājiet pakalpojumu sniedzēju API atslēgas vārtejā, nevis katrā rīkā atsevišķi. Vārteja reģistrē katru pieprasījumu un tā izmaksas, un pakalpojumu sniedzēju atslēgas nekad nenonāk ārpus tās.¹ Atslēgas tiek glabātas vienuviet, un piekļuvi tām pārvalda ar vienotiem noteikumiem.³

Izkaisītas API atslēgas mazam uzņēmumam ir reāls risks. API atslēgu, kas iekopēta izklājlapas skriptā vai koplietotā dokumentā, var atrast un izmantot kāds cits, bet rēķins pienāks Jums.

Katrai lietotnei vai personai var piešķirt virtuālo atslēgu ar budžetu un pieprasījumu biežuma limitu.¹ Vienkāršiem vārdiem: pakalpojumu sniedzēja API atslēga dod piekļuvi Jūsu kontam pie modeļa pakalpojuma sniedzēja, bet virtuālā atslēga ir atsevišķs piekļuves līdzeklis vienam rīkam, kura piekļuvi var atsaukt, nemainot pakalpojumu sniedzēja API atslēgu. Viena virtuālā atslēga ir e-pasta melnrakstu rīkam, otra mēneša atskaitei, trešā izstrādātājam, kurš kaut ko testē. Kad rīku vairs neizmanto vai ārpakalpojuma speciālists beidz darbu, apsveriet iespēju atsaukt tikai tam piešķirto atslēgu.

Aģentu savstarpējie izsaukumi, kuros izmantotas virtuālās atslēgas, žurnālos redzami kopā ar to izmaksām.¹ Ja tas ir iegādāts rīks ar savu piekļuvi modelim, pajautājiet tā piegādātājam, vai tas var sūtīt pieprasījumus caur Jūsu vārteju.

Izdevumu limiti: kurš tos nosaka un kas notiek, kad limits sasniegts

Pieprasījumu biežuma limits ir atļautais pieprasījumu skaits noteiktā laikā, piemēram, minūtē. LiteLLM līdzās lietojuma uzskaitei pa atslēgām, komandām un organizācijām min arī budžetus un pieprasījumu biežuma limitus.⁸

Kas notiek, sasniedzot limitu, ir atkarīgs no noteikumiem. Ja lietojums pārsniedz noteikto līmeni, var ierobežot pieprasījumu apstrādes ātrumu, pieprasījumus var novirzīt uz lētāku modeli vai tos var bloķēt.³ Ja noteikts stingrs limits, pieprasījumi vienkārši apstājas, tiklīdz budžets ir izlietots.²

Lai redzētu, no kurienes rodas izmaksas, vārtejas analītika var parādīt pieprasījumu skaitu, tokenu patēriņu un kopējās izmaksas.⁵ Tokenu patēriņš aptuveni parāda, cik daudz teksta modeļi Jūsu vajadzībām ir apstrādājuši. Datus var sadalīt pa modeļiem, komandām, lietotājiem vai citām pievienotām iezīmēm.³

Kurš nosaka limitus? Vienojieties par tiem izstrādes laikā, balstoties uz darba apjomu, ko sistēmai paredzēts apstrādāt. Lai limitus nosaka un izmaksu pārskatu pārbauda konkrēta atbildīgā persona; izlemiet, kādi skaitļi jāredz Jūsu komandai.

Brīdinājums

Stingrs limits aptur pieprasījumus. Iepriekš vienojieties, kāds paziņojums parādīsies, sasniedzot limitu. Biroja vadītājam jāredz, ka melnrakstu sagatavošana ir apturēta, nevis jāmin, kāpēc pārbaudes rindā nav neviena melnraksta.

Kad pieprasījums neizdodas vai atbilde netiek saņemta laikā

Noildze iestājas, ja atbilde netiek saņemta noteiktajā laikā.

Rezerves ķēde nosaka, kurus modeļus un kādā secībā izmēģināt, ja rodas kļūda vai iestājas noildze.³

Darba plūsma · Viena melnraksta pieprasījums caur vārteju
  1. Sākums

    Pieprasīt melnrakstu

    Pienāk piegādātāja e-pasts, un automatizācija pieprasa atbildes melnrakstu.

  2. Sagatavo sistēma

    Pārbaudīt atslēgu un budžetu

    Pirms kaut ko nosūta tālāk, vārteja pārbauda lietotnes atslēgu, budžetu un pieprasījumu biežuma limitu.

  3. Sagatavo sistēma

    Nosūtīt pieprasījumu pirmajam modelim

    Pieprasījums nonāk pie pirmā modeļa ķēdē, un tiek reģistrētas tā izmaksas.

  4. Sagatavo sistēma

    Kļūdas gadījumā izmēģināt rezerves modeli

    Ja pirmais modelis atgriež kļūdu vai iestājas noildze, tiek izmēģināts nākamais rezerves ķēdes modelis.

  5. Pārbauda cilvēks

    Izvērtēt izņēmumu

    Ja pieprasījumu neizdodas izpildīt nevienam no modeļiem vai ir sasniegts limits, atbildīgā persona izlasa pieprasījumu žurnālu un izlemj, ko darīt.

  6. Rezultāts

    Nodot melnrakstu apstiprināšanai

    Melnraksts nonāk pārbaudes rindā; nekas netiek nosūtīts, kamēr to neapstiprina kāds no komandas.

Šeit svarīgi divi noteikumi. Pirmkārt, rezerves modeļa sagatavoto melnrakstu cilvēks pārbauda tāpat kā jebkuru citu. Otrkārt, katram ķēdes modelim jāprot latviešu, lietuviešu vai igauņu valoda tik labi, lai tā būtu piemērota Jūsu klientiem. Rezerves modelis, kas labi raksta angliski, bet neveikli latviski, nav īsts rezerves variants. Vairāk par cilvēka pārbaudi lasiet rakstā kā veidot uzticamas AI darba plūsmas ar cilvēka pārbaudi.

Ko cilvēks pārbauda, ja pieprasījums neizdodas

Jūsu sistēmā jābūt vienai konkrētai personai, kas atbild par izņēmumiem. Nelielā komandā tas var būt kāds no uzņēmuma, kas izstrādā Jūsu sistēmu, savukārt no Jūsu puses viena persona, bieži biroja vadītājs, saņem ziņu, kad melnrakstu sagatavošana apstājas, un apstiprina jebkādas izmaiņas. Ja pieprasījums neizdodas, tiek sasniegts limits vai melnraksts izskatās dīvains, atbildīgā persona izlasa žurnālu. Šādas vārtejas žurnālos jābūt reģistrētai lietotnei vai projektam, sākotnēji izvēlētajam modelim un modelim, kas faktiski sniedza atbildi, pakalpojumu sniedzējam, statusam, lietojumam, rezerves modeļu izmēģinājumu vēsturei un izmaksām.⁴

Ir arī atsevišķu pieprasījumu skats, kurā atbildīgā persona var atvērt vienu izsaukumu un redzēt, kā tam tika piemērota maršrutēšana un rezerves modeļi.³

Atrast lietotni, kas nosūtīja pieprasījumu

Kurš rīks nosūtīja pieprasījumu: atbilžu melnrakstu rīks, pasūtījumu ievade vai iknedēļas atskaite?

Salīdzināt izvēlēto modeli ar modeli, kas sniedza atbildi

Pārbaudiet, kurš modelis bija sākotnēji izvēlēts un kurš faktiski sniedza atbildi. Ja atbildēja rezerves modelis, Jūsu komandai melnraksts, iespējams, jāpārskata rūpīgāk.

Izlasīt statusu

Atzīmējiet, vai pieprasījums izdevās, beidzās ar noildzi, saņēma kļūdu no pakalpojumu sniedzēja vai to apturēja limits.

Izlasīt rezerves modeļu izmēģinājumu vēsturi

Apskatiet, kuri modeļi tika izmēģināti, kādā secībā un kādi bija katra mēģinājuma rezultāti.

Pārbaudīt izmaksas

Apskatiet, cik izmaksāja pieprasījums un tā atkārtotie mēģinājumi.

Pieņemt lēmumu un informēt Jūs

Atbildīgā persona novērš cēloni, paaugstina limitu tikai ar Jūsu piekrišanu vai atstāj visu, kā ir. Pēc tam tā vienkāršiem vārdiem izstāsta Jums, kas notika.

Pārbaudīt pirms uzticēšanās: ko tas nozīmē Jūsu sistēmai

Noderīga metode ir izraisīt kontrolētu kļūmi un pēc tam pārbaudīt, kas izraisīja pāreju uz rezerves modeli, kādā secībā notika mēģinājumi, kurš modelis beigās sniedza atbildi, kādi bija statusa kodi, kā tas ietekmēja izmaksas un vai izsekojums ir redzams.⁴

Veiciet kvotas testu ar apzināti mazu limitu.⁴ Ar šo testu pārbaudiet, kāda kļūda parādās, vai žurnālā norādīts kvotas avots un vai pēc pieprasījumu biežuma limita sasniegšanas ir atļauts pāriet uz rezerves modeli.⁴

Atbildes pareizība, tonis un atbilstība cenrādim jāpārbauda atsevišķi — vārtejas pārbaudes to nenodrošina. Šajā darbā jāizmanto Jūsu avoti, un rezultāts jāpārbauda personai, kura apstiprina melnrakstu.

Vārtejas uzraudzības datos var redzēt katra modeļa pieprasījumu skaitu, tokenu patēriņu un izmaksas, un LiteLLM ļauj komandām nomainīt modeļus, nemainot kodu.²,³ Pirms modeļu izvēles apsveriet, vai Jums ir svarīgi, lai AI modeļi darbotos Jūsu kontrolētā serverī. Kāds arhitekts uzņēmumā, kas izmanto šādu vārteju, raksturoja modeļa nomaiņu viņu rīkos kā vienkāršu iestatījumu maiņu vārtejā, kurai nav vajadzīgas izmaiņas kodā.⁸

Darba apjoms ir atkarīgs no tā, cik Jūsu rīku izmanto modeļus un cik bieži jāmaina limiti. Pirms mitināšanas izmaksu aplēses noskaidrojiet, kur vārteja darbosies un cik pieprasījumu tā apstrādās. Ja modeli izmanto tikai viens rīks, salīdziniet tiešu pakalpojumu sniedzēja izmantošanu ar vārtejas pievienošanu. Ja vārtejai vajadzīga sava mitināšana, lūdziet arī šīs izmaksas norādīt piedāvājumā. Lūdziet izstrādes izmaksas un paredzamo modeļu lietojumu norādīt kā divas atsevišķas summas, lai zinātu, kas ir vienreizējs darbs un kas katru mēnesi ir atkarīgs no apjoma. Vairāk lasiet par to, kā Lindevo strādā ar klientiem.

Biežāk uzdotie jautājumi

Vai mazam uzņēmumam ir vajadzīga AI modeļu vārteja?

Aplūkojiet vārteju kā daļu no tā, kā tiek veidota un darbināta sistēma, kas sagatavo Jūsu melnrakstus. Vārteja var nodrošināt piekļuvi visiem izmantotajiem AI rīkiem ar vienu atslēgu, parādīt, kas rada izdevumus, un reģistrēt pieprasījumus un to izmaksas.¹,² Pajautājiet sistēmas izstrādātājam, kur glabājas atslēgas un kurš redz izmaksas.

Vai vārteja palēnina atbildes?

Ļoti nedaudz. LiteLLM ziņo, ka AI Gateway Bench mērījumos tās Rust AI Gateway p99 aizturi palielina par 0,66 milisekundēm.² Kešošana ļauj atgriezt atbildes uz pieprasījumiem, atkārtoti nevēršoties pie pakalpojumu sniedzēja, tādējādi samazinot gaidīšanas laiku un izmaksas.⁵ Pārbaudiet, vai ikdienišķiem jautājumiem var izmantot kešatmiņā saglabātas atbildes, un pārskatiet, kā tiek apstrādāti atsevišķi klientu e-pasti.

Kas notiek ar maniem melnrakstiem, kad sasniegts izdevumu limits?

Pirms palaišanas vienojieties par noteikumiem, kā rīkoties, kad limits sasniegts. Var ierobežot pieprasījumu apstrādes ātrumu, pieprasījumus var novirzīt uz lētāku modeli vai tos var bloķēt.³ Ja noteikts stingrs limits, pieprasījumi apstājas, tiklīdz limits ir sasniegts.² Izlemiet, kurš jāinformē, kad limits sasniegts, un kurš var apstiprināt tā paaugstināšanu.

Vai rezerves modelis latviešu valodā strādā tikpat labi kā galvenais?

Ne vienmēr. Pirms modeļa pievienošanas rezerves ķēdei pārbaudiet tā latviešu, lietuviešu vai igauņu valodas kvalitāti ar reāliem klientu pieprasījumiem. Sagatavotos melnrakstus joprojām pārbauda cilvēks.

Kurš glabā AI modeļu piekļuves atslēgas?

Pakalpojumu sniedzēju atslēgas tiek glabātas vienuviet — vārtejā, nevis katrā rīkā.¹,³ Katra lietotne vai persona saņem savu virtuālo atslēgu ar budžetu un pieprasījumu biežuma limitu.¹ Paredziet, kā atsaukt piekļuvi, kad pārtraucat lietot kādu rīku vai beidzat sadarbību ar ārpakalpojuma speciālistu.

Avoti (8)

Ir process, ko gribētos pārrunāt?

Pieteikt sarunu (atveras jaunā cilnē)