Visi mūsu iekšējo sistēmu AI izsaukumi iet caur vienu vārteju. To izmanto bloga satura sistēma, potenciālo klientu meklēšanas sistēma, aģentu komanda, kā arī mūsu atmiņas un meklēšanas rīki. Katrai sistēmai ir sava atslēga, savs atļauto modeļu saraksts un savs budžets. Vārteja izvēlas lētāko pieejamo modeli, kas spēj paveikt darbu, pārslēdzas uz citu piegādātāju, ja rodas darbības traucējumi, un reģistrē katru izsaukumu un tā izmaksas. Mēs to izveidojām, lai mūsu pašu AI izdevumi būtu paredzami, un šādas vārtejas veidojam arī klientiem.
Ko tā dod mums
Kad AI izmanto vairākas sistēmas, sarežģītākie jautājumi vairs nav par uzvednēm. Kura sistēma šomēnes iztērēja naudu? Kas notiek, ja piegādātājs nedarbojas? Kuram ir kura API atslēga un kam tā var piekļūt? Vārteja uz tiem atbild vienuviet:
- Paredzami izdevumi. Katrai sistēmai ir mēneša limits. Kad kāda to sasniedz, tā apstājas, bet pārējās turpina strādāt.
- Vispirms lētākie varianti. Darbiem, ko var paveikt mūsu esošo abonementu ietvaros, vispirms izmantojam šos abonementus. Maksas API izsaukumi ir rezerves variants, ko izmantojam tikai tad, ja tas ir atļauts.
- Nav atkarības no viena piegādātāja. Ja kādam piegādātājam rodas darbības traucējumi vai tas atbild pārāk lēni, izsaukums tiek novirzīts citam modelim, kas spēj paveikt to pašu darbu.
- Modeļa maiņa bez pārbūves. Lietotnes pieprasa modeli pēc nosaukuma. Lai nomainītu modeli vai piegādātāju aiz šī nosaukuma, pietiek ar izmaiņu vienā failā.
Kā darbojas AI vārteja
Apskatiet, kas notiek ar vienu AI izsaukumu. Ekrānattēli ir vienkāršotas ilustrācijas ar parauga datiem.
Sākums
Lietotne pieprasa modeli
Lietotne, piemēram, bloga satura sistēma vai aģents, pieprasa vārtejai modeli pēc nosaukuma. Tā nekad nesazinās ar piegādātāju tieši un tai nav piegādātāja atslēgas. Ja norādītais modeļa nosaukums vārtejā nav zināms, pieprasījums tiek noraidīts.
Sagatavo sistēma
Atslēga tiek pārbaudīta
Vārteja pārbauda lietotnes atslēgu: vai modelis ir atļauto modeļu sarakstā un vai šī mēneša budžetā vēl ir līdzekļi? Ja kāds no nosacījumiem nav izpildīts, pieprasījums tiek noraidīts un lietotne saņem skaidru pamatojumu. Tas neļauj nepamanīti palielināt rēķinu.
Sagatavo sistēma
Lētākais piemērotais variants
Katram modeļa nosaukumam ir noteikta piekļuves secība: vispirms abonements, par kuru jau maksājam, pēc tam maksas API piekļuve, ja tā ir atļauta. Dažiem darbiem izmantojam tikai abonementu, piemēram, programmēšanai un izpētei, ko veic mūsu aģenti. Kad abonementa kvota ir izsmelta, darbs gaida, nevis rada papildu izmaksas.
Sagatavo sistēma
Rezerve, ja piegādātājs nedarbojas
Ja sākotnējais piekļuves variants nedarbojas, ir pārsniegts pieprasījumu limits vai atbilde jāgaida pārāk ilgi, izsaukums tiek novirzīts nākamajam modelim ķēdē, bieži pie cita piegādātāja. Lietotne saņem atbildi, un tai nav atsevišķi jānodrošina pieprasījumu atkārtošana.
Rezultāts
Katrs izsaukums tiek reģistrēts
Par katru izsaukumu reģistrē lietotni, modeli, izmantoto tokenu skaitu un izmaksas. Reģistrē arī izsaukumus abonementa ietvaros, lai redzētu, kurš izmanto kopīgo kvotu, nevis tikai to, kurš veic maksas API izsaukumus.
Pārbauda cilvēks
Uzraudzība un brīdinājumi
Pārskatā redzami izdevumi pa lietotnēm un modeļiem. Brīdinājums tiek nosūtīts, kad iztērēti vairāk nekā 80 procenti no maksas izsaukumiem paredzētā budžeta. Vēl viens brīdinājums tiek nosūtīts, ja izdevumu dati vairs nepienāk, lai pārskata darbības traucējumus nesajauktu ar zemu aktivitāti.
Ierobežojumi, kas tiešām darbojas
Budžets noder tikai tad, ja to nevar apiet. Daži noteikumi nodrošina, ka tā arī ir:
- Atslēgas tikai vārtejā. Piegādātāju atslēgas glabājas vienuviet — vārtejā. Katra lietotne saņem atslēgu, kas darbojas tikai vārtejā un ļauj izmantot tikai šai lietotnei atļautos modeļus.
- Nekādu nezināmu modeļu. Lietotne var pieprasīt tikai tādu modeli, kas ir vārtejas sarakstā. Drukas kļūdas vai jauna modeļa nosaukuma dēļ pieprasījums nevar nonākt pie piegādātāja, apejot budžeta ierobežojumus.
- Rezerves modeļiem tie paši noteikumi. Rezerves modelim jābūt lietotnes sarakstā. Ja modelis nav sarakstā, pieprasījums tiek noraidīts, nevis nemanāmi novirzīts dārgākam variantam.
- Brīdinājumi uzrauga paši sevi. Ja izdevumu dati pārstāj atjaunoties, tas izraisa atsevišķu brīdinājumu.
Ko mēs iemācījāmies
Par izsaukumiem abonementa ietvaros nav atsevišķas maksas par katru tokenu, tāpēc sākumā šo izsaukumu cenu uzskaitē iestatījām uz nulli. Izrādījās, ka vārteja pilnībā izlaida budžeta pārbaudi pieprasījumam, kura pirmajam modelim uzskaitē bija nulles cena. Tas attiecās arī uz maksas rezerves modeļiem tajā pašā ķēdē. Viens aģents rezerves modeļu izmantošanai iztērēja aptuveni divdesmitkāršu tam piešķirtā budžeta summu, pirms to pamanījām. Tagad šiem abonementa izsaukumiem uzskaitē nosakām ļoti mazu cenu, kas ir lielāka par nulli, lai budžeta pārbaudes notiktu vienmēr. Ierobežojumus testējam tikpat rūpīgi kā sistēmas parasto darbību.
Ko tā var dot jūsu uzņēmumam
AI vārteja jūsu uzņēmumam. Ja jūsu uzņēmumā AI izmanto vairākas lietotnes vai komandas, mēs izveidojam vienotu vārteju, caur kuru tās piekļūst AI pakalpojumiem. Katrai komandai vai lietotnei piešķiram atsevišķu atslēgu un budžetu, pieslēdzam jūsu izvēlētos piegādātājus, iestatām rezerves variantus un apkopojam izmaksas vienuviet. Jūsu komandas turpina izmantot savus rīkus, bet rēķini vairs nepārsteidz.
AI funkcijas ar noteiktu izmaksu limitu. Katra AI sistēma, ko veidojam klientiem, darbojas ar tādiem pašiem ierobežojumiem, tāpēc jau pirms palaišanas zināt tās maksimālās izmaksas. Izlasiet, kā izvēlēties pirmo AI automatizāciju.
Ko sistēma nedara
- Tā nemaina to, ko lietotnes spēj darīt. Tā izlemj, kurš modelis atbild, jūsu noteiktajās robežās.
- Tā neslēpj izmaksas. Katrs izsaukums tiek reģistrēts, arī izsaukumi abonementa ietvaros.
- Tā neļauj vienai lietotnei tērēt citas budžetu vai piekļūt modelim, ko tai nav atļauts izmantot.
Biežāk uzdotie jautājumi
Kurus AI piegādātājus tā var izmantot?
Vārteja darbojas ar lielākajiem AI pakalpojumu sniedzējiem, tostarp OpenAI, Anthropic un Google, kā arī modeļu platformām, piemēram, OpenRouter. Piegādātājus izvēlamies katram projektam, un to nomaiņa ir konfigurācijas izmaiņa.
Vai katrs izsaukums kļūst lēnāks?
Vārteja jūsu pašu tīklā pievieno vienu papildu soli. Tā radītā aizture ir niecīga salīdzinājumā ar laiku, kas modelim vajadzīgs atbildes sagatavošanai. Ja piegādātājam rodas darbības traucējumi, pārslēgšanās uz rezerves modeli parasti ļauj saņemt atbildi ātrāk nekā gaidīšana.
Kur nonāk mūsu dati?
Tikai pie jūsu izvēlētajiem piegādātājiem. Vārteja darbojas jūsu vai mūsu infrastruktūrā, un izsaukumu žurnāls paliek tur. Uzvednes netiek sūtītas nekur citur.
Vai varat izveidot šādu vārteju mūsu uzņēmumam?
Jā. Vispirms noskaidrojam, kuras komandas un rīki jūsu uzņēmumā izmanto AI un kādi ir pašreizējie izdevumi. Pēc tam atbilstoši šīm vajadzībām izveidojam vārteju, piešķiram atslēgas un nosakām limitus. Pastāstiet, kā jūsu uzņēmums izmanto AI, un mēs ieteiksim pirmo soli.