Katrs AI izsaukums, ko veic mūsu iekšējās sistēmas, iet caur vienu vārteju: bloga satura sistēma, klientu meklēšanas sistēma, aģentu komanda, kā arī mūsu atmiņas un meklēšanas rīki. Katrai no tām ir sava atslēga, savs atļauto modeļu saraksts un savs budžets. Vārteja izvēlas lētāko ceļu, kas spēj paveikt darbu, pārslēdzas uz citu piegādātāju, ja kāds nedarbojas, un pieraksta katru izsaukumu kopā ar tā izmaksām. Mēs to izveidojām, lai mūsu pašu AI izdevumi būtu paredzami, un līdzīgu vārteju varam izveidot arī jūsu uzņēmumam.
Ko tā dod mums
Kad AI izmanto vairākas sistēmas, sarežģītākie jautājumi vairs nav par uzvednēm. Kura sistēma šomēnes iztērēja naudu? Kas notiek, ja piegādātājs nedarbojas? Kuram ir kura API atslēga un kam tā var piekļūt? Vārteja uz tiem atbild vienuviet:
- Paredzami izdevumi. Katrai sistēmai ir mēneša limits. Kad kāda to sasniedz, tā apstājas, bet pārējās turpina strādāt.
- Vispirms lētākie ceļi. Darbs, ko sedz mūsu esošie abonementi, vispirms nonāk tur. Maksas API izsaukumi ir rezerve, ko izmantojam tikai tur, kur to atļaujam.
- Nav atkarības no viena piegādātāja. Ja kāds piegādātājs kļūdās vai ir lēns, izsaukums pāriet uz citu modeli, kas spēj paveikt to pašu darbu.
- Modeļa maiņa bez pārbūves. Lietotnes pieprasa modeli pēc nosaukuma. Lai nomainītu modeli vai piegādātāju aiz šī nosaukuma, pietiek ar izmaiņu vienā failā.
Kā darbojas AI vārteja
Apskatiet, kas notiek ar vienu AI izsaukumu. Ekrānattēli ir vienkāršotas ilustrācijas ar piemēra datiem.
Sākums
Lietotne pieprasa modeli
Lietotne, piemēram, bloga satura sistēma vai aģents, pieprasa vārtejai modeli pēc nosaukuma. Tā nekad nesazinās ar piegādātāju tieši un tai nav piegādātāja atslēgas. Nosaukums, ko vārteja nezina, tiek atteikts.
Sagatavo sistēma
Atslēga tiek pārbaudīta
Vārteja pārbauda lietotnes atslēgu: vai šis modelis ir tās sarakstā un vai šomēnes vēl ir budžets? Ja nav, izsaukums tiek atteikts ar skaidru iemeslu, nevis klusi palielina rēķinu.
Sagatavo sistēma
Lētākais piemērotais ceļš
Katram modeļa nosaukumam ir maršruts: vispirms abonements, par ko jau maksājam, pēc tam maksas API piekļuve tur, kur to atļaujam. Daļa darba, piemēram, mūsu aģentu programmēšana un izpēte, ir iestatīta tikai uz abonementu. Kad tas beidzas, darbs gaida, nevis tērē.
Sagatavo sistēma
Rezerve, ja piegādātājs nedarbojas
Ja pirmais ceļš nedarbojas, ir pārsniegts pieprasījumu limits vai tas ir pārāk lēns, izsaukums pāriet uz nākamo modeli ķēdē, bieži pie cita piegādātāja. Lietotne saņem atbildi, un tai nevajag savu atkārtošanas loģiku.
Rezultāts
Katrs izsaukums pierakstīts
Katrs izsaukums tiek pierakstīts ar lietotni, modeli, tokeniem un izmaksām. Arī abonementa izsaukumi tiek pierakstīti ar nulles izmaksām, lai redzētu, kurš izmanto kopīgo kvotu, nevis tikai to, kurš tērē naudu.
Pārbauda cilvēks
Uzraudzība un brīdinājumi
Pārskatā redzami izdevumi pa lietotnēm un modeļiem. Brīdinājums tiek nosūtīts, kad maksas budžets pārsniedz 80 procentus, un vēl viens, ja izdevumu dati pārstāj pienākt, lai salūzušu pārskatu nesajauktu ar klusu mēnesi.
Ierobežojumi, kas tiešām darbojas
Budžets noder tikai tad, ja to nevar apiet. Daži noteikumi nodrošina, ka tā arī ir:
- Atslēgas tikai vārtejā. Piegādātāju atslēgas tiek glabātas vienreiz, vārtejā. Lietotnes saņem atslēgu, kas darbojas tikai tur un tikai to pašu modeļiem.
- Nekādu nezināmu modeļu. Lietotne var pieprasīt tikai tādu modeli, kas ir vārtejas sarakstā. Drukas kļūda vai jauns modeļa nosaukums nevar nonākt pie piegādātāja ārpus visiem budžetiem.
- Rezerves modeļiem tie paši noteikumi. Rezerves modelim jābūt lietotnes sarakstā. Ja tā nav, izsaukums neizdodas, nevis klusi nonāk kaut kur dārgāk.
- Brīdinājumi uzrauga paši sevi. Ja izdevumu dati pārstāj atjaunoties, tas izraisa atsevišķu brīdinājumu.
Ko mēs iemācījāmies
Abonementa izsaukumi par katru tokenu neko nemaksā, tāpēc sākumā tiem noteicām cenu tieši nulle. Izrādījās, ka vārteja pilnībā izlaida budžeta pārbaudi pieprasījumam, kura pirmais modelis maksāja nulli, un tas attiecās arī uz maksas rezerves modeļiem aiz tā. Viens aģents uz rezerves modeļiem iztērēja apmēram divdesmit reizes vairāk par savu budžetu, pirms to pamanījām. Tagad bezmaksas ceļiem ir niecīga cena, kas nav nulle, tāpēc pārbaudes vienmēr notiek, un ierobežojumus mēs testējam tikpat rūpīgi kā parasto darbību.
Ko tā var dot jūsu uzņēmumam
AI vārteja jūsu uzņēmumam. Ja jūsu uzņēmumā AI izmanto vairāk nekā viens rīks vai komanda, mēs to priekšā izveidojam vienu vārteju: atsevišķas atslēgas un budžetus katrai komandai vai lietotnei, jūsu izvēlētos piegādātājus, rezerves variantus un vienu vietu, kur redzēt izmaksas. Jūsu komandas turpina izmantot savus rīkus, bet rēķini vairs nepārsteidz.
AI funkcijas ar griestiem. Katra AI sistēma, ko veidojam klientiem, darbojas ar tādiem pašiem ierobežojumiem, tāpēc jau pirms palaišanas zināt, cik tā var izmaksāt visvairāk. Izlasiet, kā izvēlēties pirmo AI automatizāciju.
Ko sistēma nedara
- Tā nemaina to, ko lietotnes spēj darīt. Tā izlemj, kurš modelis atbild, jūsu noteiktajās robežās.
- Tā neslēpj izmaksas. Katrs izsaukums tiek pierakstīts, arī tie, kas neko nemaksā.
- Tā neļauj vienai lietotnei tērēt citas budžetu vai piekļūt modelim, ko tai nav atļauts izmantot.
Biežāk uzdotie jautājumi
Kurus AI piegādātājus tā var izmantot?
Vārteja strādā ar lielākajiem piegādātājiem, tostarp OpenAI, Anthropic un Google, kā arī ar modeļu tirgiem, piemēram, OpenRouter. Piegādātājus izvēlamies katram projektam, un to nomaiņa ir konfigurācijas izmaiņa.
Vai katrs izsaukums kļūst lēnāks?
Vārteja pievieno īsu posmu jūsu pašu tīklā, kas ir niecīgs salīdzinājumā ar laiku, kamēr modelis atbild. Kad piegādātājam ir problēmas, rezerves varianti parasti ļauj saņemt atbildi ātrāk nekā gaidot.
Kur nonāk mūsu dati?
Tikai pie jūsu izvēlētajiem piegādātājiem. Vārteja darbojas jūsu vai mūsu infrastruktūrā, un izsaukumu žurnāls paliek tur. Uzvednes netiek sūtītas nekur citur.
Vai varat izveidot šādu vārteju mūsu uzņēmumam?
Jā. Mēs sākam ar rīkiem un komandām, kas šobrīd izmanto AI, un to, cik par to tērējat, un tad izveidojam vārteju, atslēgas un ierobežojumus atbilstoši tam. Pastāstiet, kā jūsu uzņēmums izmanto AI, un mēs ieteiksim pirmo soli.