Mūsu AI sistēmas darbojas uz mūsu pašu servera, nevis nomātās "melnajās kastēs": aģentu komanda, AI vārteja, klientu meklēšanas sistēmas datubāze, mūsu atmiņas un meklēšanas pakalpojumi, kā arī uzraudzība, kas tos visus vēro. Visa uzbūve ir aprakstīta kodā, tāpēc to var no jauna izveidot uz tīra datora. Tā tiek uzraudzīta visu diennakti, katru nakti dublēta šifrētā kopijā citā datu centrā, un mēs pārbaudām, vai dublējumus tiešām var atjaunot. Mēs to izveidojām sava uzņēmuma vajadzībām, un tādu pašu praksi izmantojam, kad uzturam AI sistēmas klientiem.
Ko tā dod mums
Uzturot AI sistēmas pašiem, jums ir kontrole pār datiem, izmaksām un to, kas kur darbojas. Taču arī garlaicīgās lietas ir jūsu: atjauninājumi, pārtraukumi, dublējumi, nakts, kad piepildās disks. Šī uzbūve padara tās par ikdienu:
- Nekas nav tikai kāda galvā. Katrs pakalpojums, tā iestatījumi un ugunsmūra noteikumi ir koda repozitorijā. Izmaiņas tiek pārskatītas tāpat kā jebkuras koda izmaiņas.
- Problēmas tiek pamanītas laikus. Diska vietai, atmiņai, neizdevušamies darbiem, sertifikātiem, kam beidzas termiņš, AI izdevumiem un dublējumu vecumam ir brīdinājumi, un tie nonāk pie cilvēka.
- Servera zaudējumu var pārdzīvot. Dati, ko nevar izveidot no jauna, katru nakti tiek nokopēti ārpus servera, un mēs no šīm kopijām esam atjaunojuši.
- Mūsu dati paliek tur, kur tos novietojām. Uzņēmuma dati un AI atmiņa glabājas uz mūsu pašu aparatūras, ar šifrētiem dublējumiem ES.
Kā darbojas infrastruktūra
Apskatiet daļas, kas to uztur darbā. Ekrānattēli ir vienkāršotas ilustrācijas ar piemēra datiem.
Aprakstīts kodā
Katrs pakalpojums, sākot ar AI vārteju un beidzot ar uzraudzību, ir definēts konfigurācijas kodā ar vienkāršu ieslēgšanas vai izslēgšanas slēdzi. Viena komanda izveido visu serveri no nulles, un ar to pašu kodu serverī nonāk arī izmaiņas.
Pārbaudīts pirms izmaiņām
Pirms izmaiņas tiek ieviestas, automātiskas pārbaudes meklē bojātu konfigurāciju, slepenus datus, kam kodā nevajadzētu būt, un iestatījumus, kas savstarpēji nesaskan. Paši slepenie dati glabājas šifrētā glabātuvē, nekad kā atklāts teksts.
Sākums
Uzraudzība visu diennakti
Metrikas, žurnāli un pieejamības pārbaudes aptver katru pakalpojumu un aparatūru zem tiem. Īpašas pārbaudes vēro to, kas šeit ir svarīgi: dublējumu vecumu, disku stāvokli, AI izdevumus un to, vai ieplānotie darbi tiešām notika.
Pārbauda cilvēks
Brīdinājumi nonāk pie cilvēka
Kad kaut kas pārsniedz robežu, cilvēks saņem brīdinājumu ar to, kas noticis, kopš kura laika, un saiti uz pareizo pārskatu. Atsevišķa pārbaude ārpus servera gaida regulāru signālu, tāpēc tiek pamanīts arī tas, ja apklust viss serveris.
Rezultāts
Dublēts katru nakti
Katru nakti datubāzes un iestatījumi, ko nevar izveidot no jauna, tiek saglabāti, šifrēti un nosūtīti uz glabātuvi citā datu centrā. Serveris tur var pievienot jaunus dublējumus, bet nevar izdzēst vecos, tāpēc ielaušanās nevar paņemt līdzi vēsturi.
Pārbauda cilvēks
Atjaunošana tiek pārbaudīta
Regulāri cilvēks atjauno pakalpojumu no dublējuma atsevišķā, atvienotā kopijā un to pārbauda: datubāze atveras, šifrēšanas atslēgas ir vietā un saturs ir īsts, nevis tukšs. Pēc tam kopija tiek izdzēsta.
Ko mēs iemācījāmies
Divas mācības nāca no lietām, kas izskatījās kārtībā.
Pirmā bija dublējums. Viens pakalpojums ierastajā vietā glabāja vecu, gandrīz tukšu datubāzi, bet tā īstie dati atradās citur. Ierastās vietas dublējums būtu darbojies katru nakti bez kļūdām un būtu bijis bezjēdzīgs. To parādīja tikai atjaunošanas tests. Tagad dublējums skaitās tikai pēc tam, kad tas ir atjaunots un tā saturs pārbaudīts.
Otrā bija pats serveris. Tas dažas reizes bija sastindzis, un, pārskatot ierakstus, atradām vairāk šādu gadījumu, nekā zinājām, jo daži notika, kad neviens neskatījās. Tāpēc tagad pārbaude ārpus servera gaida no tā regulāru signālu un ceļ trauksmi, ja tas nepienāk.
Ko tā var dot jūsu uzņēmumam
Rūpīgi uzturētas AI sistēmas. Kad veidojam AI sistēmu jums, varam to uzturēt uz šādi veidotas infrastruktūras: aprakstītas kodā, uzraudzītas, dublētas ārpus servera un ar pārbaudītu atjaunošanu. Jūs iegūstat pašu uzturētas sistēmas kontroli, nepārņemot nakts maiņas.
Jūsu esošās sistēmas pārbaude. Ja jau paši uzturat serverus vai AI rīkus, mēs varam pārskatīt, kā tie ir izveidoti, uzraudzīti un dublēti, un kopā ar jums pārbaudīt atjaunošanu. Lielākajā daļā sistēmu ir vismaz viens dublējums, kas nekad nav atjaunots.
Ko sistēma nedara
- Tā nepadara pārtraukumus neiespējamus. Tā palīdz tos pamanīt ātrāk un novērst ātrāk.
- Tā neļauj nekam mainīt dzīvo serveri ārpus pārskatītās konfigurācijas. AI aģenti var piedāvāt izmaiņas, bet ievieš tās cilvēks.
- Tā neuzskata dublējumu par drošu, kamēr tas nav atjaunots.
Biežāk uzdotie jautājumi
Kāpēc uzturēt pašiem, nevis izmantot mākoņpakalpojumus?
Dažos darbos kontrole ir svarīgāka par ērtumu: kur glabājas uzņēmuma dati un AI atmiņa, kam katra sistēma var piekļūt un cik tā maksā katru mēnesi. Pašu uzturēta sistēma dod šo kontroli. Mākoņpakalpojumus mēs joprojām izmantojam tur, kur tie der labāk, piemēram, šīs vietnes darbībai.
Kur tiek glabāti dublējumi?
ES datu centrā, atsevišķi no servera, šifrēti, pirms tie to atstāj. Serveris šajā glabātuvē var tikai pievienot, nevis dzēst.
Kas notiek, ja serveris pilnībā sabojājas?
Konfigurācijas kods izveido pakalpojumus no jauna uz citas aparatūras, un nakts dublējumi atjauno datus. Atjaunošanu esam izmēģinājuši, un tieši tā parasti ir daļa, kas neizdodas.
Vai varat šādi uzturēt mūsu AI sistēmas?
Jā. Mēs varam uzturēt jums izveidotās sistēmas uz šādas infrastruktūras vai palīdzēt jūsu komandai ieviest tādu pašu praksi uz jūsu serveriem. Pastāstiet, ko jums vajag uzturēt, un mēs ieteiksim pirmo soli.