Mūsu AI sistēmas darbojas uz mūsu pašu servera, nevis nomātās "melnajās kastēs": aģentu komanda, AI vārteja, klientu meklēšanas sistēmas datubāze, mūsu AI atmiņas un meklēšanas pakalpojumi, kā arī visu šo sistēmu uzraudzība. Visa infrastruktūra ir aprakstīta kodā, tāpēc to var izveidot no jauna arī citā serverī. Tā tiek uzraudzīta visu diennakti, katru nakti veidojam šifrētus dublējumus citā datu centrā un pārbaudām, vai no tiem tiešām var atjaunot datus un pakalpojumus. Mēs to izveidojām sava uzņēmuma vajadzībām, un tādu pašu praksi izmantojam, kad uzturam AI sistēmas klientiem.
Ko tā dod mums
Uzturot AI sistēmas pašiem, jums ir kontrole pār datiem, izmaksām un to, kas kur darbojas. Taču arī ikdienas rūpes jāuzņemas pašiem: atjauninājumi, darbības pārtraukumi, dublējumi un situācijas, kad naktī piepildās disks. Šādi mēs šo darbu organizējam:
- Nekas nav tikai kāda galvā. Katrs pakalpojums, tā iestatījumi un ugunsmūra noteikumi ir koda repozitorijā. Izmaiņas tiek pārskatītas tāpat kā jebkuras koda izmaiņas.
- Problēmas tiek pamanītas laikus. Brīdinājumi par diska vietu, atmiņu, uzdevumu izpildes kļūmēm, sertifikātu derīguma termiņiem, AI izmaksām un dublējumu vecumu nonāk pie cilvēka.
- Servera zaudējumu var pārdzīvot. Dati, kurus nevar izveidot no jauna, katru nakti tiek kopēti uz citu datu centru, un mēs jau esam tos atjaunojuši no šīm kopijām.
- Mūsu dati paliek tur, kur tos novietojām. Uzņēmuma dati un AI atmiņa glabājas mūsu pašu aparatūrā, un šifrētos dublējumus glabājam ES.
Kā darbojas infrastruktūra
Apskatiet, kā darbojas infrastruktūras galvenās daļas. Attēli ir vienkāršotas ilustrācijas ar datu piemēriem.
Aprakstīts kodā
Katrs pakalpojums, sākot ar AI vārteju un beidzot ar uzraudzību, ir definēts konfigurācijas kodā ar vienkāršu ieslēgšanas vai izslēgšanas slēdzi. Viena komanda izveido visu serveri no nulles, un ar to pašu kodu serverī nonāk arī izmaiņas.
Pārbaudīts pirms izmaiņām
Pirms izmaiņas tiek ieviestas, automātiskas pārbaudes meklē bojātu konfigurāciju, slepenus datus, kam kodā nevajadzētu būt, un iestatījumus, kas savstarpēji nesaskan. Paši slepenie dati glabājas šifrētā glabātuvē, nekad kā atklāts teksts.
Sākums
Uzraudzība visu diennakti
Metrikas, žurnāli un pieejamības pārbaudes aptver visus pakalpojumus un aparatūru, uz kuras tie darbojas. Īpašas pārbaudes vēro to, kas šeit ir svarīgi: dublējumu vecumu, disku stāvokli, AI izmaksas un to, vai ieplānotie darbi tiešām notika.
Pārbauda cilvēks
Brīdinājumi nonāk pie cilvēka
Kad tiek pārsniegta noteiktā robežvērtība, cilvēks saņem brīdinājumu ar problēmas aprakstu, tās sākuma laiku un saiti uz atbilstošo pārskatu. Atsevišķa pārbaude ārpus servera gaida regulāru signālu, tāpēc tiek pamanīts arī tas, ja apklust viss serveris.
Rezultāts
Dublēts katru nakti
Katru nakti datubāzes un iestatījumi, ko nevar izveidot no jauna, tiek saglabāti, šifrēti un nosūtīti uz glabātuvi citā datu centrā. Serveris tur var pievienot jaunus dublējumus, bet nevar izdzēst vecos, tāpēc uzbrucējs nevar izdzēst iepriekšējos dublējumus.
Pārbauda cilvēks
Atjaunošana tiek pārbaudīta
Pēc noteikta grafika cilvēks atjauno pakalpojumu no dublējuma atsevišķā, atvienotā vidē un to pārbauda: datubāze atveras, šifrēšanas atslēgas ir pieejamas un datubāzē ir vajadzīgie dati. Pēc tam testa kopija tiek izdzēsta.
Ko mēs iemācījāmies
Divas mācības nāca no lietām, kas izskatījās kārtībā.
Pirmā bija dublējums. Viens pakalpojums ierastajā vietā glabāja vecu, gandrīz tukšu datubāzi, bet tā īstie dati atradās citur. Datu dublēšana no ierastās vietas katru nakti būtu pabeigta bez kļūdām, taču iegūtā kopija būtu bezjēdzīga. To parādīja tikai atjaunošanas tests. Tagad dublējumu uzskatām par derīgu tikai pēc tam, kad esam pārbaudījuši atjaunošanu no tā un pārliecinājušies par atjaunoto datu saturu.
Otrā bija pats serveris. Tas dažas reizes bija pārstājis reaģēt, un, pārskatot ierakstus, atradām vairāk šādu gadījumu, nekā bijām pamanījuši, jo daži bija notikuši laikā, kad neviens serveri neuzraudzīja. Tāpēc tagad pārbaude ārpus servera gaida no tā regulāru signālu un ceļ trauksmi, ja tas nepienāk.
Ko tā var dot jūsu uzņēmumam
Rūpīgi uzturētas AI sistēmas. Kad veidojam AI sistēmu jums, varam to uzturēt uz šādi veidotas infrastruktūras: aprakstītas kodā, uzraudzītas, dublētas ārpus servera un ar pārbaudītu atjaunošanu. Jūs kontrolējat savu sistēmu, bet nakts dežūras uzņemamies mēs.
Jūsu esošās sistēmas pārbaude. Ja jau paši uzturat serverus vai AI rīkus, mēs varam pārskatīt, kā tie ir izveidoti, uzraudzīti un dublēti, un kopā ar jums pārbaudīt atjaunošanu. Lielākajā daļā sistēmu ir vismaz viens dublējums, no kura atjaunošana nekad nav izmēģināta.
Ko sistēma nedara
- Tā nepadara pārtraukumus neiespējamus. Tā palīdz tos pamanīt ātrāk un novērst ātrāk.
- Izmaiņas darbojošajā serverī ieviešam tikai saskaņā ar pārskatīto konfigurāciju. AI aģenti var tās ierosināt, bet ievieš cilvēks.
- Dublējumu neuzskatām par drošu, kamēr neesam pārbaudījuši atjaunošanu no tā.
Biežāk uzdotie jautājumi
Kāpēc uzturēt pašiem, nevis izmantot mākoņpakalpojumus?
Dažos darbos kontrole ir svarīgāka par ērtumu: kur glabājas uzņēmuma dati un AI atmiņa, kam katra sistēma var piekļūt un cik tā maksā katru mēnesi. Pašu uzturēta sistēma dod šo kontroli. Mākoņpakalpojumus mēs joprojām izmantojam tur, kur tie der labāk, piemēram, šīs vietnes darbībai.
Kur tiek glabāti dublējumi?
Dublējumi glabājas ES datu centrā, atsevišķi no mūsu servera. Tie tiek šifrēti pirms nosūtīšanas. Serveris šai glabātuvei var pievienot jaunus dublējumus, bet nevar izdzēst esošos.
Kas notiek, ja serveris pilnībā sabojājas?
Izmantojot konfigurācijas kodu, pakalpojumus izveido no jauna uz citas aparatūras, bet datus atjauno no nakts dublējumiem. Atjaunošanu esam izmēģinājuši praksē, jo tieši šajā posmā parasti atklājas problēmas.
Vai varat šādi uzturēt mūsu AI sistēmas?
Jā. Mēs varam uzturēt jums izveidotās sistēmas uz šādas infrastruktūras vai palīdzēt jūsu komandai ieviest tādu pašu praksi uz jūsu serveriem. Pastāstiet, ko jums vajag uzturēt, un mēs ieteiksim pirmo soli.