Քանի որ կազմակերպություններն արագացնում են իրենց անցումը պարզ, հիմնաբառերի վրա հիմնված որոնումից դեպի սեմանտիկ որոնման բարդ համակարգեր, հիմքում ընկած ենթակառուցվածքները բախվում են ֆինանսական սահմանափակումների: Ժամանակակից գեներատիվ AI-ի հիմնասյունը՝ Vector Search-ը (վեկտորային որոնում), հիմնված է ANN (Approximate Nearest Neighbor՝ մոտավոր հարևանության) ալգորիթմների վրա, որոնք նավարկում են բարձր չափողականությամբ տվյալների տարածություններում: Տարիներ շարունակ արդյունաբերական ստանդարտ է եղել այս ինդեքսային կառուցվածքները ամբողջությամբ RAM-ում պահելը՝ միլիվայրկյանից պակաս հարցման հետաձգում (latency) ապահովելու համար: Սակայն, քանի որ տվյալների հավաքածուները հասնում են միլիարդավոր վեկտորների, նման ծավալի հիշողության ապահովման ծախսերը դարձել են լուրջ խոչընդոտ ձեռնարկատիրական AI նախաձեռնությունների ներդրումների վերադարձելիության (ROI) համար:

CTO-ների և համակարգային ճարտարապետների համար ներկայիս մարտահրավերը միայն ճիշտ ալգորիթմ ընտրելը չէ, այլ արտադրողականության հանդեպ անզիջում պահանջարկի և ամպային ենթակառուցվածքների բյուջեի իրականության միջև հավասարակշռություն պահպանելը:

Հիշողության շիշը վեկտորային ենթակառուցվածքներում

Վեկտորային տվյալների բազաների ներդրման վաղ փուլերում միակ կարևոր չափանիշը արտադրողականությունն էր: Ինժեներները նախընտրում էին HNSW (Hierarchical Navigable Small World) գրաֆները՝ դրանց որոնման բարձր արագության շնորհիվ: Ստեղծելով բազմաշերտ գրաֆային կառուցվածք՝ HNSW-ն համակարգին թույլ է տալիս ծայրահեղ արդյունավետությամբ անցնել վեկտորային տարածությամբ: Երբ այն պահվում է ամբողջությամբ RAM-ում, հետաձգումը աննշան է:

Սակայն գոյություն ունի «հիշողության հարկ»: Երբ կազմակերպության CRM տվյալները, պատմական աջակցության գրանցամատյանները կամ փաստաթղթերի հսկայական պահոցները մեծանում են, HNSW ինդեքսի հիշողության ծավալը կտրուկ աճում է: Երբ հասնում եք մեկ մեքենայի RAM-ի սահմանաչափին, ստիպված եք լինում դիմել հորիզոնական մասշտաբավորման՝ ավելացնելով ավելի շատ հանգույցներ, կլաստերներ, ինչը անխուսափելիորեն հանգեցնում է ամպային ծառայությունների համար ամսական վճարների կտրուկ աճի:

Բիզնես ղեկավարների համար սա ստեղծել է «մեծացնել կամ ընդլայնել» (scale-up vs scale-out) երկընտրանք: Կամ դուք ավելորդ ծախսեր եք անում թանկարժեք, հիշողության վրա կենտրոնացած սերվերների վրա, կամ նախագծում եք համակարգ, որն ի վիճակի է աշխատել On-Disk (սկավառակային) պահեստավորման հետ՝ առանց ձեր AI գործակալների օգտագործման փորձը վատթարացնելու: Արդյունաբերությունը ներկայումս ականատես է լինում պարադիգմային փոփոխության. մենք հեռանում ենք «RAM-ը՝ ամեն գնով» ճարտարապետությունից դեպի հիբրիդային մոդելներ, որոնք խելամտորեն քեշավորում են տվյալները՝ հիմնվելով դրանց օգտագործման հաճախականության վրա:

Ինժեներական արտադրողականություն. SPANN և DiskANN

Հիշողության խնդիրը լուծելու համար հետազոտողները անցել են նախագծերի, որոնք սկավառակային պահեստավորումը դիտարկում են ոչ թե որպես վերջին հանգրվան, այլ որպես որոնման ճարտարապետության հիմնական բաղադրիչ: Ի հայտ են եկել երկու ուշագրավ մոտեցումներ՝ SPANN (Space-partitioned ANN) և DiskANN:

  • SPANN (Space-partitioned ANN): Այս մոտեցումը վեկտորային տարածությունը բաժանում է ավելի փոքր մասերի (partitions): RAM-ում պահելով միայն այդ մասերի կենտրոնները (centroids), իսկ իրական վեկտորային տվյալները՝ բարձր արտադրողականության NVMe SSD-ներում, համակարգերը կարող են կտրուկ նվազեցնել հիշողության օգտագործումը: Այն արդյունավետորեն սկավառակը դիտարկում է որպես հսկայական, աստիճանավորված քեշ:
  • DiskANN: Այս ալգորիթմը այլ մոտեցում է ցուցաբերում՝ օգտագործելով սկավառակային I/O-ի համար օպտիմիզացված մասնագիտացված գրաֆային կառուցվածք: Այն նվազագույնի է հասցնում արդյունքին հասնելու համար անհրաժեշտ պատահական սկավառակային ընթերցումների քանակը: Օգտագործելով ժամանակակից պահեստավորման սարքավորումների հաջորդական ընթերցման բարձր արագությունը՝ DiskANN-ը թույլ է տալիս սկավառակի վրա պահել հսկայական ինդեքսներ, մինչդեռ հիշողության մեջ մնում է միայն դրանց փոքր, սեղմված ներկայացումը:

Բիզնեսի տեսանկյունից այս տեխնոլոգիաների նշանակությունը հսկայական է: Օգտագործելով սկավառակի վրա հիմնված ANN ինդեքսներ՝ ընկերությունը կարող է տեղակայել վեկտորային ինդեքս, որը տասից հիսուն անգամ մեծ է նույն սարքավորումների բյուջեով նախկինում հնարավորից: Սա թույլ է տալիս ինդեքսավորել ամբողջ ձեռնարկատիրական գիտելիքների բազաները՝ հնարավորություն տալով իրականացնել ավելի համապարփակ թվային փոխակերպման նախագծեր՝ առանց ամպային ծախսերի գծային աճի:

Ռազմավարական որդեգրում և ROI-ի ազդեցություն

Հիբրիդային սկավառակային-հիշողության ռազմավարությանն անցնելը միայն տեխնիկական արդիականացում չէ. դա հիմնարար փոփոխություն է այն հարցում, թե ինչպես են ընկերությունները մոտենում AI ենթակառուցվածքներին: Ձեր վեկտորային ռազմավարությունը պլանավորելիս հաշվի առեք այս երեք հիմնասյուները.

  1. Հետաձգման հանդուրժողականություն (Latency Tolerance): Որոշեք ձեր օգտագործման սցենարի համար իրական շեմը: Արդյո՞ք ձեր ներքին AI չաթ-բոտերին անհրաժեշտ է 5 մվ արձագանքման ժամանակ, թե՞ 50 մվ-ը ընդունելի է, եթե դա նշանակում է ենթակառուցվածքային ծախսերի 70% խնայողություն: Հաճախ «ավելի արագի» լրացուցիչ օգուտը վերջնական օգտատիրոջ համար աննկատ է, մինչդեռ ծախսերի խնայողությունը անմիջապես զգացվում է բյուջեի վրա:
  2. Սարքավորումների սիներգիա: Ժամանակակից ամպային միջավայրերը օպտիմիզացված են NVMe պահեստավորման համար: Ճիշտ տեսակի ինստանսների օգտագործումը, որտեղ գերարագ սկավառակային I/O-ն առաջն