Enterprise AI-ի արագ զարգացման ընթացքում ինքնավար գործակալների (autonomous agents) ներդրումը բախվել է լուրջ խոչընդոտի՝ գնահատման բացին: Վերջին երկու տարվա ընթացքում թիմերը հիմնվել են հիմնական չափանիշների, մասնավորապես՝ միջին արդյունավետության գնահատականի վրա՝ որոշելու համար, թե գործակալի որ կոնֆիգուրացիաներն են «պատրաստ արտադրական օգտագործման»: Եթե A գործակալը ստանում է 8.2 միջին գնահատական, իսկ B-ն՝ 7.9, ապա A-ն ընտրելը տրամաբանական է թվում: Այնուամենայնիվ, այս պարզունակ մոտեցումը գնալով ավելի վտանգավոր է դառնում այն բիզնեսների համար, որոնք ձգտում են մասշտաբային և հուսալի ավտոմատացման:
Միջին գնահատականները քողարկում են ձախողումների «երկար պոչը» (long tail): Երբ գործակալը կառավարում է հաճախորդների հետ փոխգործակցությունը կամ տվյալների բարդ աշխատանքային հոսքերը, միջին գնահատականը վիճակագրական պատրանք է: Այն թաքցնում է մեծ տատանումներ ունեցող վարքագիծը, որը հանգեցնում է հալյուցինացիաների, գործընթացների ընդհատման կամ օգտատիրոջ վատ փորձառության: Բիզնեսի ղեկավարների համար այս միջին ցուցանիշներին ապավինելը ոչ միայն տեխնիկական բացթողում է, այլև ուղղակի սպառնալիք նրանց թվային փոխակերպման նախաձեռնությունների ROI-ի (ներդրումների եկամտաբերության) համար:
Թվաբանական միջինի թերությունը գործակալների գնահատման մեջ
Երբ մենք գործակալի գնահատումը դիտարկում ենք որպես արդյունավետության պարզ միջին հաշվարկ, մենք անտեսում ենք մարդկային նախասիրությունների և օգտակարության համատեքստը: Իրական CRM կամ հաճախորդների սպասարկման միջավայրում մի գործակալը, որը կայուն լավ արդյունքներ է ցուցաբերում բոլոր սցենարներում, հաճախ ավելի պակաս արժեքավոր է, քան այն գործակալը, որը գերազանցում է բարձր պատասխանատվություն պահանջող և մեծ ազդեցություն ունեցող փոխգործակցություններում:
Միջին թվերի խնդիրն այն է, որ դրանք յուրաքանչյուր փոխգործակցությանը հավասար կշիռ են տալիս՝ անկախ նրանից՝ դա սովորական տվյալների որոնում է, թե բարդ և զգայուն հարցի լուծում: Սա ստեղծում է «միջինին ձգտելու» թակարդ: Թիմերը սկսում են օպտիմալացնել համընդհանուր, միջին արդյունավետությունը, այլ ոչ թե առանցքային խնդիրների համար անհրաժեշտ մասնագիտացված բանականությունը:
Այս շրջափուլից դուրս գալու համար հեռատես կազմակերպությունները անցնում են հարաբերական գնահատման համակարգերի: Փոխանակ հարցնելու՝ «Ո՞րն է այս գործակալի գնահատականը», նրանք հարցնում են՝ «Ինչպե՞ս է այս կոնֆիգուրացիան համեմատվում իր գործընկերների հետ կոնկրետ խմբերում»: Համեմատական գնահատման այս անցումը արտացոլում է այն, թե ինչպես են մարդիկ որոշումներ կայացնում՝ գնահատելով փոխզիջումները, այլ ոչ թե առանձին թվային արժեքներ տալով:
- Զգայունություն շեղումների նկատմամբ. Ստանդարտ միջին ցուցանիշները թույլ են տալիս, որ մի քանի բարձր արդյունավետությամբ առաջադրանքներ թաքցնեն համակարգային ձախողումները եզրային դեպքերում:
- Օգտակարության բաց (Utility Gap). Ոչ բոլոր սխալներն ունեն բիզնեսի համար նույն արժեքը. միջին գնահատականը նույն կերպ է դիտարկում աննշան վրիպակը և կարգավորող նորմերի լուրջ խախտումը:
- Համատեքստային անտեղինություն. Միջին ցուցանիշները հաշվի չեն առնում, թե գործակալի կոնֆիգուրացիաներն ինչպես են աշխատում տարբեր ծանրաբեռնվածության պայմաններում կամ օգտատիրոջ ճանապարհորդության տարբեր փուլերում:
Համեմատական բարդ համակարգերի որդեգրում
AI գործակալների իրական ներուժը բացահայտելու համար ինժեներական թիմերն ավելի հաճախ են դիմում առաջադեմ մեթոդաբանությունների, ինչպիսիք են MaxDiff (առավելագույն տարբերության սանդղակավորում) և Plackett-Luce մոդելավորումը: Այս համակարգերն այլևս միայն ակադեմիական հետազոտությունների շրջանակներում չեն մնում. դրանք դառնում են բարձր արդյունավետությամբ AI գործառնությունների «ոսկե ստանդարտը»:
MaxDiff-ը գնահատողներին (կամ ավտոմատացված թեստավորողներին) ստիպում է ընտրել «լավագույն» և «վատագույն» տարբերակները կոնֆիգուրացիաների ենթախմբում: Այս երկուական ընտրության միջոցով մենք հեռացնում ենք միջին գնահատականների աղմուկը՝ բացահայտելով համակարգի նկատմամբ իրական նախապատվությունները և օգտակարության շեմերը:
Plackett-Luce-ի օգտակարության գնահատականներն այս ամենն ավելի առաջ են տանում՝ տրամադրելով կոնֆիգուրացիաների հավանականային վարկանիշ: Փոխանակ մեկ թվի, այս մեթոդը բիզնեսի ղեկավարներին թույլ է տալիս տեսնել հավանականությունների բաշխումը, թե որ կոնֆիգուրացիան լավագույնը կաշխատի իրական պայմաններում: Այն ընկերության համար, որն ավտոմատացում է ներդնում իր տեխնոլոգիական կառուցվածքում, սա նշանակում է.
- Ավելի ճշգրիտ զտում. Բացահայտել և հեռացնել այն կոնֆիգուրացիաները, որոնք հետևողականորեն հայտնվում են «վատագույն» կատեգորիայում, նույնիսկ եթե դրանց միջին գնահատականն ընդունելի է:
- Օպտիմալ երթուղավորում. Օգտատերերի հարցումները դինամիկ կերպով ուղղորդել այն գործակալին, որն ամենալավն է համապատասխանում տվյալ հարցման բարդությանը, փոխանակ մեկ, համընդհանուր մոդելի վրա հույս դնելու:
- Ռիսկերի մեղմացում. Նվազեցնել այնպիսի կոնֆիգուրացիաների ներդրման հավանականությունը, որոնք, չնայած բարձր միջին գնահատականներին, ունեն վտանգավոր կողմնակալություններ կամ գործառնական խափանումներ մասնագիտացված սցենարներում:
Այս անցումը նշանավորում է շուկայի հասունացումը: Մենք հեռանում ենք «մարքեթինգային բենչմարկինգի» դարաշրջանից և մոտենում «հուսալիության բենչմարկինգի» դարաշրջանին: Այն ընկերությունները, որոնք AI-ն դիտարկում են որպես ամուր ենթակառուցվածքային բաղադրիչ (այլ ոչ թե «սև արկղի
