Մինչ կազմակերպությունները ավանդական մեքենայական ուսուցման մոդելներից անցում են կատարում դեպի Agentic AI (գործակալային արհեստական բանականություն), խարդախության հայտնաբերման ոլորտը հիմնովին փոխվում է։ Տարիներ շարունակ տվյալագիտության թիմերը հիմնվել են SHAP (SHapley Additive exPlanations) գործիքի վրա՝ կանխատեսող մոդելավորման «սև արկղը» բացահայտելու համար։ Յուրաքանչյուր հատկանիշի (feature) ներդրումը կոնկրետ արդյունքի մեջ գնահատելով՝ SHAP-ը դարձել է կարգավորող համապատասխանության և մոդելի մեկնաբանելիության ոսկե ստանդարտը։ Սակայն, երբ մենք ինքնավար գործակալներին ինտեգրում ենք մեր CRM-ի և գործարքային աշխատանքային հոսքերի հիմքում, մենք բախվում ենք կառուցվածքային սահմանափակման. SHAP-ը նախագծված է ստատիկ մուտքային տվյալների համար, այլ ոչ թե ժամանակակից AI գործակալների իտերատիվ և համատեքստով հարուստ դատողությունների համար։

Ժամանակի պահի մեկնաբանելիության սահմանափակումները

Ավանդական կանխատեսող համակարգերում մոդելը վերլուծում է տվյալների մի կտրվածք՝ IP հասցեն, գործարքի գումարը, օգտատիրոջ պատմությունը, և արտածում հավանականության գործակից: SHAP-ն այստեղ անգերազանցելի է, քանի որ այն այդ գնահատականը մասնատում է հատկանիշների կշիռների գումարի: Դուք կարող եք մատնանշել «գործարքի գումարը» և ասել. «Սա 15%-ով բարձրացրեց խարդախության ռիսկի գնահատականը»: Սա հստակ է, գծային, և աուդիտորները հավանում են այն:

Ի հակադրություն՝ Agentic AI-ն գործում է Chain-of-Thought (CoT)՝ «մտքերի շղթայական» դատողությունների միջոցով: Ինքնավար գործակալը, որին հանձնարարված է ստուգել բարձր արժեք ունեցող վճարումը, կարող է իրականացնել մի քանի քայլ. հարցում կատարել արտաքին տվյալների բազա, համադրել սոցիալական ցանցերի տրամադրությունները, վերահսկել մկնիկի շարժման տելեմետրիան և, վերջապես, այս բոլոր բացահայտումները համադրելով՝ կայացնել որոշում:

Խնդիրն այն է, որ SHAP-ն այս գործընթացը դիտարկում է որպես ստատիկ ֆունկցիա: Այն չի տեսնում դատողությունների ուղին: Եթե գործակալը մերժում է գործարքը, քանի որ այն «կասկածելի է թվում» ներքին ստուգումների շարքի հիման վրա, SHAP-ը ձեզ կասի, թե որ տվյալներն են մուտքագրվել մոդել, բայց այն «կույր» կմնա այն պատճառահետևանքային պատումի նկատմամբ, որը կառուցել է գործակալը: Մենք այլևս գործ չունենք մուտքերի և ելքերի պարզ ֆունկցիայի հետ. մենք գործ ունենք իրավիճակի վրա հիմնված որոշումների կայացման դինամիկ օղակի հետ: Երբ գործակալը «մտածում» է, SHAP-ի կախվածությունը հատկանիշների վերագրումից դառնում է շատ ավելի մեծ ու բարդ տարածքի թերի քարտեզ:

Մեկնաբանելիության ROI-ն ինքնավար աշխարհում

Բիզնեսի ղեկավարների համար դեպի գործակալային ավտոմատացում անցումը պայմանավորված է արդյունավետության, գործառնական ծախսերի կրճատման և հաճախորդների ավելի բարձր փորձի ապահովման ձգտումով: Այնուամենայնիվ, գործակալային խարդախության հայտնաբերման մեջ թափանցիկության բացակայությունը ստեղծում է ռիսկերով ճշգրտված ROI-ի (ներդրումների եկամտաբերության) լուրջ մտահոգություն:

Դիտարկենք թվային վերափոխման հետևանքները.

  • Կարգավորող համապատասխանություն. Ֆինանսական կարգավորիչները պահանջում են հստակ բացատրություններ մերժված գործարքների համար: Եթե գործակալը մերժում է օրինական հաճախորդին թաքնված, սխալ դատողության պատճառով, ձեր համապատասխանության թիմը չի կարող բացատրել՝ ինչու, առանց աուդիտի հստակ հետքի:
  • Կեղծ դրական արդյունքների կառավարում. Ավանդական մոդելները թիմերին թույլ են տալիս կարգավորել կշիռները՝ կեղծ դրական արդյունքները նվազեցնելու համար: Գործակալային համակարգում, եթե գործակալը սխալվում է, դա տվյալների խնդի՞ր է, հրահանգների (prompt) ինժեներական թե՞ր, թե՞ տրամաբանական հալյուցինացիա: Առանց դատողությունների ընթացքը «հետագծելու» ունակության՝ կարգաբերումը (debugging) դառնում է թանկարժեք, ձեռքով արվող «սև անցք»:
  • Վստահություն և պահպանում. Ավտոմատացված համակարգը, որը չի կարող հիմնավորել իր որոշումները մարդ-օպերատորին, պատասխանատվության բեռ է: CRM համակարգերի համար անտեսանելի AI-ի կողմից առանց հիմնավորման մերժված հաճախորդը հաճախ հանգեցնում է մշտական հեռացման (churn):

Որդեգրման միտումը պարզ է. ձեռնարկությունները շարժվում են դեպի բազմագործակալային համակարգեր, որտեղ մի քանի մասնագիտացված AI միավորներ համագործակցում են խարդախությունը հայտնաբերելու համար: Թեև սա հանգեցնում է ավելի արագ հայտնաբերման, այն ավելացնում է մեկնաբանելիության պարտքը: Մենք, ըստ էության, մեկ մեկնաբանելի մոդելը փոխարինում ենք գործակալների մի «հոծ բազմությամբ», որոնք ունեն «էմերջենտ» (վերհանվող) վարքագիծ. վարքագիծ, որը հանկարծակի ի հայտ է գալիս գործակալների փոխազդեցության արդյունքում՝ գրեթե անհնար դարձնելով մեկ հատկանիշի որպես մեղավորի առանձնացումը:

Դեպի դիտարկելիության (observability) նոր շրջանակ

Մենք պետք է զարգացնենք AI-ի դիտարկելիության մեր մոտեցումը: Եթե SHAP-ը մանրադիտակ է, ապա մեզ անհրաժեշտ է տեսախցիկ, որը կարող է ձայնագրել ամբողջ ընթացքը: Սա ներառում է մի քանի կարևոր տեղաշարժ.

  • Հետագծում (Tracing) ընդդեմ Վերագրման (Attribution). Մենք պետք է որդեգրենք LLM Tracing շրջանակներ, որոնք ֆիքսում են գործակալի ներքին մենախոսությունը և վիճակի փոխակերպումները: Իմանալը, թե որ տվյալներն են ստացվել երկրորդ քայլում, ավելի արժեքավոր է, քան վերջնական որոշման մեջ այդ տվյալների կշիռն իմանալը:
  • Գործակալային սահմանափակումներ (Guardrails). Բիզնեսները պետք է իրականացնեն կոդավորված տրամաբանական սահմանափակումներ, որոնք գտնվում են գործակալի դատողություններից վեր