Խոշոր լեզվական մոդելների (LLM) ինտեգրումը կորպորատիվ ենթակառուցվածքներում կարելի է համեմատել «ոսկու տենդի» հետ։ Հաճախորդների սպասարկման ավտոմատացումից մինչև բարդ իրավաբանական փաստաթղթերի կազմում՝ բիզնեսները աննախադեպ արագությամբ են ներդնում այս մոդելները։ Սակայն, երբ այս համակարգերը դառնում են թվային փոխակերպման առաջատար գործիքներ, մի կարևոր իրողություն է ի հայտ գալիս. այն նույն ճարտարապետությունը, որը LLM-ներին օժտում է բազմակողմանիությամբ (մարդկային լեզվի օրինաչափությունները մշակելու և կանխատեսելու ունակությունը), միաժամանակ դառնում է դրանց անվտանգության ամենամեծ խոցելիությունը։

Ժամանակակից ձեռնարկությունների համար այս խոցելիությունը հասկանալը սոսկ ՏՏ խնդիր չէ. դա ռազմավարական բնույթի ռիսկ է, որը պետք է քննարկվի խորհրդի մակարդակով: Մենք տեսնում ենք, որ այս մոդելների հավանականային բնույթը դրանք խոցելի է դարձնում հակառակորդի կողմից մուտքագրվող տվյալների նկատմամբ, որոնք գրեթե անհնար է լիովին վերացնել։ Ի տարբերություն ավանդական ծրագրաշարի, որտեղ «սխալը» կարելի է շտկել կոդի մեկ հստակ տողով, LLM-ների «թերությունը» անբաժանելի է դրանց գեներատիվ հնարավորություններից։

Գեներատիվ ինտելեկտի ճարտարապետական պարադոքսը

Խնդրի հիմքում ընկած է այն, թե ինչպես են GPT-4-ի, Claude-ի կամ Llama-ի նման մոդելները մշակում մտադրությունները: LLM-ները գործում են՝ հաջորդականության մեջ հաջորդ տոկենը կանխատեսելու սկզբունքով՝ հիմնվելով վիթխարի ուսուցողական տվյալների վրա: Նրանք չեն «հասկանում» հրահանգները այնպես, ինչպես ծրագրավորողն է սահմանում հստակ կոդավորված հրամանը. փոխարենը՝ նրանք մեկնաբանում են համատեքստը: Այս ճկուն մեկնաբանումն էլ հենց հնարավոր է դարձնում այն անխափան, մարդանման փոխազդեցությունը, որը մենք գնահատում ենք AI գործակալների (AI Agents) դեպքում, բայց հենց դա էլ թույլ է տալիս հարձակվողին «խաբել» մոդելին՝ շրջանցելով անվտանգության սահմանափակումները:

Այս երևույթը, որը հաճախ անվանում են «prompt injection» (հուշման ներարկում), պարզապես անհարմարություն չէ, այն ճարտարապետական փակուղի է: Քանի որ LLM-ը պետք է վերլուծի օգտատիրոջ մուտքագրած տվյալները՝ լինի դա հաճախորդի հարցում, թե ներքին բաժնի տվյալների ֆայլ, որպեսզի օգտակար պատասխան տրամադրի, «տվյալների» և «հրահանգի» միջև հստակ սահմանագիծ գոյություն չունի:

Բիզնեսի ղեկավարների համար դա նշանակում է, որ այս համակարգերի «սև արկղ» (black box) բնույթը պահանջում է ռիսկերի կառավարման ռազմավարությունների հիմնարար փոփոխություն: Երբ ընկերությունները արդյունավետությունը բարձրացնելու համար դիմում են Ավտոմատացմանը, նրանք ըստ էության ներդնում են մի միջերես, որը չի կարող լիովին պաշտպանվել ընթացիկ firewall-ների կամ sandbox-ների ստանդարտներով: ROI-ի (ներդրումների վերադարձելիության) վրա ազդեցությունը ակնհայտ է. բարձր պատասխանատվություն պահանջող AI լուծումներ ներդնելու արժեքը այժմ պետք է ներառի նաև վերահսկողության հուսալի և կրկնվող շերտեր՝ չնախատեսված կամ մանիպուլյացված արդյունքների ռիսկերը նվազեցնելու համար:

Անվտանգությունն ընդդեմ օգտագործելիության. թվային փոխակերպման հավասարակշռումը

Մինչ մենք շարժվում ենք դեպի ապագա, որտեղ LLM-ները հանդես կգան որպես ձեռնարկության «ուղեղ»՝ միանալով CRM համակարգերին, կառավարելով մատակարարման շղթաները և նախաձեռնելով ֆինանսական գործարքներ, հարձակումների հավանականությունը երկրաչափական պրոգրեսիայով աճում է: Երբ AI գործակալն ունի աշխատանքային հոսքեր գործարկելու կամ տվյալների բազաներ հարցումներ ուղարկելու լիազորություն, հաջողված հարձակումը կարող է շատ ավելի վնասակար լինել, քան պարզ չաթի սխալ պատասխանը:

Ընթացիկ որդեգրման միտումները արտացոլում են արագության և անվտանգության միջև առկա լարվածությունը.

  • Մարդու մասնակցության պահանջներ (HITL - Human-in-the-loop): Շատ առաջադեմ կազմակերպություններ ներդնում են մարդկային ստուգման պարտադիր քայլեր AI-ի կողմից ստեղծված ցանկացած գործողության համար, որը ներառում է արտաքին հաղորդակցություն կամ տվյալների բազայի փոփոխություն:
  • Սեգմենտավորված տեղակայում: Առաջատար ընկերությունները հրաժարվում են մոնոլիտ, ամենագետ մոդելներից՝ անցնելով ավելի փոքր, մասնագիտացված մոդելների, որոնք ունեն սահմանափակ թույլտվություններ՝ դրանով իսկ նվազեցնելով հնարավոր վտանգի շրջանակը:
  • Հակառակորդի մոդելավորում (Adversarial Testing): Տեխնոլոգիական առաջադեմ բաժինները գնալով ավելի շատ են ներդրումներ անում «Red Teaming»-ի մեջ, որտեղ ներքին կամ արտաքին փորձագետները փորձում են կոտրել իրենց տեղակայված մոդելների տրամաբանությունը՝ նախքան դրանք հանրությանը ներկայացնելը:

Բիզնեսի ղեկավարների համար եզրակացությունը LLM-ների որդեգրումից հրաժարվելը չէ, այլ «կատարյալ ինքնավարության» մասին պատրանքը մեղմելը: AI-ի տված արդյունավետության աճը իրական է, բայց այն պետք է դիտարկել «վերահսկվող ինքնավարության» մոդելի միջոցով: Զգայուն տվյալների հետ աշխատանքը վստահել AI-ին՝ առանց ծրագրային ստուգման հիմքում ընկած շերտի, ըստ էության, նշանակում է խաղադրույք կատարել մոդելի «մտադրության» վրա՝ մի ցուցանիշ, որը մաթեմատիկորեն մնում է անկանխատեսելի:

Ճանապարհ դեպի ապագա. կայունությունը՝ կատարելության փոխարեն

«Լիովին անվտանգ» LLM-ի որոնումը կարող է իզուր ջանք լինել, սակայն «պաշտպանելի AI-ի» ստեղծումը թվային փոխակերպման հաջորդ սահմանագիծն է: Հաջողության կհասնեն այն ընկերությունները, որոնք կընդունեն այս մոդելների բնածին անկայունությունը և կկառուցեն այնպիսի ճարտար