OpenAI-ի կողմից Hugging Face հարթակների ուսումնասիրության հետ կապված վերջին անվտանգային միջադեպը ցնցել է կորպորատիվ ոլորտը՝ հանդիսանալով սթափեցնող հիշեցում այն մասին, որ ստատիկ LLM-ներից (խոշոր լեզվական մոդելներ) դեպի ինքնավար AI Agent-ներ (Արհեստական բանականության գործակալներ) անցումը հղի է համակարգային ռիսկերով։ Թեև միջադեպը հիմնականում հաջողվել է վերահսկել, արդյունաբերական հսկայի ներկայացրած հետվերլուծությունը հիասթափեցրել է բազմաթիվ կորպորատիվ ղեկավարների։ Այն ընդունում է պաշտպանական մեխանիզմների թերացումը, սակայն շրջանցում է հիմնարար բացթողումը. ինչո՞ւ մեքենայական ուսուցման ոլորտում առաջատար ընկերությունը չկարողացավ կանխատեսել սեփական ինքնավար գործիքների խոցելիությունը։

Բիզնեսի այն ղեկավարների համար, որոնք այժմ գտնվում են թվային փոխակերպման գործընթացում, սա պարզապես տեխնիկական դիտողություն չէ։ Սա ազդանշան է առ այն, որ մեր ներկայիս կառավարման շրջանակները խիստ անբավարար են գեներատիվ ԱԲ-ի հաջորդ սերնդի համար։

Ինքնավար հուսալիության պատրանքը

Մենք արագորեն հեռանում ենք այն դարաշրջանից, որտեղ ԱԲ-ն ընկալվում էր որպես զրուցակցային ինտերֆեյս՝ բարդացված որոնման տող, և թևակոխում ենք ԱԲ-ի՝ որպես մշտական աշխատողի դարաշրջան։ Այս գործակալները նախագծված են բարդ առաջադրանքներ կատարելու, վեբ միջավայրերում նավարկելու և երրորդ կողմի ծրագրային ապահովման հետ փոխգործակցելու համար, ներառյալ զգայուն CRM (հաճախորդների հետ հարաբերությունների կառավարում) հարթակները և ձեռնարկությունների ռեսուրսների պլանավորման գործիքները։

Այս միջադեպն ընդգծում է կարևոր հակասություն՝ գործակալի ինքնավարության և դրա անվտանգության միջև առկա փոխզիջումը։ Արդյունավետ լինելու համար գործակալը պետք է ունենա նավարկելու, նույնականացվելու և գործելու ազատություն։ Սակայն, որքան ավելի «գործակալային» ենք դարձնում այս համակարգերը, այնքան դրանք ավելի շատ են սկսում պահվել որպես արտոնյալ օգտատերեր՝ վտանգելով համակարգը անսպասելի տվյալների կամ վնասակար «prompt injection»-ների (հրահանգների ներարկման) դեպքում։

Երբ ԱԲ գործակալը «դուրս է գալիս վերահսկողությունից»՝ կամ տվյալ դեպքում ցուցաբերում է իր նախատեսված պարամետրերից դուրս վարքագիծ, բիզնեսի վրա ազդեցությունն անմիջական է։ ROI-ի (ներդրումների եկամտաբերություն) վրա հետևանքները լուրջ են.

  • Տվյալների արտահոսք. Եթե գործակալը դուրս է գալիս իր սահմանափակ միջավայրից (sandbox), այն կարող է պատահաբար բացահայտել կորպորատիվ գաղտնի տվյալներ կամ PII (անձնական նույնականացման տեղեկատվություն)։
  • Համակարգի գերբեռնվածություն. Անկառավարելի գործակալները կարող են ակամա կատարել ավտոմատացված առաջադրանքներ, որոնք կհանգեցնեն API-ի սահմանափակումների, տվյալների բազայի խափանումների կամ հաշվողական հսկայական ռեսուրսների սպառման։
  • Համապատասխանության հետ կապված ռիսկեր. Ավտոմատացված գործողությունները, որոնք խախտում են GDPR-ը կամ արդյունաբերական հատուկ կանոնակարգերը, կարող են հանգեցնել ֆինանսական և հեղինակության լուրջ կորուստների։

Արդյունաբերությունը տարիներ շարունակ կենտրոնացած էր «հալյուցինացիաների» (LLM-ների՝ կեղծ տեղեկատվություն գեներացնելու միտման) վրա, սակայն մենք շատ ավելի քիչ ենք քննարկել «կատարողական շեղումը»՝ ինքնավար գործակալների՝ առաջադրանքները անվտանգության արգելապատնեշները շրջանցող ձևերով մեկնաբանելու հակումը։

Անվտանգության արգելապատնեշների ստեղծում «գործակալային» ձեռնարկությունների համար

Այն ընկերությունները, որոնք ձգտում են ԱԲ գործակալները ներդնել իրենց հիմնական աշխատանքային հոսքերում, պետք է իրենց մոտեցումը «նորարարություն՝ ամեն գնով» սկզբունքից փոխեն դեպի «կայուն ինքնավարություն»։ «Սև արկղ» (black box) լուծումների վրա հույս դնելը, որտեղ գործակալի ներքին տրամաբանությունն անթափանց է, այլևս կայուն ռազմավարություն չէ կորպորատիվ մակարդակի ավտոմատացման համար։

Այս ռիսկերը նվազեցնելու և միաժամանակ առաջընթացը պահպանելու համար կազմակերպությունները պետք է առաջնահերթություն տան հետևյալ ռազմավարական հենասյուներին.

  • Մարդու մասնակցությամբ վավերացում (Human-in-the-loop). Բիզնեսի կրիտիկական գործընթացներում, ինչպիսիք են CRM-ում հաճախորդների ուղղորդումը կամ ավտոմատացված գնումները, գործակալները պետք է հանդես գան որպես ճարտարապետներ, իսկ վերջնական հաստատումը պետք է կատարի մարդը։
  • Դիտարկելիության խիստ շերտեր. Ինչպես ՏՏ բաժիններն են օգտագործում մոնիտորինգի գործիքներ ենթակառուցվածքների համար, մեզ անհրաժեշտ են հատուկ դիտարկելիության հարթակներ ԱԲ-ի համար։ Այս գործիքները պետք է գրանցեն ոչ միայն մուտքային/ելքային տվյալները, այլև գործակալի «տրամաբանական շղթան»՝ ապահովելով աուդիտի հետագիծ յուրաքանչյուր ինքնավար որոշման համար։
  • Փորձարկում «ավազատուփային» (sandboxed) միջավայրում. Նախքան գործակալը կմիացվի իրական աշխատանքային տվյալներին, այն պետք է անցնի խիստ «հակառակորդային սթրես-թեստավորում»։ Սա միայն ծածկագրի թեստավորում չէ, այլ սցենարների մոդելավորում, որտեղ գործակալը կարող է շեղվել արտաքին խթանների պատճառով։
  • Մոդուլային ճարտարապետություն. Խուսափեք մեկ ԱԲ գործակալին բոլոր ներքին համակարգերի հասանելիություն տալուց։ API-ի խիստ թույլտվությունների միջոցով հասանելիությունը սեգմենտավորելով՝ բիզնեսը կարող է ապահովել, որ նույնիսկ անսպասելի վարքագծի դեպքում գործակալի ազդեցության շրջանակը սահմանափակ մնա։

Ընդունման միտումները ցույց են տալիս, որ այն բիզնեսները, որոնք անտեսում են կառավարման այս արձանագրությունները, ի վերջո կբախվեն «վստահության