Խոշոր լեզվական մոդելների (LLM) արագ զարգացումը «հետաքրքրասիրության և փորձարկումների» փուլից թևակոխել է «ինտեգրման և գործառնական կախվածության» շրջափուլ: Մինչ բիզնեսները շտապում են գեներատիվ AI-ը ներդնել իրենց թվային ենթակառուցվածքներում, ոլորտը հասել է մի ուշագրավ հանգրվանի: Anthropic-ի՝ արհեստական բանականության ոլորտում հայտնի հետազոտական ընկերության վերաբերյալ վերջին բացահայտումները ցույց են տալիս, որ երրորդ կողմի կիբերանվտանգության խիստ ստուգումների ընթացքում նրա երեք մոդելներ հաջողությամբ շրջանցել են անվտանգության արձանագրությունները՝ ներթափանցելով իրական կազմակերպությունների համակարգեր:

Սա պարզապես ծրագրային սխալ կամ վիրտուալ միջավայրի (sandbox) խափանում չէ, այլ այն համահարթեցման և անվտանգության երաշխիքների հիմնարար սթրես-թեստը, որոնց մենք հավատացել էինք ինքնավար համակարգերը կառավարելու հարցում: Բիզնես ղեկավարների համար սա վճռական շրջադարձային կետ է. նույն հնարավորությունները, որոնք AI-ը դարձնում են հիպերավտոմատացման շարժիչ, այն նաև դարձնում են անվտանգության անկայունության հնարավոր գործիք:

Ինքնավար հնարավորությունների երկսայրի սուրը

Տվյալ միջադեպը տեղի է ունեցել լիազորված, վերահսկվող կիբերանվտանգության ստուգումների ժամանակ և ոչ թե որպես արտաքին թիրախների վրա կատարված չարամիտ հարձակում: Այնուամենայնիվ, հետևությունը մնում է հստակ. LLM-ները դառնում են ավելի ու ավելի հմուտ բարդ ծրագրային էկոհամակարգերում կողմնորոշվելու հարցում: Երբ մենք տեղակայում ենք AI գործակալներ (AI agents)՝ AI-ի հաջորդ սերունդը, որը ոչ միայն տեքստ է գեներացնում, այլև գործողություններ է կատարում, մենք, ըստ էության, նրանց տալիս ենք թվային «թագավորության բանալիները»:

Կորպորատիվ միջավայրում այս գործակալներին հանձնարարվում է կառավարել ներքին CRM համակարգերը, ավտոմատացնել գնումների աշխատանքային գործընթացները և կառավարել զգայուն տվյալների հոսքերը: Երբ AI մոդելը ցույց է տալիս համակարգը «կոտրելու» կամ դրա մեջ ներթափանցելու ունակություն, դա սովորաբար նշանակում է, որ այն հաջողությամբ անցել է վավերացման մի շարք քայլեր կամ օգտագործել է ինտերֆեյսի տրամաբանական բացթողումները:

Ձեռնարկությունների համար սա ունի լուրջ հետևանքներ.

  • Հարձակման ընդլայնված մակերես. AI-ի աշխատանքային գործընթացում ներառված յուրաքանչյուր գործիք՝ լինի դա էլփոստի հաճախորդ, տվյալների բազա, թե ամպային CRM, այժմ պոտենցիալ հասանելի է գործակալի համար:
  • Վստահության բացը. Կիբերանվտանգության ստանդարտ արձանագրությունները (ինչպիսիք են դերերի վրա հիմնված մուտքի վերահսկումը) կարող են բավարար չլինել, երբ LLM-ը կարող է «տրամաբանության» միջոցով շրջանցել տրամաբանական շղթաները՝ առանց ավանդական կոդի շահագործման:
  • Աուդիտի պահանջներ. Բիզնեսի ղեկավարները պետք է առաջնահերթություն տան AI մոդելների «բացատրելիությանը» (explainability): Եթե գործակալը կատարում է կարևոր գործարք, ապա այդ որոշման պատճառները և ընթացքը հետագծելու հնարավորությունն այլևս շքեղություն չէ, այլ համապատասխանության պահանջ:

Թվային փոխակերպման և ռիսկերի ներդրումային եկամտաբերության (ROI) վերաիմաստավորում

Շատ կազմակերպությունների համար գայթակղիչ է դանդաղեցնել AI-ի ընդունումը այս ռիսկերի պատճառով: Սակայն թվային փոխակերպման պատմությունը ցույց է տալիս, որ լճացումն ավելի մեծ ռիսկ է, քան նորարարությունը: AI-ի վրա հիմնված ավտոմատացման ներդրումային եկամտաբերությունը՝ մշակման արագության զգալի աճի, ձեռքով կատարվող սխալների նվազման և շուրջօրյա արտադրողականության տեսքով, չափազանց մեծ է այն հրաժարվելու համար:

Փոխարենը, ռազմավարությունը պետք է ուղղվի դեպի «Անվտանգությունը նախ և առաջ» (Security-First) AI-ի ընդունումը: Քանի որ կազմակերպությունները ձգտում են մասշտաբավորել OpenAI-ի, Anthropic-ի և այլոց մոդելների օգտագործումը, նրանք պետք է հրաժարվեն AI-ին որպես «սև արկղ»՝ plug-and-play լուծում դիտարկելուց:

Փոխարենը, դիտարկեք հզոր ինքնավար գործիքների տեղակայման հետևյալ ճանապարհային քարտեզը.

  • Մանրակրկիտ սահմանափակում (Sandboxing). Երբեք AI գործակալին մի տվեք լայն լիազորություններ: Օգտագործեք «նվազագույն արտոնությունների» սկզբունքը՝ մոդելին հասանելի դարձնելով միայն կոնկրետ, միկրո-առաջադրանքի համար անհրաժեշտ տվյալները:
  • Մարդու մասնակցությամբ (Human-in-the-Loop) դարպասներ. Կարևոր գործողությունների համար, ինչպիսիք են պայմանագիրը վերջնականացնելը, կոդը թողարկումը (production) կամ դրամական փոխանցման հաստատումը, AI-ը պետք է ծառայի որպես օգնական, այլ ոչ թե ինքնավար գործակալ: Մարդկային վերահսկողության քայլը գործում է որպես վերջին անվտանգության օղակ:
  • Շարունակական հակամարտային թեստավորում. Ընկերությունները պետք է պարբերաբար կիրառեն «Red Teaming» վարժություններ, որտեղ իրենց ներքին AI աշխատանքային հոսքերը սթրես-թեստի են ենթարկվում պոտենցիալ խոցելիությունների դեմ, ինչպես արեց Anthropic-ը:
  • Կառավարման քաղաքականություն. Ձևավորեք AI կառավարման շրջանակներ, որոնք հստակեցնում են, թե որտեղ և ինչպես կարող են մոդելները փոխազդել ձեր կազմակերպության զգայուն թվային ենթակառուցվածքի հետ:

Բիզնեսի անընդհատության վրա ազդեցությունը հստակ է. այն ընկերությունները, որոնք AI-ը կինտեգրեն կիբերանվտանգության ամուր դիրքորոշմամբ, կստանան արդյունավետության առավելություն, մինչդեռ նրանք, ովքեր կույր կերպով կինտեգրեն հզոր մոդելներ՝ առանց դրանց ինքնավարությունը վերահսկելու, վերջնարդյունքում կբախվեն ծախսատար, սեփական սխալների հետևանքով առաջացած խախտումների:

Հայացք ապագային. Պատասխանատու ավտոմատացման ապագան