Տվյալների ճարտարապետության ավանդական ուղին, որը հաճախ պատկերվում է որպես «Medallion» (մեդալիոնային) ճարտարապետություն, երկար ժամանակ համարվում էր կորպորատիվ տվյալների կառավարման ոսկե ստանդարտը։ Տվյալները Bronze (հում), Silver (մաքրված) և Gold (բիզնեսի համար պատրաստ) շերտերի բաժանելով՝ կազմակերպությունները հաջողությամբ կարգավորեցին ժամանակակից տվյալների պահեստների քաոսը։ Սակայն այս կառուցվածքն ունի իր «հարկը»՝ լատենտայնություն (ուշացումներ), պահեստավորման ավելորդ կրկնօրինակում և տվյալները այդ «սիլոսների» միջև տեղափոխելու համար անհրաժեշտ ծանրակշիռ համակարգումը (orchestration):

Այստեղ է, որ ի հայտ են գալիս Microsoft Fabric-ի Materialized Lake Views-ը (նյութականացված լճային տեսքերը)։ Այս զարգացումը էական փոփոխություն է նշանավորում տվյալների պահպանման և հասանելիության մեր պատկերացումներում։ Փոխարենը տվյալները հարկադրաբար անցկացնելու կոշտ, բազմափուլ ETL (Extract, Transform, Load՝ կորզում, ձևափոխում, բեռնում) գործընթացներով, մենք ականատես ենք լինում դեկլարատիվ, միասնական շերտի առաջացմանը, որը թույլ է տալիս բիզնես ղեկավարներին և տվյալագետներին (data engineers) իրենց տվյալների լիճը դիտարկել որպես բարձր արդյունավետությամբ տվյալների բազա։

Արդյունավետության և ճկունության միաձուլումը

Տարիներ շարունակ ոլորտն աշխատում էր երկուական ընտրության սկզբունքով՝ կամ օպտիմալացնել հսկայական, ճկուն պահեստավորման համար (Data Lake), կամ՝ ցածր լատենտայնությամբ և բարձր արդյունավետությամբ հարցումների համար (Data Warehouse): Materialized Lake Views-ը արդյունավետորեն վերացնում է այս տարանջատումը։ Թույլ տալով մշակողներին ստեղծել տեսք (view), որը ֆիզիկապես պահպանվում է որպես օպտիմալացված աղյուսակ՝ միաժամանակ մնալով կապված հիմքում ընկած տվյալների լճի հետ, Microsoft-ն, ըստ էության, առաջարկում է «երկու աշխարհների լավագույնը»։

Տեխնիկական տեսանկյունից սա հսկայական թռիչք է։ Ժամանակակից անալիտիկայում SELECT հրաման օգտագործելիս խոչընդոտը հազվադեպ է լինում բուն SQL շարժիչը, այն հաճախ սկավառակի վրա ֆայլերի ֆիզիկական դասավորվածությունն է։ Materialized Lake Views-ը լուծում է այս խնդիրը՝ հնարավորություն տալով․

  • Դեկլարատիվ սինխրոնիզացիա․ Ավտոմատ կերպով պահպանել նյութականացված տվյալները լճի սկզբնաղբյուր ֆայլերի հետ համահունչ՝ նվազեցնելով ձեռքով կատարվող համակարգման անհրաժեշտությունը։
  • Հարցումների արագացում․ Ապահովել ավանդական ռելյացիոն պահեստի կատարողականությունը՝ առանց տվյալները առանձին, սեփական (proprietary) պահոց ներմուծելու անհրաժեշտության։
  • Պարզեցված կառավարում (Governance)․ Տեսքերի շերտում «ճշմարտության միակ աղբյուրը» պահպանելով՝ ընկերությունները կարող են անվտանգության քաղաքականությունները կիրառել մեկ անգամ՝ փոխարենը թույլտվությունները Bronze-ից մինչև Gold խողովակաշարերում (pipelines) քարտեզագրելու։

Բիզնեսի համար սա պարզապես ճարտարապետական բարելավում չէ, այլ կապիտալ ծախսերի հիմնարար փոփոխություն։ Նվազեցնելով տվյալների մշտական ֆիզիկական տեղաշարժից և սինխրոնիզացումից կախվածությունը՝ կազմակերպությունները կարող են զգալիորեն իջեցնել հաշվարկային ծախսերը՝ միաժամանակ արագացնելով բիզնես-անալիտիկան (BI):

ROI-ի աճը ճարտարապետական արդյունավետության միջոցով

Թվային փոխակերպման (Digital Transformation) համատեքստում տեղեկատվության ստացման արագությունը (time-to-insight) հիմնական արժույթն է։ Կազմակերպությունները ներկայումս իրենց ինժեներական բյուջեի ահռելի մասը ծախսում են տվյալների խողովակաշարերի «ջրմուղ-կոյուղու» վրա՝ ապահովելով, որ տվյալները ճիշտ տեղ հասնեն, հուսալիորեն ձևափոխվեն և բավականաչափ հաճախ թարմացվեն ղեկավարության վահանակների համար։

Materialized Lake Views-ը հնարավորություն է տալիս կիրառելու պարզ և արագընթաց մոտեցում։ Երբ ձեր Medallion ճարտարապետությունը կարող է սահմանվել դեկլարատիվ տեսքի մեջ, «Gold» շերտը դադարում է լինել նպատակակետ, որտեղ տվյալները պետք է «ուղևորվեն». այն դառնում է ձեր հում ակտիվների դինամիկ արտացոլումը։ Սա ազդում է վերջնական արդյունքի վրա երեք հիմնական ուղղությամբ․

  1. Ենթակառուցվածքի պարզեցում․ Ավելի քիչ շարժական մասեր՝ ավելի քիչ տեխնիկական սպասարկում DataOps թիմերի համար։
  2. Արագացված պատրաստվածություն AI-ի համար․ AI մոդելները և AI գործակալները «սնվում» են բարձրորակ, իրական ժամանակի տվյալներով։ Հում տվյալներից դեպի անալիտիկ տեսք տանող ուղին կարճացնելով՝ ընկերությունները կարող են իրենց մոդելներին ավելի թարմ տվյալներ մատակարարել՝ առանց այն ուշացումների, որոնք պատմականորեն խոչընդոտում էին լայնամասշտաբ AI նախագծերին։
  3. Ընդլայնված հարմարվողականություն․ Եթե բիզնես պահանջները փոխվում են, դուք պարզապես թարմացնում եք սահմանումը, այլ ոչ թե վերանախագծում հսկայական ETL խողովակաշար։ Այս ճկունությունը կարևոր է մի շուկայում, որտեղ տվյալների վրա հիմնված որոշումները պետք է կայացվեն գրեթե իրական ժամանակում։

Հետևելով մեր հաճախորդների շրջանում ընդունված միտումներին՝ միասնական մոդելների անցումը ակնհայտ է։ Այն ընկերությունները, որոնք հիմնվում են ստատիկ հաշվետվությունների վրա, զիջում են նրանց, ովքեր ինտեգրում են տվյալների ավտոմատացված տեսքերը իրենց CRM հարթակներում և հաճախորդների սպասարկման աշխատանքային գործընթացներում։ Լիճը որպես բարձրարագ տվյալների բազա հարցնելու կարողությունը թույլ է տալիս պատվերով անալիտիկ գիտելիքները (insights) ինտեգրել անմիջապես այն գործիքների մեջ, որոնցով բիզնես օգտատերերն աշխատում են ամեն օր։

Դեկլարատիվ տվյալների կառավարման ապագան

Դեկլարատիվ տվյալների կառավարմանն անցումը, որտեղ դուք ն