▌企業(yè)數(shù)據(jù)資產(chǎn)管理
企業(yè)數(shù)據(jù)分布在各個(gè)系統(tǒng),數(shù)據(jù)分布散、體量大,如何識別企業(yè)數(shù)據(jù)資產(chǎn)類別,劃分?jǐn)?shù)據(jù)資產(chǎn)的區(qū)域和層次,這是我們要關(guān)心的問題。
數(shù)據(jù)資產(chǎn)的梳理需要兼顧業(yè)務(wù)視角和技術(shù)視角,從業(yè)務(wù)視角看,分為數(shù)據(jù)域、數(shù)據(jù)主題和數(shù)據(jù)實(shí)體。數(shù)據(jù)域指由數(shù)據(jù)主題根據(jù)其業(yè)務(wù)耦合程度聚合而成的高階數(shù)據(jù)主題群,一般與業(yè)務(wù)域有著緊密的對應(yīng)關(guān)系。比如金融里的業(yè)務(wù)域分為投資業(yè)務(wù)域、保險(xiǎn)業(yè)務(wù)域、貸款業(yè)務(wù)域等。數(shù)據(jù)主題是由業(yè)務(wù)信息按照業(yè)務(wù)耦合程度所聚合而成。比如客戶主題、產(chǎn)品主題、財(cái)務(wù)主題、人力資源主題等。數(shù)據(jù)實(shí)體指適合信息系統(tǒng)處理的結(jié)構(gòu)化的信息,是業(yè)務(wù)信息的抽象和規(guī)范化的邏輯描述。比如與投資業(yè)務(wù)流程相關(guān)聯(lián)的投資業(yè)務(wù)信息,與保險(xiǎn)流程相關(guān)聯(lián)的投保業(yè)務(wù)信息等。
從技術(shù)實(shí)現(xiàn)角度看,包括包括邏輯實(shí)體和物理實(shí)體。邏輯實(shí)體是數(shù)據(jù)實(shí)體的邏輯定義,描述實(shí)體之間的繼承和關(guān)聯(lián)關(guān)系,明確實(shí)體的屬性構(gòu)成。比如財(cái)務(wù)報(bào)表中的所有者權(quán)益變動表,它由上年年末余額、本年年初余額、本年增減變動金額、本年年末余額等四大部分共同構(gòu)成,單獨(dú)一項(xiàng)或部分?jǐn)?shù)據(jù)對于所有者權(quán)益變動來說,沒有意義。
這些相關(guān)的元組的集合形成所有者權(quán)益變動的最小集合,稱為一個(gè)“邏輯實(shí)體”。物理實(shí)體數(shù)據(jù)實(shí)體的物理實(shí)現(xiàn)定義,即數(shù)據(jù)庫中存儲的具體數(shù)據(jù)實(shí)體表,包括DB數(shù)據(jù)資產(chǎn)、接口數(shù)據(jù)資產(chǎn)、報(bào)表數(shù)據(jù)資產(chǎn)、數(shù)據(jù)標(biāo)準(zhǔn)資產(chǎn)和企業(yè)數(shù)據(jù)模型等。
盤點(diǎn)數(shù)據(jù)資產(chǎn),需要以元數(shù)據(jù)為基礎(chǔ),從業(yè)務(wù)到技術(shù),再從技術(shù)到業(yè)務(wù)反復(fù)迭代,形成企業(yè)數(shù)據(jù)資產(chǎn)管理的全貌。
正因?yàn)樵獢?shù)據(jù)定義了各層次數(shù)據(jù)對象的屬性,所以可以根據(jù)元數(shù)據(jù)識別對象的含義、關(guān)聯(lián)關(guān)系、管理信息。比如某企業(yè)的數(shù)據(jù)資產(chǎn)管理層次為區(qū)、主題域、系統(tǒng)、表、字段,每個(gè)層次對象都由元數(shù)據(jù)定義具體特征,以系統(tǒng)元數(shù)據(jù)為例,包括系統(tǒng)名稱、英文名稱、系統(tǒng)適用范圍、系統(tǒng)主要功能、系統(tǒng)關(guān)聯(lián)信息、業(yè)務(wù)主管單位、技術(shù)主管單位等信息。以字段元數(shù)據(jù)為例,包括信息項(xiàng)名稱、業(yè)務(wù)含義、業(yè)務(wù)規(guī)則、數(shù)據(jù)管理機(jī)構(gòu)、數(shù)據(jù)類型、數(shù)據(jù)長度等信息。
建立統(tǒng)一的元數(shù)據(jù)管理有助于企業(yè)發(fā)揮元數(shù)據(jù)管理的作用。整合并集中存儲各系統(tǒng)的元數(shù)據(jù)信息,形成元數(shù)據(jù)庫集市,近年來已經(jīng)成為企業(yè)數(shù)據(jù)治理的重要措施。一方面,通過元數(shù)據(jù)管理了解企業(yè)數(shù)據(jù)資產(chǎn)和數(shù)據(jù)分布情況,另一方面,通過元數(shù)據(jù)集中管理推廣元數(shù)據(jù)應(yīng)用。在此基礎(chǔ)上,編制元數(shù)據(jù)地圖將所有系統(tǒng)關(guān)聯(lián)起來,并通過ETL(數(shù)據(jù)抽取、轉(zhuǎn)換、加載)任務(wù)和數(shù)據(jù)表之間的關(guān)系實(shí)現(xiàn)數(shù)據(jù)影響分析以及元數(shù)據(jù)的查詢和統(tǒng)計(jì)功能。
元數(shù)據(jù)熱度分析是元數(shù)據(jù)使用情況統(tǒng)計(jì)的一個(gè)具體應(yīng)用,元數(shù)據(jù)被訪問的次數(shù),被訪問次數(shù)越多,熱度就越高。元數(shù)據(jù)熱度分析可以幫助用戶分析元數(shù)據(jù)的使用需求和數(shù)據(jù)價(jià)值。
為了實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)的有效管理,通過元數(shù)據(jù)的自動采集,建設(shè)數(shù)據(jù)資產(chǎn)的統(tǒng)一視圖,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的盤點(diǎn)、展示。元數(shù)據(jù)全景視圖可以結(jié)合地圖的設(shè)計(jì)理念,進(jìn)行圖層的劃分,每個(gè)圖層展示不同顆粒度信息,每層圖層下鉆上鉆平滑銜接。元數(shù)據(jù)全景視圖縱向?qū)哟卧谟颉⑾到y(tǒng)、表、字段,可以隨鼠標(biāo)滾輪的滾動方向做無級伸縮,各層次平滑銜接,展現(xiàn)豐富的數(shù)據(jù)資產(chǎn)信息,包括以下方面:
數(shù)據(jù)主題級別、系統(tǒng)級別、表級別、數(shù)據(jù)節(jié)點(diǎn)的全景視圖;
查看、分析系統(tǒng)的元數(shù)據(jù)資產(chǎn)情況;
查看元數(shù)據(jù)訪問熱度情況,可以從元數(shù)據(jù)類型、訪問用戶等維度對元數(shù)據(jù)熱度
信息進(jìn)行分析;
查看元數(shù)據(jù)的版本情況,通過時(shí)間周期查看元數(shù)據(jù)的版本變化情況統(tǒng)計(jì)分析。
以上信息均可以通過數(shù)據(jù)圖標(biāo)形式展現(xiàn)。
▌利用元數(shù)據(jù)進(jìn)行數(shù)據(jù)關(guān)聯(lián)分析
以往業(yè)務(wù)人員在進(jìn)行變更時(shí)時(shí),需要技術(shù)人員配合,進(jìn)行大量的變更影響分析,這種分析耗時(shí)耗力,而且也容易遺漏。通過元數(shù)據(jù)的分析,可以方便地定位某系統(tǒng)數(shù)據(jù)變化的影響。元數(shù)據(jù)分析管理可實(shí)現(xiàn)血緣分析、影響分析、全鏈分析和特定元數(shù)據(jù)分析等四大功能。
1 ▏血緣分析
元數(shù)據(jù)血緣分析的主要使用對象為業(yè)務(wù)人員。業(yè)務(wù)人員可以通過血緣分析快速查找和獲取到數(shù)據(jù)的來源,定位問題出現(xiàn)的環(huán)節(jié)。血緣分析的對象可以是區(qū)域、系統(tǒng)、表(報(bào)表)、字段(指標(biāo))等,通過逐級追溯數(shù)據(jù)的來源,獲取數(shù)據(jù)的源頭。
2 ▏影響分析
元數(shù)據(jù)地圖應(yīng)用影響分析的主要使用對象為業(yè)務(wù)人員和數(shù)據(jù)管理人員。可以通過影響分析快速查找和獲取到數(shù)據(jù)可能影響的范圍,定位數(shù)據(jù)變更可能涉及的環(huán)節(jié)。逐級推導(dǎo)數(shù)據(jù)的影響,獲取數(shù)據(jù)的影響范圍,查詢范圍為全企業(yè)系統(tǒng)。這樣可以獲得區(qū)域變化的影響、系統(tǒng)變化的影響、報(bào)表變化的影響和單一字段(指標(biāo))的影響。
3 ▏全鏈分析
全鏈分析的主要使用對象為數(shù)據(jù)管理人員。數(shù)據(jù)管理人員可以通過全鏈分析快速查找和獲取到數(shù)據(jù)所涉及的所有環(huán)節(jié),了解數(shù)據(jù)加工整個(gè)過程的全部情況,了解數(shù)據(jù)的來源,清楚數(shù)據(jù)的影響。通過逐級追溯數(shù)據(jù)的來源,獲取數(shù)據(jù)的源頭,并從數(shù)據(jù)源頭逐級推導(dǎo)數(shù)據(jù)的影響。影響分析的對象可以是區(qū)域、系統(tǒng)、表和字段等。
4 ▏特定元數(shù)據(jù)分析
系統(tǒng)元數(shù)據(jù)分析主要是滿足業(yè)務(wù)人員和數(shù)據(jù)管理人員,對特定關(guān)心的系統(tǒng)、表、字段的選定的對象,進(jìn)行之間的血緣影響分析,幫助使用者掌握所關(guān)心系統(tǒng)、表、字段之間影響的情況。
▌結(jié)束語
元數(shù)據(jù)管理提供了有效的分析和管理能力,幫助業(yè)務(wù)人員清楚的了解企業(yè)的數(shù)據(jù)信息,包括數(shù)據(jù)資產(chǎn)的分布情況、各系統(tǒng)數(shù)據(jù)流向、業(yè)務(wù)指標(biāo)和業(yè)務(wù)報(bào)表來源和影響、數(shù)據(jù)的業(yè)務(wù)含義和規(guī)則等。幫助技術(shù)人員了解各系統(tǒng)內(nèi)物理表的關(guān)聯(lián)關(guān)系、影響及生成邏輯,查詢系統(tǒng)、物理表的更新、備份、ETL(數(shù)據(jù)抽取、轉(zhuǎn)換、加載)執(zhí)行等信息,為企業(yè)提供更好的數(shù)據(jù)服務(wù)。