數(shù)據(jù)治理是組織中涉及數(shù)據(jù)使用的一套完整的管理行為，一般是由企業(yè)數(shù)據(jù)治理部門制定和實(shí)施的針對(duì)企業(yè)內(nèi)部數(shù)據(jù)的技術(shù)管理與應(yīng)用的政策和流程。數(shù)據(jù)治理是現(xiàn)在企業(yè)數(shù)據(jù)管理人員必備的技能，一般從技術(shù)實(shí)施的角度看，數(shù)據(jù)治理的內(nèi)容包含理、采、存、管、用這五個(gè)步驟缺一不可。意思就是說(shuō)業(yè)務(wù)和數(shù)據(jù)資源梳理，數(shù)據(jù)采集清洗，數(shù)據(jù)管理，數(shù)據(jù)庫(kù)設(shè)計(jì)和存儲(chǔ)以及數(shù)據(jù)使用。下面我們就來(lái)看看數(shù)據(jù)治理的內(nèi)容的詳細(xì)介紹。

數(shù)據(jù)治理的內(nèi)容

一、數(shù)據(jù)資源梳理：數(shù)據(jù)治理的第一個(gè)步驟是從業(yè)務(wù)的視角厘清組織的數(shù)據(jù)資源環(huán)境和數(shù)據(jù)資源清單，包含組織 機(jī)構(gòu)、業(yè)務(wù)事項(xiàng)、信息系統(tǒng)，以及以數(shù)據(jù)庫(kù)、網(wǎng)頁(yè)、文件和 API 接口形式存在的數(shù)據(jù)項(xiàng)資源，本步驟的輸出物為 分門別類的數(shù)據(jù)資源清單。

二、數(shù)據(jù)采集清洗：通過(guò)可視化的 ETL 工具將數(shù)據(jù)從來(lái)源 端經(jīng)過(guò)抽取 (extract)、轉(zhuǎn)換 (transform)、加載 (load) 至目的端的過(guò)程，目的是將散落和零亂的數(shù)據(jù)集中存儲(chǔ)起 來(lái)。 基礎(chǔ)庫(kù)主題庫(kù)建設(shè)：一般情況下，可以將數(shù)據(jù)分為基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)主題數(shù)據(jù)和分析數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)一般指的 是核心實(shí)體數(shù)據(jù)，或稱主數(shù)據(jù)，例如智慧城市中的人口、法人、地理信息、信用、電子證照等數(shù)據(jù)。

主題數(shù)據(jù)一般指的是某個(gè)業(yè)務(wù)主題數(shù)據(jù)，例如市場(chǎng)監(jiān)督管理局的食品監(jiān)管、質(zhì)量監(jiān)督檢查、企業(yè)綜合監(jiān)管等數(shù)據(jù)。而分析數(shù) 據(jù)指的是基于業(yè)務(wù)主題數(shù)據(jù)綜合分析而得的分析結(jié)果數(shù)據(jù)，例如市場(chǎng)監(jiān)督管理局的企業(yè)綜合評(píng)價(jià)、產(chǎn)業(yè)區(qū)域分 布、高危企業(yè)分布等。那么基礎(chǔ)庫(kù)和主題庫(kù)的建設(shè)就是在對(duì)業(yè)務(wù)理解的基礎(chǔ)上，基于易存儲(chǔ)、易管理、易使用的 原則抽像數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，說(shuō)白了，就是基于一定的原則設(shè)計(jì)數(shù)據(jù)庫(kù)表結(jié)構(gòu)，然后再根據(jù)數(shù)據(jù)資源清單設(shè)計(jì)數(shù)據(jù)采集清洗流程，將整潔干凈的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中。

三、元數(shù)據(jù)管理：元數(shù)據(jù)管理是對(duì)基礎(chǔ)庫(kù)和主題庫(kù)中的數(shù)據(jù)項(xiàng)屬性的管理，同時(shí)，將數(shù)據(jù)項(xiàng)的業(yè)務(wù)含義與數(shù)據(jù)項(xiàng)進(jìn)行了關(guān)聯(lián)，便于業(yè)務(wù)人員也能夠理解數(shù)據(jù)庫(kù)中的數(shù)據(jù)字段含義，并且，元數(shù)據(jù)是后面提到的自動(dòng)化數(shù)據(jù)共享、數(shù)據(jù)交換和商業(yè)智能(BI)的基礎(chǔ)。需要注意的是，元數(shù)據(jù)管理一般是對(duì)基礎(chǔ)庫(kù)和主題庫(kù)中(即核心數(shù)據(jù)資產(chǎn))的數(shù)據(jù)項(xiàng)屬性的管理，而數(shù)據(jù)資源清單是對(duì)各類數(shù)據(jù)來(lái)源的數(shù)據(jù)項(xiàng)的管理。血緣追蹤：數(shù)據(jù)被業(yè)務(wù)場(chǎng)景使用時(shí)，發(fā)現(xiàn)數(shù)據(jù)錯(cuò)誤，數(shù)據(jù)治理團(tuán)隊(duì)需要快速定位數(shù)據(jù)來(lái)源，修復(fù)數(shù)據(jù)錯(cuò)誤。 那么數(shù)據(jù)治理團(tuán)隊(duì)需要知道業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)來(lái)自于哪個(gè)核心庫(kù)，核心庫(kù)的數(shù)據(jù)又來(lái)自于哪個(gè)數(shù)據(jù)源頭。我們的實(shí) 踐是在元數(shù)據(jù)和數(shù)據(jù)資源清單之間建立關(guān)聯(lián)關(guān)系，且業(yè)務(wù)團(tuán)隊(duì)使用的數(shù)據(jù)項(xiàng)由元數(shù)據(jù)組合配置而來(lái)，這樣，就建 立了數(shù)據(jù)使用場(chǎng)景與數(shù)據(jù)源頭之間的血緣關(guān)系。

數(shù)據(jù)資源目錄：數(shù)據(jù)資源目錄一般應(yīng)用于數(shù)據(jù)共享的場(chǎng)景，例如政府部門之間的數(shù)據(jù)共享，數(shù)據(jù)資源目錄是基于業(yè)務(wù)場(chǎng)景和行業(yè)規(guī)范而創(chuàng)建，同時(shí)依托于元數(shù)據(jù)和基礎(chǔ)庫(kù)主題而 實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)申請(qǐng)和使用。

四、質(zhì)量管理：數(shù)據(jù)價(jià)值的成功發(fā)掘必須依托于高質(zhì)量的數(shù)據(jù)，唯有準(zhǔn)確、完整、一致的數(shù)據(jù)才有使用價(jià)值。因 此，需要從多維度來(lái)分析數(shù)據(jù)的質(zhì)量，例如：偏移量、非空檢查、值域檢查、規(guī)范性檢查、重復(fù)性檢查、關(guān)聯(lián)關(guān) 請(qǐng)輸入您要查詢的信息。

需要注意的是，優(yōu)秀的數(shù)據(jù)質(zhì)量模型的設(shè)計(jì)必須依賴于對(duì)業(yè)務(wù)的深刻理 解，在技術(shù)上也推薦使用大數(shù)據(jù)相關(guān)技術(shù)來(lái)保障檢測(cè)性能和降低對(duì)業(yè)務(wù)系統(tǒng)的性能影響，例如 Hadoop， MapReduce，HBase 等。

五、商業(yè)智能(BI)：數(shù)據(jù)治理的目的是使用，對(duì)于一個(gè)大型的數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)，數(shù)據(jù)使用的場(chǎng)景和需求是多變的，那么可以使用 BI 類的產(chǎn)品快速獲取需要的數(shù)據(jù)，并分析形成報(bào)表。

六、數(shù)據(jù)共享交換：數(shù)據(jù)共享包括組織內(nèi)部和組織之間的數(shù)據(jù)共享，共享方式也分為庫(kù)表、文件和 API 接口三種共享方式，庫(kù)表共享比較直接粗暴，文件共享方式通過(guò) ETL 工具做一個(gè)反向的數(shù)據(jù)交換也就可以實(shí)現(xiàn)。我們比較 推薦的是 API 接口共享方式，在這種方式下，能夠讓中心數(shù)據(jù)倉(cāng)庫(kù)保留數(shù)據(jù)所有權(quán)，把數(shù)據(jù)使用權(quán)通過(guò) API 接 口的形式進(jìn)行了轉(zhuǎn)移。API 接口共享可以使用 API 網(wǎng)關(guān)實(shí)現(xiàn)，常見的功能是自動(dòng)化的接口生成、申請(qǐng)審核、限 流、限并發(fā)、多用戶隔離、調(diào)用統(tǒng)計(jì)、調(diào)用審計(jì)、黑白名單、調(diào)用監(jiān)控、質(zhì)量監(jiān)控等等。

以上我們介紹了數(shù)據(jù)治理的內(nèi)容，數(shù)據(jù)治理的最終目標(biāo)是提升數(shù)據(jù)的價(jià)值，數(shù)據(jù)治理非常必要，是企業(yè)實(shí)現(xiàn)數(shù)字戰(zhàn)略的基礎(chǔ)，它是一個(gè)管理體系，包括組織、制度、流程、工具。如果您想了解更多相關(guān)信息，請(qǐng)您及時(shí)關(guān)注中培偉業(yè)。