數(shù)據(jù)治理的本質(zhì)是幫助企業(yè)創(chuàng)建數(shù)據(jù)策略,并確保大家能夠遵守這些策略。這些策略涉及一系列數(shù)據(jù)相關(guān)流程,包括數(shù)據(jù)保護(hù)、驗(yàn)證和使用的準(zhǔn)則。數(shù)據(jù)管理人員必須從業(yè)務(wù)用戶處征求數(shù)據(jù)需求,并與數(shù)據(jù)治理委員會(huì)成員合作,美國(guó)服務(wù)器,以就常見(jiàn)的數(shù)據(jù)定義達(dá)成一致,指定數(shù)據(jù)質(zhì)量指標(biāo),闡明相關(guān)的策略,并開(kāi)發(fā)出衡量合規(guī)性的方法。
然而,在定義數(shù)據(jù)治理策略和實(shí)現(xiàn)它們之間架起一座橋梁,往往是一個(gè)巨大的挑戰(zhàn)。這些策略的目的是對(duì)跨業(yè)務(wù)工作流的數(shù)據(jù)資產(chǎn)質(zhì)量進(jìn)行控制和監(jiān)督,但是承擔(dān)關(guān)鍵的數(shù)據(jù)質(zhì)量管理職責(zé)的數(shù)據(jù)管理人員,通常沒(méi)有得到適當(dāng)?shù)呐嘤?xùn)或不具備合格的技術(shù)。
這就是數(shù)據(jù)沿襲(Data Lineage)工具的用武之地。基于元數(shù)據(jù)的數(shù)據(jù)沿襲信息記錄了數(shù)據(jù)對(duì)象在組織系統(tǒng)中的旅程。沿襲記錄可以幫助數(shù)據(jù)分析師和其他最終用戶理解他們所使用的數(shù)據(jù),但是它也簡(jiǎn)化了兩個(gè)關(guān)鍵的數(shù)據(jù)治理過(guò)程:分析數(shù)據(jù)質(zhì)量問(wèn)題的根本原因和源系統(tǒng)中數(shù)據(jù)集更改的影響。
數(shù)據(jù)沿襲和數(shù)據(jù)治理
如果無(wú)法確定是在數(shù)據(jù)管理環(huán)境中的哪些地方引入了數(shù)據(jù)錯(cuò)誤,數(shù)據(jù)管理員和數(shù)據(jù)質(zhì)量分析師就很難去識(shí)別和修復(fù)它們。這樣做的后果是:如果數(shù)據(jù)缺陷繼續(xù)在系統(tǒng)中傳播,組織可能會(huì)常常被不一致或不準(zhǔn)確的分析和報(bào)告所困擾,亞洲服務(wù)器,從而帶來(lái)業(yè)務(wù)運(yùn)營(yíng)中的錯(cuò)誤決策。
在根本原因分析過(guò)程中,數(shù)據(jù)沿襲工具提供了對(duì)處理階段序列的可見(jiàn)性——通過(guò)被檢查的數(shù)據(jù)流??梢栽诿總€(gè)階段檢查數(shù)據(jù)的質(zhì)量,從而使數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量團(tuán)隊(duì)能夠找到數(shù)據(jù)錯(cuò)誤產(chǎn)生的位置。
從第一次發(fā)現(xiàn)錯(cuò)誤的位置開(kāi)始,數(shù)據(jù)管理員可以在更早的位置插入控件,以監(jiān)視數(shù)據(jù)是否符合當(dāng)時(shí)定義的期望或是否出現(xiàn)了錯(cuò)誤。通過(guò)確定在哪一個(gè)處理階段,數(shù)據(jù)進(jìn)入時(shí)符合但在退出時(shí)存在缺陷,數(shù)據(jù)管理員和數(shù)據(jù)治理程序中涉及的其他工作人員就可以專注于消除根本原因,而不是僅僅糾正錯(cuò)誤的數(shù)據(jù)。
數(shù)據(jù)沿襲工具還可以幫助數(shù)據(jù)管理員進(jìn)行影響分析,以了解數(shù)據(jù)管理環(huán)境中源數(shù)據(jù)格式和結(jié)構(gòu)更改所引起的問(wèn)題,鑒于現(xiàn)在的數(shù)據(jù)管理環(huán)境一般比過(guò)去更加動(dòng)態(tài)化。
當(dāng)源數(shù)據(jù)發(fā)生變化時(shí),可能會(huì)在下游產(chǎn)生意想不到的后果。通過(guò)從數(shù)據(jù)創(chuàng)建或收集的角度向前工作,數(shù)據(jù)管理員可以依賴數(shù)據(jù)沿襲文檔來(lái)幫助跟蹤數(shù)據(jù)依賴關(guān)系,并確定受數(shù)據(jù)更改影響的處理階段。這使得數(shù)據(jù)治理和數(shù)據(jù)管理團(tuán)隊(duì)能夠重新設(shè)計(jì)受影響的階段,以適應(yīng)更改,并確保不同系統(tǒng)中的數(shù)據(jù)保持一致。
如何選擇數(shù)據(jù)沿襲工具
手動(dòng)收集元數(shù)據(jù)和記錄數(shù)據(jù)沿襲需要大量的資源投資,還容易出錯(cuò),這可能會(huì)帶來(lái)大問(wèn)題,特別是在依賴數(shù)據(jù)分析來(lái)驅(qū)動(dòng)業(yè)務(wù)運(yùn)營(yíng)的組織中。因此,數(shù)據(jù)治理需要尋找能夠管理數(shù)據(jù)沿襲表示的工具,并自動(dòng)將它們映射到整個(gè)企業(yè)。
在技術(shù)評(píng)估過(guò)程中,你應(yīng)該尋找符合這些要求的數(shù)據(jù)沿襲工具:
·能夠本機(jī)訪問(wèn)大量數(shù)據(jù)源和數(shù)據(jù)產(chǎn)品,調(diào)查它們包含的元數(shù)據(jù),并收集元數(shù)據(jù)以供數(shù)據(jù)治理使用。
·能夠?qū)⒉东@的元數(shù)據(jù)聚合到一個(gè)集中的存儲(chǔ)庫(kù)中。
·能夠推斷數(shù)據(jù)類型,并將引用數(shù)據(jù)的常用用法與來(lái)自不同系統(tǒng)的數(shù)據(jù)元素進(jìn)行匹配。
·能夠?yàn)楦鞣N最終用戶提供聚合元數(shù)據(jù)的簡(jiǎn)化表示,并支持協(xié)作以驗(yàn)證元數(shù)據(jù)描述。
·能夠記錄數(shù)據(jù)如何在組織的處理流中流動(dòng)的端到端映射。
·能夠生成數(shù)據(jù)沿襲的可視化表示。
·包含供開(kāi)發(fā)人員在構(gòu)建可以查詢沿襲記錄的應(yīng)用程序時(shí)使用的API。
·能夠創(chuàng)建反向索引,將數(shù)據(jù)元素名稱映射到它們?cè)诓煌幚黼A段的用例。
·提供一種搜索功能,可以快速跟蹤數(shù)據(jù)流,從起始點(diǎn)到下游目標(biāo)。
·使用戶能夠向前和向后監(jiān)視數(shù)據(jù)流。
數(shù)據(jù)沿襲產(chǎn)品
目前市面上有很多產(chǎn)品可供選擇。大型IT供應(yīng)商(包括IBM、Oracle、SAP和SAS Institute等)銷售的數(shù)據(jù)管理平臺(tái)中,往往包含用于記錄和管理數(shù)據(jù)沿襲的工具。專注于數(shù)據(jù)集成、質(zhì)量和治理的小型軟件供應(yīng)商,也會(huì)提供提供相應(yīng)的產(chǎn)品。此外,數(shù)據(jù)沿襲功能有時(shí)也會(huì)被內(nèi)置到數(shù)據(jù)目錄軟件中,各種BI和分析工具的供應(yīng)商也是如此。
【凡本網(wǎng)注明來(lái)源非中國(guó)IDC圈的作品,均轉(zhuǎn)載自其它媒體,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)?!?/p>








