數據資產頂層架構設計實踐與思考

2022-06-10 15:18 來源:數據工匠俱樂部
瀏覽量: 收藏:0 分享

導讀

數據被稱為“未來新石油”,已經滲透到當今企業戰略決策、生產經營和各業務職能發展領域,成為企業數字化轉型的基礎。本文以作者多年數據治理、數據資產規劃項目實踐為基礎,從頂層架構的實施內容、步驟和方法、價值評估三個視角展開論述。在方法論層面介紹了從數據資產需求分析、頂層架構總體設計、應用場景驗證開展數據資產頂層設計思路;在步驟和方法層面重點闡述二個核心話題,一是如何提升數據質量,二是構建數據資產目錄的方法;在價值評估方面給把央企、集團企業數據治理過程中常見的主要問題進行了匯總和提煉。供大家賞鑒。

一實施內容

企業需要持續深化數據治理管理工作,圍繞數據價值發掘利用、數據質量提升以及管理落實過程中的難點痛點,特別是如何提升業務部門在數據管理中的參與程度,有必要建立完整的數據治理管理體系,梳理各業務部門在數據治理中的職責,對各類數據資產建立標準,統一數據資產管理流程,搭建數據資產管理平臺,編制數據資產管理相關制度,建立數據資產管理組織,為企業數據質量的提升奠定基礎,逐步建立良好的數據治理文化氛圍,提高企業全員對于數據以及數據質量工作的重視程度,加強業務部門在數據管理過程中的參與程度,明確各部門在數據治理中的管理范圍、管理職責,把數據治理的工作融入日常的工作過程中

1、頂層架構規劃與設計原則

(1)統一性原則。企業數據治理規劃應遵循統一性原則,基于企業整體業務、信息化戰略目標,統籌考慮企業整體信息化建設的其他部分內容,進行統一規劃設計。

(2)實用性原則。以“貼合實際,需求導向”為根本,以業務運營和經營管理的實際情況為貼合點,以解決實際需求為導向,進行數據治理體系的規劃、設計和建設,確保管理體系規劃實用可行,為上層創新應用提供有力支撐。

(3)標準化原則。企業數據治理管理體系規劃應遵循標準化原則,根據企業實際應用需求制定相關的體系建設標準、規范和指導文件;明確總體規劃目標,統一規劃思路,提供組織間交互公約,穩步推進體系建設分批分步實施。

(4)開放性原則。企業數據治理規劃應遵循業界流行的開放標準,能夠充分考慮未來應用發展的需要,使得數據治理體系在公司業務發展的過程中不需要推倒重新進行規劃與設計,能夠順利、平穩地向更新的技術過渡。

(5)易推廣性原則。企業數據治理體系規劃應充分考慮企業各單位現有信息化基礎,在保證先進性、實用性原則的基礎上,遵循易推廣性原則,盡量減少推廣難度,并提供切實可行的推廣策略和推廣方法。

(6)安全性原則。企業數據治理規劃應遵循安全性原則,符合公司信息化建設安全和等級保護的相關規范,通過技術手段保障數據信息的安全,提高數據安全風險識別、處理能力,增強防災抗破壞能力。

2、頂層設計主要分為需求分析、頂層架構設計、應用場景驗證三個大的階段:

(1)調研與需求分析

①理論基礎:國際DAMA、數據資產白皮書4.0、工業大數據白皮書、DCMM等;

②外部調研、對標:央企領先實踐數據治理框架體系等;

③企業參考資料研讀:包括企業“十四五”信息化發展規劃、企業主要信息系統等;

(2)頂層架構總體設計

①頂層設計:包括數據戰略規劃、組織架構設計、數據架構設計;

②數據治理核心域:由數據標準、數據模型、數據治理、數據安全、指標數據、主數據六部分組成;

③保障措施:包括制度、流程、技術三部分;

④數據治理其他相關域:數據全生命周期、數據需求管理;

(3)應用場景、數據治理軟件工具驗證、數據資產工具驗證

①數據治理工具驗證:物料、設備主數據系統驗證;

②數據資產工具驗證:實現數據資產目錄、數據資產地圖。

圖片

圖1數據治理頂層設計方法論

二步驟和方法
1、借鑒DAMA數據管理知識體系設計理念

圖片

圖2數據治理框架


通過引入DAMA數據管理知識體系設計理念,建立企業數據戰略體系,包括數據治理、管理制度、管理服務統一在數據管理平臺中,形成數據架構體系集中統一管理。通過技術基礎和系統集成,能夠與業務建立起整體上的邏輯映射關系,并通過規范的、可視的、易于理解的形式表達出來,對于后續的業務需求溝通和系統建設過程可以起到指導作用,指引公司數據資產管理落地實施。數據資產管理頂層設計過程是核心輸出成果之一。

2、對企業系統調研與需求分析

通過對公司數據治理文檔、數據、制度、流程、信息化系統運行記錄等現狀資料的收集和訪談,充分理解公司的戰略、管控模式和各主要業務方向的業務戰略,明晰企業發展戰略對數據資產管理、數據治理、數據質量、數據運維、組織架構的需求。

理清企業對下屬企業的管控模式,企業管什么?管多深?怎么管?如下圖(所示)。

圖片

圖3企業對下屬企業的管控模式

在理解企業數據戰略管理目標和要求的基礎上,再通過調研與分析,全面了解企業的管理現狀和業務現狀,準確把握現階段面臨的問題與挑戰,明確未來企業數據戰略的需求和方向。

以能源化工生產類數據管理為例。我們首先要針對能源化工過程所需要的物料、介質、耗材,包括大量的實時數據、采集數據,各生產數據采集系統與總部集控系統匯總數據現狀進行分析,發現存在的關鍵業務問題。

針對存在的問題提出改善建議、提煉數據資產管理需求,然后,再對企業的數據治理現狀進行評估,分析數據現狀與業務對信息支撐能力要求之間的差距,總結數據治理的關鍵改進方向。

接下來,從IT管控、IT基礎設施、應用系統、數據信息管理等方面對IT現狀展開評估,包括以下幾個方面:

(1)企業現有信息技術的計劃和在IT方面的歷史投入,以及獲得的成果;

(2)下屬企業現有的信息技術應用及建設歷史;

(3)分析企業數據資產分布、建設情況和投入歷史;

(4)數據應用系統的主要執行標準;

(5)數據標準化、數據質量分析、安全性和共享能力;

(6)明確信息技術基礎設施和對數據開發利用的需求情況;

(7)信息技術管理的組織結構、管理流程、信息技術服務范圍和能力。

為確保數據治理規劃的先進性,還將對先進企業的數據治理管理模式、信息化的發展趨勢和領先實踐進行研究,分析信息化建設的成功案例。

最后,總結企業數據戰略、業務和管理現狀以及現有信息化技術條件,結合IT發展趨勢與最佳實踐,提出企業數據治理架構和技術要求,提出實現數據戰略落地實施的指導原則和總體的發展戰略。

3、理清架頂層架構設計思路

數據戰略體系核心在于有效解決對數據資產進行管理的實踐性問題,既幫助企業合理評估、規范和治理企業信息資產,又可以挖掘和發揮數據資產價值、促進持續增值,并符合大數據的跨行業合作趨勢(如圖)。

圖片

圖4數據資產管理體系架構設計

4、頂層架構設計突出重點和特色

對企業數據資產管理現狀進行充分調研,并形成翔實、可靠的現狀分析報告。根據企業行業特點與業務實際,聚焦數據資產管理,對公司數據資產管理開展頂層設計與體系規劃,明確階段目標與任務,有序推進,并形成公司數據資產管理的實施方案。

數據戰略核心領域設計涵蓋數據服務、主數據管理、元數據管理、數據質量管理、數據標準管理、數據安全管理的數據生命周期管理等內容;我們主要談二個核心話題,一是如何提升數據質量,二是構建數據資產目錄的方法。

(1)數據質量規則框架

數據質量規則是保障數據質量的基本標準,是進行數據質量校驗、度量、考核等工作的前提條件。根據我們在各部門的調研情況,各部門對于數據質量規則的梳理范圍還不完整,僅限于部分核心數據,存在較多的歷史欠賬,因而很有必要對數據質量規則的梳理進行規范化和模塊化,數據質量規則框架(項目示例)如下表所示:

表1數據質量規則框架

序號

屬性

屬性說明

1

數據質量標準編號

數據質量標準的唯一編號。

2

數據標準標號

數據質量標對應的數據標準項的標準編號,應當存在于數據標準中。

3

數據標準名稱

數據質量標準對應的數據標準項的標準中文名稱,應當存在于數據標準中。

4

數據質量標準描述

從數據質量標準評估維度分類角度,根據評估指標,對數據質量標準的內容描述。

5

歸口業務部門

數據質量標準的責任部門,負責指定、維護與解釋。歸口業務部門與人資部門保持一致。注:在本文檔中制定的歸口業務部門,以數據質量標準對應的數據標準信息項的歸口業務部門為準。

6

業務分類

數據質量標準的業務分類,根據業務屬性與特征進行歸類。參照同行實踐經驗,數據質量標準中的業務分類共包含六個,分別是:人資域、財務域、物資域、基建域、生產域、營銷域。

7

歸屬數據主題

數據質量標準衡量的數據對象對應數據域下劃分的數據主題。與數據標準保持一致

上述數據質量規則框架中,第4項屬性數據質量標準描述,應該從數據質量標準評估維度分類角度,從完整性、準確性、一致性、及時性和規范性五個維度,對數據質量標準的內容進行描述。

數據質量工作考核

數據質量考核是數據質量管理制度和數據質量標準能夠實施落地的重要保障,因而需要定期評估各部門、各單位的數據質量管理水平,提升相關人員數據質量管理的意識,提升各部門的數據質量水平。

應從數據質量管理能力水平和數據質量健康水平兩個維度進行考核,促進數據質量管理制度、標準執行落地。其中數據質量管理能力水平是從組織與推進、制度建設、工作流程三個方面進行評價,側重于各部門、各級單位的日常工作和業務過程考核,屬于定性評價指標,適用于數據治理辦公室進行總體評價;數據質量健康水平側重于各部門、各級單位的結果考核,屬于定量考核指標,適用于各業務部門用于考核本部門數據質量的健康水平。數據質量考評機制(以往項目案例)如下所示:

圖片

圖5數據質量考評機制


①考核評價要點

數據質量管理能力水平是從組織與推進、制度建設和工作流程三個細分維度,對數據認責情況、崗位落實情況、人員配合工作情況、管理制度編制情況、管理制度遵從程度、數據質量工作執行情況、數據質量分析情況、數據質量整改情況共8個方面,對各部門、各級單位的數據質量管理能力水平進行定性評價。

數據質量健康水平是從準確性、完整性、一致性、及時性、規范性等五個方面對基礎類數據和分析類數據進行定量考核。

②考評措施

考評措施主要以數據質量通報(包括正常通報與問題專項通報)的形式予以落實,考核范圍包括數據質量管理能力水平和數據質量健康水平兩個維度涉及的10個方面??己舜胧c單位負責人的績效考核掛鉤,相關單位負責人是數據質量工作考核的第一責任人。

(2)數據資產目錄編制方法

數據資產管理著力構建數據資產管理體系,通過數據資產管理可將數據規范管理和數據處理有機的融合,實現對具體資源數據的元數據描述,支持利用標準化的數據接口以及形式豐富圖表展示工具快速定制各類數據資產應用,配合數據資產的全面評估,實現數據資產的“三全”管理:全生命周期管理、全流程管理、全景式管理。

根據企業數據資產現狀調研,編制企業數據資產管理目錄,進行數據分類,甄別基礎數據,各部門共享數據類型,合理分類,通過資產目錄,可查詢、追溯、共享數據。

①數據資產目錄兩種編制方法

方式一:數據資產目錄編制方法-系統視角

以企業目前核心系統為主,數據資產目錄主主要參考系統功能模塊進行劃分,數據資產目錄按系統數據主題、數據實體定義信息、數據實體分類信息、數據相關方信息、技術信息構建數據資產目錄。

圖片

圖6數據資產目錄編制方法-系統視角

圖片

圖7數據資產目錄編制方法-系統視角(示例)

方式二、數據資產目錄編制方法-主題域視角

數據資產目錄,先構建全集團統一的數據域主題(通??砂凑諔鹇园l展、業務運營、管理支持抽象一級主題域主題),把企業現有各系統按數據驅動方式,劃分各數據主題域,之后在抽象數據實體定義信息、數據實體分類信息、數據相關方信息、技術信息構建數據資產目錄。

圖片

圖8數據資產目錄編制方法-主題域視角

圖片

圖9數據資產目錄編制方法-主題域視角(示例)

三價值評估
頂層架構規劃與設計業內還沒有成熟的價值評估方法。本文所涉及的評估方法,主要把央企、集團企業數據治理過程中常見的主要問題進行了匯總和提煉。

表2 頂層設計-數據治理域評估情況說明

核心域

評估問題描述

數據治理

數據管理工作相關的崗位、職責不清晰,數據管理組織結構有待完善。

數據治理

數據管理工作缺乏統一授權,各部門間責、權不清晰,跨部門間數據管理工作協調困難,存在相互推諉、相互沖突等情況,數據管理工作成效和業務價值難以體現。

數據治理

數據獻禮工作缺乏公司層面的統籌管理,各部門分頭開展數據管理工作,過于分散,無法開展統一的協同工作,難以形成合力;且很大程度上存在不少的重復工作,造成資源浪費。

數據治理

公司各部門都發布了與數據管理工作相關的制度,但尚未形成公司級數據管理制度體系;制度發布后,宣貫力度不強,且缺乏讓制度得以落實的措施和手段。

數據治理

部門間數據管理工作的溝通渠道不通暢,工作流程不清,效率低下,數據管理工作難以得到支持、認可和落實。

表3 頂層設計-數據標準域評估情況說明

核心域

評估問題描述

數據標準管理

缺乏企業級的通用數據標準??鐚I數據標準不統一,同一業務對象在不同專業、不同系統的數據不銜接、不匹配。

數據標準管理

實物編碼標準不統一,實物編碼在全生命周期管理的各階段形成項目編碼、物料編碼、設備編碼、資產編碼等信息,由于編碼標準不一,導致資產信息難以關聯匹配、跨專業數據共享應用困難等問題。

數據標準管理

主數據覆蓋不足,應用不到位,目前公司主數據覆蓋范圍不全,設備等數據未納入主數據管理;已確定的主數據未在各專業進行有效應用,不同系統分散存儲甚至重復存儲同一主數據情況仍然存在,部分主數據不一致、數據貫通困難。

數據標準管理

未構建企業級的業務術語極其變更與應用的管理流程、發布與檢索平臺,業務術語在不同的業務部門間存在不一致的情況,導致在不同業務部門間   接入數據時因理解不一致而出現數據接入的質量問題。

數據標準管理

沒有清晰定義核心數據的權威來源,也未圈定核心數據的范圍,一數多源現象較為普遍,無法保證一數一源,存在數據不一致的現象;

數據標準管理

部分數據標準沒有明確的歸口管理部門,未形成企業級的數據標準管理制度,無法知道數據標準工作的開展,推進各項數據標準的構建與管理;

數據標準管理

經營相關的分析指標分布在各業務支撐系統中,未明確歸口管理部門,無法形成統一的指標管理體系,無法規避指標的重復建設帶來的指標冗余與資源浪費、難以消除同名異義、同義異名指標給工作帶來的影響與困惑。

表4 頂層設計-數據質量域評估情況說明

核心域

評估問題描述

數據質量管理

目前形成有效的數據質量管控體系,無法指導各部門開展數據質量工作;

數據質量管理

數據中心僅在數據接入及時性方面開展了數據質量的監控工作,對業務間數據的一致性、完整性還未開展相應的質量監測工作,無法識別業務間數據的一致性問題,為跨業務域的數據分析埋下數據質量的隱患

數據質量管理

缺少統一的數據質量工具支撐,各業務部門在數據質量管理工作中沒有統一的數據質量工具可使用,數據質量管理分散,不利于形成統一的數據質量管理習慣與數據質量支持庫的沉淀

數據質量管理

數據質量共走偏重于對于數據生成后的清洗與效驗,缺乏數據生成過程中的業務規則驗證,導致數據在源頭就產生了質量問題

表5頂層設計-數據安全域評估情況說明

核心域

評估問題描述

數據安全管理

數據安全相關的制度條款以點狀方式分布在信息安全管理辦法中,未形成統一的、企業級的數據安全管理辦法,無法統一指導開展數據安全相關的工作;

數據安全管理

沒有明確數據安全等級劃分,業務部門無法確定對外共享的數據范圍,數據需求分析方無法獲取分析所需數據的支撐,影響跨業務數據分析工作的開展;

數據安全管理

未識別敏感數據的范圍及其企業內的分布情況、對敏感數據的變更以及流轉缺少監控能力,無法及時發現敏感數據變更與共享對企業帶來的潛在危險

數據安全管理

對外報送數據缺少明確企業級的數據安全的管理要求,可能導致潛在的數據安全風險

表6 頂層設計-數據架構域評估情況說明

核心域

評估問題描述

數據架構

公司對企業模型應用的力度有待提升。目前人才儲備比較單薄,難以支撐數據模型有效落實實施;

數據架構

數據中心仍然以源業務系統為條塊進行數據存儲,并未在企業級數據模型的指導對接入的各業務系統數據按照主題域進行整合,不利于數據資產的開發和利用;

數據架構

當前尚沒有公司級的、統一的數據資產目錄,各部門無法準確掌握當前數據資產的現狀;

數據架構

各業務部門之間以點對點的方式進行數據共享,存在多頭取數問題,沒有充分利用當前數據中心的數據資源和應用成果。

數據架構

公司對數據與流程、崗位、系統間的分布關系有待建立,需要進一步完善數據流轉、交互與集成的關系,并加強數據分布的集中維護、定期更新、策略備份等管理工作。

數據架構

目前公司數據集成共享缺乏統一的管理,數據源計入不受控,無法獲得數據集成關系,造成數量重復、資源浪費。

數據架構

元數據管理分散在各個業務系統數據模型中,缺少公司級統籌管理,需要針對元數據創建、存儲、整合、控制提供完整的支撐和管理。

結束語

數據資產頂層架構設計不僅僅是企業領導“一把手”工程,更是企業各級領導重點工程和系統工程,各級領導應對頂層設計項目高度重視,進而確保頂層設計能夠順利推行和落地。本文從做好數據調研需求分析、頂層架構總體設計、應用場景驗證三大階段提供為讀者提供一個整體的視角和方法論,可為企業編制頂層設計提供方法論層面的指導和實踐。

標簽:

責任編輯:liudan
在線客服
三级午夜理伦三级私人影院