穿透力才是影响力

如何有效提升数据管控能力

中国发展网 2023-02-16 14:57

1

导读:经过多年数据治理工作的实践积累,中翰认为,在数据治理整体架构中,提升企业对数据的管控能力始终是一个重点和难点。要打一场胜仗,如果连“管”好自己的士兵都做不到,更不必说练兵和用兵了。而要让企业内部的各类数据乖乖听从调遣,我们必须从多个方面施加影响:

一、统一数据标准

数据标准,是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。从企业视角来看,数据标准就是对数据的表达、格式及定义的一致约定,包括数据的业务属性(中文名称、业务定义、业务规则等)、技术属性(数据类型、数据格式等)、管理属性(数据定义者、数据管理者等)。

数据标准相关管理活动应该以业务为基础,规范业务对象在各信息系统中的统一定义和应用。同时,数据标准管理应该服务于业务,保证各系统对数据的统一理解、对数据定义和使用的一致性,提升企业在资源共享、业务协同、监管合规等各方面的能力。此外,建立统一的企业数据标准,还能够保障企业数据治理平台从数据录入的源头开始实现规范、标准,杜绝人为化的错误产生,从根本上保证了BI等工具数据分析的准确率,使企业的数据资产价值得到全面体现。

实现企业数据标准的统一,应该从企业的外部与内部、管理与业务等维度来考量。一方面,应结合外部国际标准、国家标准、行业标准和内部数据管理需求制定企业数据标准,兼顾外部监管要求和企业内部需求;另一方面,应结合管理侧的需求、期许和业务侧的基础、现状、规划来制定企业数据标准。为了确保该标准可落地操作,应协调企业业务部门全程参与标准制定工作。

此外,在制定数据标准时,还应注意该流程的可延续性,以便根据未来新出现的内外需求灵活进化调整。

二、提升数据质量

数据质量指的是一条数据显性的质量表现。要长久地解决企业数据质量问题,实现企业数据质量的持续优化,应通过审慎详尽的分析找出企业数据质量现存的问题,树立治理目标,搭建科学可持续的流程,并合理使用数据清洗/数据质量监测等工具。

数据质量分析起来似乎比较容易,但在数据治理中,我们不仅要考虑数据自身的质量问题,也要考虑不同系统(数据所处环境)间由于各种原因造成的质量问题,毕竟数据的存在不是独立性的。因此,分析数据的质量问题,需要结合现有的业务管理系统,从数据的一致性、完整性、合规性、冗余、及时性和有效性6个方面进行全面的分析。

2

理清企业数据质量现存问题后,应结合企业实际情况,评估数据使用者需求,将相应的标准和规范嵌入流程和工具,有效执行数据质量问题的监测和处理。

针对企业数据质量问题,中翰在十余年时间中反复实践和钻研,最终研发和完善了ODC(数据清洗平台)和DAM(数据保养平台)两大工具。

● 中翰ODC组件

数据清洗平台,数据管控平台的核心组成部分,用于历史数据的清洗,能够彻底解决历史数据的不一致、不完整、不合规、数据冗余等问题,最终通过ODC可以生成新老数据以及重复老数据的映射关系表,为BI提供分析参照。清洗工具有四种,包括对照清洗、相似清洗、映射清洗以及策略清洗,全面满足工业企业各种复杂数据清洗场景。

● 中翰DAM组件

数据保养平台数据管控平台的核心组成部分,也称数据评估监测平台,数据治理项目结束后可以实时地进行深层次数据质量的异动探知,解决数据治理后数据质量无法持续良好的难题。当然数据质量项目前也可以进行存量数据质量的分析。

数据新增后的日常质量评估、监测可通过大数据行为分析技术,实现数据质量问题的及时发现并处理问题数据,确保数据质量的可持续性,规避数据治理重蹈覆辙的风险。

三、维护数据安全

数据安全根据数据生命周期可以分为数据生产安全(指数据设计、录入、加工过程中的安全)、数据存储安全(数据存储过程中的安全)、数据交换安全、数据访问安全(访问数据过程中的安全)四部分。

维护企业数据安全,既是企业外部施加的合规性压力,也是企业内部保护数据资产的必然举措。企业应致力于对内部数据实施合理的分类分级和权限划分,在满足外部合规要求的前提下,搭建符合企业实际需求的数据安全体系,并配备相应的人员组织和制度流程。(山东中翰软件有限公司)

责编:殷晓旭