建数据层应抓住哪些方面? 数据内容 数据规范 数据管理机制

by admin on 2020年3月28日

2015-06-23

转载本文需注明出处:微信公众号EAWorld,违者必究。

一些从中小型向大型企业转变的成长型企业,随着其企业规模的扩大,企业从关注业务运作到向管理要效益,IT成为其提升企业整体管理水平的首要选择。

随着环保业务深入开展,成都市环境保护局积累了大量环境数据,这些数据具有重要的社会、经济价值,对环保决策分析有着重要作用。利用信息化手段建立环境数据中心,实现对环境数据的统一收集存储、统一编码、统一管理,为成都市实现数据共享、进行数据分析打下基础。

通过对多家企业进行调研发现,行业领先企业在IT建设方面普遍起步较早,通过管理信息化变革有力地推动了企业的发展,如华为在1997年实施Oracle大型ERP,其后经过了IT战略规划,集成产品开发(IPD)及大型PDM系统的建设等,目前已形成世界级的IT基础架构,并建立了完整的IT管理体系,有力支撑了公司业务运作和国际化的发展。随着信息时代的来临,IT已经成为企业的一种竞争优势。

数据层是数据中心的核心部分,包含数据内容、数据规范、数据管理机制3个方面的内容。笔者以成都市数据中心的建设为例,探讨数据层的建设以及数据管理机制的建设。

在中国制造2025战略决策的指引下,制造业都在智能制造领域探索自身的发展路径,希望能够跟上数据发展的浪潮,以数据驱动业务快速提升企业竞争力。那么面对企业海量数据,如何找到数据管理的切入点呢?分析近些年我所接触到的制造业数据项目中,制造业在数据管理方面起步较晚,企业自身已经意识到数据管理的重要性,并根据自身发展情况不同而选择适合自己的建设目标,大多数企业纷纷选择主数据管理来入手。

通过对处于不同发展阶段企业的IT现状进行研究,我们发现,企业IT建设和发展是有规律的,在不同发展阶段呈现不同的特征。本文借鉴软件开发过程中的能力成熟度模型SW-CMM分析方法,通过对IT建设、IT治理和IT应用水平三方面指标的评估,将企业IT能力划分为五个成熟阶段:初始级、零散建设级、集成建设级、深化应用级、持续优化级。

■数据内容建设要分层

制造业主数据有着鲜明的特点,首先主数据分布在设计、工艺、生产过程中的多个业务部门中、在众多异构系统中使用、主数据本身具备多学科的特点,并且在生产制造的衔接过程中与主数据存在着紧密的联系。通过本文,我将为大家解答为什么制造业选择从主数据管理作为企业数据管理的切入点?制造业主数据管理哪些内容?主数据管理需要着重关注哪些要点?等主数据管理核心问题。

图片 1

当前数据中心建设普遍存在的问题是对环境数据的分析不够深入,往往只是将业务系统的数据简单集中到一起,不能解决数据管理、使用低效的问题。

目录:

如何评估成熟度?本文从以下三个纬度对企业IT能力成熟度进行评估。

数据分层的原则,为环境数据中心数据层建设提供思路。数据分层是指根据数据使用范围将环境数据分为公共数据、业务交互数据和业务数据,数据中心建设按照数据层由下向上依次进行。

一、制造业适合以主数据入手构建企业数据管理基础

IT建设包括了应用系统、数据和基础设施的建设。其中应用系统指所有服务于企业业务运作和管理决策的信息系统软件,如ERP、PDM、BI,数据方面重点关注数据编码标准、数据维护及管理机制,基础设施建设包括了支撑应用系统运行的网络、服务器及操作系统环境、安全管理和系统管理软件的部署等。

环境信息公共数据是与环境相关的客观信息,具有普遍性、稳定性,通常与具体环保业务无关,可被多个业务使用。通过对国家发布的环境数据规范标准以及对成都现有环保业务数据的梳理,成都市环境公共数据可划分环境基础公共数据、测量数据和业务公共数据。

二、解决主数据管理的难题,需要全面的系统能力

IT治理包括了IT定位、组织、流程和绩效。其中IT定位分析IT和业务之间的关系,以及IT产生的业务价值,组织包括IT部门组织结构设计和对人员的技能要求,流程包括IT规划、需求管理、项目管理、运维管理及安全管理等流程体系和管理制度的建立和推行,绩效指衡量IT部门业绩的考核指标等。

业务交互数据是为完成环保业务需要从其他部门获取的数据,具有共享的特点,通常与业务相关的业务部门有关。当前环保各业务间数据交互为网状结构,即业务部门间直接进行数据交换。这样的交互机制带来管理效率低、数据不统一、重复建设等诸多问题。通过建立环境数据中心,将网状业务数据交互模式转变为星形结构模式,即业务部门间数据交换统一通过数据中心完成。

三、制造业主数据项目实施相关内容

IT应用衡量参与IT应用的人员及主要的需求。

业务数据是环保业务通过专有手段获取的数据,具有专有性、特殊性,通常只在本业务部门内部使用,按照建设原则应该放在数据中心最后进行建设。

四、总结

IT建设、治理和应用这三方面是相辅相成的,在IT的发展过程中,需要同步进行提升,重建设轻治理,或者重技术轻应用都会使IT在企业的应用价值大打折扣。因此,只有在三个方面同时满足特征要求,才能开始成熟度级别评估。

■数据规范的三原则

一、制造业适合以主数据入手

1、初始级:基本空白

环境数据规范是数据中心的建设基础,它定义了数据中心的所有数据在集成、存储、加工和应用等各阶段所应有的特征。数据规范包含数据编码、元数据、数据命名、基础数据元等标准规范。

构建企业数据管理基础

处于这个级别的企业,管理信息化基本空白,只有邮件、Office办公系统,个别业务部门使用单机版业务处理软件,如财务管理软件等,实现了从手工向电脑化的过渡。企业内部没有专门从事IT的人员,只有少数兼职进行电脑硬件维护。

成都市环境数据规范建设采用三原则,第一,标准化原则。成都市环境数据规范采用国家、省标准,以实现国家—省—市数据共享。对国家、省标准规范之外的数据,参照行业规范和成都市环境数据内容制定标准。第二,实用性原则。数据规范使数据在系统中易于使用、存储以及识别。第三,可扩充性原则。数据中心后续增加的数据应能有效纳入现有的体系。

  • 制造业业务数据发展现状

处于初始级的企业一般是中小型企业,企业领导层对管理信息化的价值认识不足,或者在现有企业规模下,信息化建设的动力不足。处于初始级的企业,其信息化导入可考虑以最快见效的简单业务系统或者办公自动化系统作为切入点,让企业员工加深对信息化价值的理解并建立协同办公的习惯。

由于数据中心包含大量的公共数据、业务交互数据,这些数据必须经过明确的分类编码,才能实现统一管理和共享、避免重复建设。成都市通过对现有环境数据的梳理,制定相关编码规范集,包括公共数据编码规范、环境业务交互数据编码规范等。

2、零散建设级:小有基础

■数据管理机制建设

企业业务发展的的过程中,紧密相连的业务与独立建设的业务系统之间形成了明显的矛盾。在各部门、各业务之间线上沟通时,往往因为编码不统一,名称不一致,业务范围不同等因素,造成业务沟通不畅,数据无法识别、沟通时间较长,甚至增加集成成本,影响业务效率。通过对企业管理问题,业务问题的分析,我们发现企业主数据在企业运营环节中起到了关键的作用,一物一码、统一管理、统一分发、统一应用是企业主数据建设的趋势,顺应业务发展的需求,同时为企业数据中心建设,大数据分析应用等建立数据基础。

企业建立了局部的应用系统,将一些数据量大、核算复杂、重复性高的局部业务电算化,此时的IT组织隶属于某一业务部门,如公司的行政部门,或者建立应用系统的业务部门。

数据中心环境信息数据量庞大、涉及数据内容复杂、数据分布广泛、用户角色种类多,其建设周期长、投入大、安全性要求高,不仅涉及到技术层面,还与各业务部门对数据的管理要求、国家政策等相关,通过建立一系列建设和运维机制,保障建设有序推进、系统安全运行。

图片 2

处于零散建设级的企业对IT价值有一定认识,但是系统使用者多限于业务操作人员,系统使用见效快,用户满意度较高,但在管理层面能够带来的价值有限;同时由于缺乏从企业全局出发进行整体规划的能力,可能导致信息化重复建设。对于零散建设级的企业信息化,需要从管理加IT的角度进行正确的引导和整体的IT战略规划。

第一,要注意数据建设时序。公共数据和业务交互数据相对业务数据较稳定,在第一阶段建设,其中公共数据更具有独立性和稳定性,应优先建设;业务数据在第一阶段建设完成后,根据实际情况分批次纳入数据中心管理,放在第二阶段建设。

  • 选择以主数据管理为切入点的好处

与其他几个阶段不同,零散建设级不是每个企业必经的阶段,如果企业能够更早认识到IT和业务发展之间的关系,进行整体的IT规划,可以直接进入第三级,以避免信息化过程中走弯路。

第二,要注重数据建设空间。公共数据和交互数据属于共享数据,应集中管理,物理上统一放在数据中心;业务数据是分布数据,由各业务部门进行管理,物理上可放在业务部门或数据中心。

主数据管理更像是企业对自我审视、自我剖析的一个过程,可以说他是一个从上至下的推动过程,它所涉及的业务范围广、系统影响大、协调要求高。企业一旦展开主数据管理,更像是打开了潘多拉魔盒,往日看似行云流水的业务管理过程其实是暗流涌动,尤其是在各部门之间的数据交换环节,纸质文件线下传递、频繁的电话沟通以及所谓的“使用习惯”、“不成文的规定”等,严重影响企业数据发展。以主数据入手即可完善数据管控的手段,以基础数据为主,步步为营逐步实现企业数据管理环境构建。

3、集成建设级:建立平台

第三,要加强对数据进行运维管理。建立从数据产生到销毁的全过程运维机制,提高数据的安全性、有效性及易用性。原则上,公共数据由数据中心统一管理,设置专门的数据管理人员进行数据维护;交互数据由业务部门根据数据中心数据管理办法进行管理或由数据中心代管,业务数据由业务部门人员管理。

图片 3

集成建设级的主要标志,是企业在进行整体的IT规划后开始进行企业的核心应用系统全面建设,如ERP、跨部门的协作型PDM系统、企业范围的协同办公系统等。这个阶段一般需要一至两年的时间,是企业信息化的转型阶段。

数据使用环节最容易出现问题。数据发布部门要根据业务管理需求,制定数据的全过程管理,主要有对数据范围、用户范围、使用权限、使用期限、修改及删除权限等的设定,使数据使用合法、合理、安全、简易。

  • 制造业主数据管理面临的挑战

处于集成建设级的企业在信息系统实施之前,必须建立统一的数据定义和编码规范。公司范围内大型的信息系统实施需要关注管理提升和管控要求,因此需要管理层和业务部门广泛的参与,IT建设同时结合业务流程变革,此时IT部门成为独立的职能部门,同时承担业务流程变革和IT建设两方面的工作。IT部门内部组织一般设立规划部,其余以应用系统或者业务领域进行划分,以项目方式运作,如ERP组,OA组。同时,IT资源不足是此阶段面临的主要问题。

第四,加强环境数据中心安全管理机制。成都市主要通过6方面来保障成都市环境数据中心的数据安全。


在IT流程方面,需要逐步规范需求受理、IT项目管理体系,对IT项目进度、质量等进行有效管理和风险控制。同时,应保留项目管理中的重要经验和知识,建立统一的技术平台,以形成可积累的IT知识库。

一是建立信息安全等级保护管理机制,每年对系统进行等级保护测评与自查。二是对数据操作进行管理,实行审批机制。三是开展权限管理,提高数据安全性。四是使用密码管理,提高用户数据访问安全性。五是将数据备份,建立数据安全备份管理机制。六是建立日志管理机制,实现对系统的全面监测与故障预警,保障系统安全。

图片 4

由于大型系统的建设是一个比较长的周期,可能分阶段实施,因此除了重点关注项目管理,还需要逐步引入IT运维管理体系,如ITIL等,建立备份恢复管理、变更管理、配置管理等流程和规范,以保障IT系统的安全和可恢复。

  • 责任部门不清晰:

4、深化应用级:辅助决策

主数据的共享应用的特性决定了他将在各部门都有应用,只是侧重点不同,比如人员主数据,在人力资源部管理人事信息,信息中心主管账号信息,财务部管理工资信息等等,而且各部门管理范围都不一样,维护的属性不统一等,各部门责任界定不清晰。

应用系统实施上线后需在企业全面推广以深化应用,此阶段企业重点关注现有应用如何出效果,如何体现IT的业务价值。随着业务运作对IT系统的依赖,业务部门会提出更多的IT应用需求,需要对已有系统进行二次开发或者配置优化,业务复杂度高的企业还面临多系统间集成的问题。在管理层面,需要对已有系统数据进行提取,以进行经营分析和决策支持。

  • 数据定义不明确:

应用系统建成后,运维保障和安全机制逐步变得重要。在管理流程方面,由于应用系统复杂度的增加,企业需要建立更严格的需求受理流程,对应用需求的业务价值进行评估,对业务价值不高的需求进行过滤,以减少对已有系统的影响,同时更有效地利用IT资源。在IT运维方面,企业需要建立IT服务水平协议(SLA),以对IT提供的服务水平进行约定。此外,企业还需要规范和细化IT服务流程,保证对客户问题的及时响应和处理。

数据定义包含数据属性定义,数据标准规范,编码规范等,由于应用习惯不同,数据定义在部门之间也不明确,比如各部门同一类主数据编码规则不统一,数据大小写不一致(如规格型号,有大小写之分),名称不统一(如同名时容易叫张超,张超1)等。

5、持续优化级:不断改进

  • 维护流程不统一:

进入持续优化级的企业仍需根据业务变革和新技术对IT建设进行规划,对应用系统进行升级和优化,以更好地支持业务。在数据方面,企业应建立完整的数据架构;在基础设施方面,企业需根据系统的性能降低或容量增加,不断对网络、服务器等进行调整扩容。

企业没有对主数据管理进行统一规划,导致各部门跟据业务需求各自进行主数据的分散维护,导致维护流程不统一。直接影响主数据的数据质量和数据唯一性等。

当IT能够持续驱动业务发展,成为企业的核心竞争优势时,在IT治理方面,企业应该更多地以IT服务为核心。IT组织演变成为利润中心以提供对外服务,或者IT部门更多地趋向于业务流程变革和管理,将更多IT技术及运维方面的工作标准化后进行外包。在IT管理流程方面,企业也需建立IT审计流程,以进行持续改进和风险控制。

  • 数据共享不及时:

我国企业大部分处于零散建设级或者向集成建设级过渡的阶段,企业IT能力水平处于何种成熟阶段,与企业的规模大小、IT投资多少、企业人员的IT应用基础有关。想要实现IT能力成熟度提升,还有很长的路要走。

缺少统一管理的主数据,无法实现统一的数据分发与共享,往往是需求提出后才进行数据的维护,数据维护工作量大,耗时长,从长远来看效果不理想,甚至对业务准确性、及时性等产生影响。

  • 数据状态不可控:

主数据作为企业数据标准的一部分,是企业业务的基础。主数据的新增、变更、删除等,对企业采购、设计、生产、库存等各个环节都会产生较大的影响,主数据状态的失控,让企业无法及时、准确的统计成本、工期、库存等信息,对企业发展产生直接的阻碍。


  • 从管理和技术两个角度,解决企业主数据管理的问题

从技术和管理两个角度考虑,解决企业主数据管理所存在的问题,即:完善的产品能力结合企业合理的数据管理制度。完善的产品能力包含主数据全方位的管理能力,如统一编码、数据清洗、质量管理等。管理能力体现在企业主数据标准的贯彻和落实。


图片 5


二、解决主数据管理的难题,

需要全面的系统能力

  • 构造企业资源目录,提供快速查询和使用数据的能力

首先介绍的是资源目录管理,在制造企业中我们常见如组织机构、物料分类等层级分明的数据,资源目录可以对此类数据进行层级划分,同时借助资源目录管理,可实现快速查询、数据建模、质量管理、数据集成等数据管理、数据应用的能力。以层次化结构协助企业领导、业务专责、或第三方厂商快速定位数据,实现数据应用的目标。

图片 6

  • 创建主数据模型,并实现模型的自助化管理

在资源目录的基础上,我们需要创建主数据模型来实现主数据管理。主数据模型的创建依赖于企业主数据模型标准的制定。在主数据模型标准的基础上,从PDM、ERP等多种业务系统中,主数据管理平台通过自动或手动进行数据模型采集,并进行数据模型的标准化后,在主数据库中实现模型创建。通过主数据模型的编码字段实现编码匹配,在数据模型基础上设置数据分发模板实现数据定制化分发,通过数据模型之间的采集、分发等关联关系实现血缘分析等数据应用。数据模型管理实现自助化建模、自动化分析、自助化应用,为用户提供零编码的主数据扩展应用能力。

图片 7

  • 管理从主数据产生到归档的全生命周期

由于主数据是企业的核心数据资产,主数据管理系统需要实现主数据产生到主数据归档的全生命周期管理,同时由于主数据面对下游多业务系统的数据应用,对主数据的状态管控尤其严格。从数据获取,到应用流程管理,到数据归档每个环节都对应多种数据状态管控。

图片 8

  • 统一企业数据编码,对外提供编码接口服务

一物一码是主数据的核心内容,主数据系统将数据编码进行划分,如图物料编码,我们划分为多级分类码加四位流水码。通过编码引擎对编码字典的查询,编码规则的匹配与组合等步骤,最终实现主数据系统内部统一数据编码。同时对外提供编码接口服务,自动实现编码的查询,自动编码等。

图片 9

  • 将新增数据和历史数据区别对待,实现主数据质量监控

主数据质量管理对于新增数据与历史数据需要区别对待,新增的数据在事前、事中、事后同步进行数据质量监控,保证数据获取、数据生效前、数据生效后全方位的数据质量检核。而历史数据由于种种不规范使用的历史原因无法实现一次性数据标准化,数据质量通过循环的数据质量检核发现质量问题。主数据质量问题通过质量预警、质量分析、质量管理流程等实现数据质量提升。

图片 10

  • 通过采集与清洗等技术手段,提供多重数据质量保证

企业主数据的数据问题普遍存在,通常利用技术手段能够弥补,但针对某些专业领域的数据问题还需要结合业务专家的指导手动清洗,如数据不完整,数据不一致,数据不规范等。主数据管理系统提供数据采集与清洗能力,通过Primeton
DI、EXCEL等多种不同的工具,实现自动或手动或混合的数据采集与清洗能力。结合数据质量检核,为客户提供多重数据质量保证。

图片 11

  • 通过流程和权限管理,实现全面的数据管控

为适应企业多种主数据维护场景,主数据管理平台提供图形化的流程管理,可实现快速的流程开发与部署。同时为满足保密级别较高的某些军工制造业,主数据管理平台提供分级权限管理,三员管理,密级管控等机制,符合保密要求。

图片 12

三、制造业主数据项目实施相关内容

  • 尽快建设主数据项目,抢抓有利时机

主数据项目什么时候建设最为合适呢?那么就要谈到主数据项目的本质,主数据项目是企业基础数据标准化的一次革命。它将会对整个企业业务数据的主数据部分、业务系统的主数据使用产生影响。所以我建议主数据项目越早建设越好,主要考虑的是越早建设对业务数据影响越小,对业务系统的集成成本、改造成本越低。企业标准化之路走得越顺畅。

图片 13

  • 根据自身情况,确定主数据管理的范围

图片 14


主数据在企业管理中是相对与业务数据而言的,具有以下特点:

1、业务活动中相对静止不变。

2、在企业内跨越多个业务部门被重复使用的高价值数据。

3、是企业核心数据实体。

以某制造单位为例,该单位主数据管理范围主要包含设计资源,如标准件、元器件、原材料等。制造资源,如工具工装、设备仪器、计量器具等。经营管理类,如客户、供应商、项目、产品等。还有部分如人员、组织机构等内容不再赘述。

那么每一种主数据在不同的学科范围内使用的属性都不一样。这里列举物料相关案例,其属性包含基本属性、设计属性、工艺属性、生产属性、财务属性等,属性管理范围应多考虑业务部门的意见,并结合国家或集团标准规范。

图片 15

  • 从三方面入手,掌握主数据项目建设要点

成功的主数据项目建设主要从三方面重点考虑:第一摸清企业主数据现状,其主要目的是对主数据范围、集成范围、项目工作量、项目风险等提前进行评估与应对。第二建立主数据管理组织架构,主数据项目的成功需要企业领导、业务人员的多方参与,建立组织架构及沟通机制,保证客户参与度,保障项目质量。第三制定合理的实施计划,主要从客户角度出发,主数据项目不是一蹴而就的,应用需求急迫的主数据内容优先建设,对于主数据标准建设、主数据集成等都很有帮助,同时提升客户满意度。


图片 16

四、总结

**最后总结一下,在制造业大数据迅猛发展的当下,主数据管理是制造业数据管理的必经之路,企业在主数据管理方面需要从技术能力、管理能力等多方面共同考虑,及早的规划企业主数据项目,优化企业数据结构,建设企业数据环境,借助大数据东风,迎接智能制造的美好未来。

关于作者

王诗岸

现任普元大数据产品部管理部技术咨询顾问。具有多年制造业主数据管理项目经验。参与普元元数据、主数据、数据集成平台的规划与设计。曾经主导并参与航天三江集团、广州时代地产、西安光学设计研究所、兵器206研究所、哈尔滨建成集团、甘肃电力等企业主数据与数据集成项目,为国网、军工、政府、能源等多个企业的主数据、数据交换、数据治理项目进行咨询与规划。

图片 17

关于EAWorld

微服务,DevOps,元数据,企业架构原创技术分享,EAii(Enterprise Architecture Innovation Institute)企业架构创新研究院旗下官方微信公众号。

微信号:eaworld,长按二维码关注

图片 18

8月-9月,PWorld系列技术趴还将继续上演。目前,10月28日将在北京举行PWorld
MeetUP“移动平台新技术发展新趋势及企业实践”已启动报名,戳“阅读原文”可直达报名页面,并了解更多详情~

图片 19

阅读原文:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图