数据中心的数据必须优化

日期: 2012-04-18 作者:但彬 来源:TechTarget中国

  数据是企业数据中心的重要资产,获取并维护高质量数据,对高效的IT和业务运营至关重要。面对复杂度不断增加的业务数据,如何才能全面保证数据质量?可以借助完备的Informatica数据质量平台,无论何时何地,您都可以在整个企业内访问,甄别、清洗、集成、交付可信的数据,并在第一时间找出并修正藏匿于任意位置、令您的公司动辄花费上百万的数据质量问题。

  Informatica的数据管理目标

  调查显示,信息的价值平均为企业价值的37%,这也让越来越多的企业更加重视数据中心的建设。但有许多因素会导致这些“资产”贬值,比如数据的冗余和重复导致信息的不可识别、不可信,信息时效性不强,精确度不够;结构或非结构数据使整合有困难;人员变动引发的影响;数据标准不统一,相关规范不完善造成对数据理解的不充分等等。

  为了充分实现数据资产的业务价值,您需要一个数据集成平台。Informatica既可以在数据架构层面提供信息传递、B2B数据交换、企业数据集成等一系列的基础架构解决方案,同时也可为行业提供数据质量管理、主数据管理和复杂事件处理等方案,来支撑数据中心实现可信、交互、权威的信息资产管理,达成企业的业务目标,这也是信息中心建设的一个重点。

  数据质量管理的整体框架

  数据质量管理在数据中心建设中是一个完整的生态链。数据质量会受到供应商、生产员工、工艺流程以及内部客户和外部一些系统的影响,同时,从应用和软件角度方面讲,数据提供者、软件开发集成、质量管控手段等也都会影响到企业数据质量的整体状况。从数据质量整体框架和方法论上讲,首先我们要了解数据现状、确定目标,然后要清楚用什么人,通过怎样的流程,采用什么样的技术来支撑和达成目标,所以,数据质量管理中,人、流程、技术三方面缺一不可。

  要实现数据质量提升,还必须要做到指标的可量化,通过量化指标来实现质量可控。从技术层面讲,要从以下六个角度去考量数据质量,也称为数据质量的矩阵,包括:完备性、符合性、一致性、准确性、唯一性以及完整性。

  构建数据质量处理流程

  数据质量处理的流程是怎样的呢?我们把数据质量的处理分为两大部分:一是面向数据质量的分析过程,二是针对分析结果进行增强的过程。先要识别和量化数据质量,然后定义数据质量和目标,接下来就要交给相关部门设计质量提升的流程,其后就是实现质量提升的流程,并交付高质量数据给业务人员使用。同时,在整个环境中,还需要有相关的一些监控和对比来评估是否达成了目标,决定是否需要进行新一轮的数据质量提升。这是一个周而复始、螺旋上升的过程。

  通过Informatica构建数据质量管理主要分为四大部分。首先是Analyze andProfiling,通过对现有数据的详细分析、描绘,来确定怎样进行处理和标准化;第二是StandardiseCleanse,标准化和清洗更容易让计算机识别,比如数据可以通过什么样的格式进行限制和约束,那些信息可以通过数据质点或者参考数据进行相关的标准化;第三是Match,标准化后要进行相关的数据匹配,解决数据重复性问题,保证数据的唯一性;第四是Consolidate,将重复的数据进行合并,最后运用到不同的系统当中。需要注意的是,在整个过程中我们都需要进行相关的监控。

数据中心的数据必须优化

  现在,很多企业的数据中心,不仅仅只是一个最单纯的面向数据仓库的数据存储中心,而是既能支持业务运营,又支持系统分析,还可进行系统间的整合。在数据中心建设中,数据质量需要从数据源端就开始进行治理,包括PowerCenter、Data Quality、MDM Hub、Informatica 9在内的Informatica的数据质量工具,可以将所有的业务逻辑和规则变成相关的一些服务,由各个业务前端、各个业务处理过程中,对数据处理服务进行调用,进行相关的数据校验验和数据清洗,保证数据产生过程中的数据质量,减少事后数据处理的难度和投入。

  总的来说,数据质量管理是一个综合的治理过程,不能通过简单的技术手段得意解决,需要从企业的高度加以重视,才能为数据中心建设提供高质量的数据保证。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

但彬
但彬

Informatica中国区首席产品顾问

相关推荐

  • 新电子数据管理规则:避免数字化破坏

    与日俱增的数字化企业蓝图了催生了大量信息管理问题。这些问题的回答必须保持服从管理和维护商业成功:什么是记录?什么是文件?

  • 数据如何提升业务?

    Michael Koukounas, 作为全球评分和分析方面的领导者,Equifax公司的高级副总裁,在最近举行的2013年Kodak Alaris全球研讨会上,就如何建立一个强大的数据分析战略,提供了一些参考。

  • CIO不妨换一种思路看待分层存储策略

    分层存储的想法非常古老,至少在大型机时代就已经这样。回顾由外围设备包围的“大铁”盒作为公司主要计算机的时代,分层存储包括一组按其性能特点、容量和成本目标而归类到一起的存储设备。

  • 中小企业大数据起步:从小数据到大数据

    为各类企业尤其是客户方的企业来说,大数据跟他们有什么关系,或者说作为企业方怎样去参与,这是企业方现在面临的最大问题。