可能各大IT新闻都会提到“数据中心”, 看起来是很庞大的家迅搭纯伙,IT巨头Google、MS等耗资巨头投入到数据中心建设中,那么什么是数据中心? 从字面意思,非IT人可能人认为是放数据的计算机中心,其实这只是表面,数据中心的建设在不同情况,它的作用是不完全一样的。
在数据处理中,分为两大类。一是事务处理,二是数据查询和分析。数据处理或者分析,一般是在数据库中处理,而数据查询分为两大类,一是数据库查询,二是搜索技术。而随着各种技术的互相作用,搜索技术和数据分析也越来越有“合作”的意思。
搜索技术还处于“亩咐模糊查询”阶段,也就是从数亿计互联网信息中模糊搜索出想要的信息,但由于是模糊查询,所以绝大多数信息都不是想要的,于是几大巨头都在把数据挖掘技术容入搜索技术中,缩小客户搜索到准确信息的时间。
但由于搜索技术其“模糊特点”,在企业内部的信息化中,暂时还不适合,因为企业查询的需要是准确的信息,老板可没那么多时间一个个排除。于是企业内部建设的数据中心基本是数据仓库,为准确查询和分析服务。
那么何为数据仓库?前面提到的企业/单位投资信息化,他们不停上信息化系统,比如ERP、CRM、Call Center、OA或者计费等。但上了这些系统后,会产生大量数据,客户枝族首先的需求是查询和报表。但很多报表和查询是需要跨系统的,而且复杂查询和报表很耗 资源,可能影响各个系统的正常运行。于是上世纪80年代人们专门建设一个数据库系统,把各个系统的数据拿到那里进行准确的查询和报表制作,这样既方便又准备,而 且不会影响业务系统。那么从这点说,数据仓库是全数据的集合。
而后来查询和报表已不能满足人们的需求了,他们想知道这些数据里到底有哪些有价值的信息,会给决策者哪些有用的帮助。于是上世纪90年代人们把OLAP和数据挖掘 加入数据仓库应用之中。为了更好地分析,人们从数据仓库里还会按照业务需要提出N多数据集市为查询、分析服务,这样会更方便,因为不同部门的需求不同,业务定义也可能不同,所以把数据仓库的信息分到各个数据集市是很有必要的。
但有一点要申明,数据仓库和OLAP、数据挖掘以及查询、报表没有必然关系,他们是不同的逻辑事物,但相互作用密切。正如前面提到,数据挖掘已经结合搜索技术,更方便地给人们提供互联网搜索服务。而数据挖掘在数据仓库的作用,就是更好地分析,比如著名的沃尔玛尿布和啤酒的案例就是数据挖掘的结果,它把数据中很多潜罪责找出一定联系的几率,这样来帮助企业决策。
那么数据中心是何物?如果是针对具体的企业或者单位,其实就是业务系统数据存储技术+数据仓库,当然有的单位干脆只有数据仓库,比如科研单位,他们又不作 业务处理,只有分析需求。但如果是互联网公司,就和普通企业和单位的数据中心不同,因为互联网的信息实在庞大,不可能包罗所有信息到数据库,也处理不了那 么多信息,所以他们的数据中心的其中作用就是加强互联网数据的处理速度和效果;另一个作用也是数据仓库,但他们的数据仓库就不会包含所有互联网信息,而是企业本身关心的信息,当然数据量也非常大,一般十TB以上。
中国信息化其实还在初级阶段,可能很多人认为有了PC,可以上网,有很多软件用,信息化程度就上去了?其实不然。信息化的高级阶段应该包括准确快速处理、查询、分析数据等。当前美国几乎所有国家级政府部门、科研机构都配有数据仓库系统,而中国很多部门的普通业务系统还不够完善,更不要说建设数据仓库了。
其实最有意义的一个项目,应该是中国农业部数据仓库的建设。数据中心/数据仓库建设后,全国各乡镇级以上都可以作为其用户,查询具体信息和分析信息,还会出现农作物卖不出去,老百姓买不起的现象吗?不会!因为各个地方适合种什么,当年各种作物的市场需求等都看在眼里。然而信息化不是万能的,还要 有相应的配套措施,比如农业技术指导、专门的采购、物流、销售公司等。