你所在的位置:首 页 >> 代码解读 >> 详细新闻页面


大数据创造价值的基础是XML、云计算、物联网

作者:zhirong1230 创建时间:2017-04-19 阅读次数:394



        最近几年,新技术在快速普及,而很多概念在专家还没有形成统一定义的时候,就快速被大众关注;大数据概念就是这样的概念,虽然非常普及,但不同人有不同的理解,这样在交流中反倒容易引起误解。今天想阐述一下大数据的概念

大数据不是传统的数据技术

        我了解大数据的概念大概是在2012年,那个时候刚刚参与物联网的媒体,在物联网概念之后,大数据概念一直是科技领域、政府部门、企业关注的热点。但是在那个时候,中国企业通过IT技术利用数据的经验远远落后于先进国家的应用。

        技术领先的国家,在大数据概念之前,已经有了丰富的利用数据的经验,比如数据挖掘技术、BI、ODS等技术在现今国家已经有了非常丰富的案例。而早期利用数据,因为数据获取成本高,只能是对精选的数据进行处理,这个时候统计学的数据原理、以及分类聚合、寻找关联性等技术是数据的主要技术。

        而中国企业在2012年时,在应用数据方面落后于发达国家,仅有个别行业、个别企业利用了信息系统的数据创造价值。

        而当大数据概念进入中国之后,很多中国企业分不清楚大数据与传统数据处理之间的关系,很多人把利用数据的工作都叫做大数据,导致了概念的混淆。甚至一些大学教授,ODS功能叫做大数据是根本错误的。

大数据创造价值的基础是XML、云计算、物联网

大数据与传统的数据技术的差别

        1、数据规模大:传统数据技术主要是利用现有存在关系性数据库中的数据,对这些数据进行分析、处理,找到一些关联,并利用数据关联性创造价值。这些数据的规模相对较小,可以利用数据库的分析工具处理。而大数据的数据量非常大,不可能利用数据库分析工具分析。

        2、非结构化数据:传统数据主要在关系性数据库中分析,而大数据可以处理图像、声音、文件等非结构化数据。

        3、处理方式不同:因为数据规模大、非结构化数据这两方面因素,导致大数据在分析时不能取全部数据做分析。大数据分析时如何选取数据?这就需要根据一些标签来抽取数据。所以大数据处理过程中,比传统数据增加了一个过程Stream。就是在写入数据的时候,在数据上打一个标签,之后在利用大数据的时候,根据标签抽取数据。这个过程就类似于寻找图书:如果你在你个人书柜里,寻找一本书是很容易的,所以你买了书,可以直接放到书柜上,不用做任何处理;而如果图书馆买了书,如果不做任何处理的话,你是很难找到一本书的,所以图书馆在新书入库的时候,首先会对每本书打上标签,而这个打标签的过程,就是类似于Stream的工作。

XML技术是大数据Stream的基础

        在探索大数据的技术基础的时候,很多人都容易忽视XML技术。

        XML是eXtensible Markup Language的英文缩写,将文件加上可以扩展(可以自定义)的标签的语言。

        XML是在2000年左右非常热门的技术,其快速发展促进了很多技术的进步:html5技术发展,通过SOA技术实现跨平台功能调用,文档格式的统一等等。

大数据创造价值的基础是XML、云计算、物联网

        使用XML标记的XSLT语言,是扩展样式表转换语言,可以将XML文件转化成任何样式的文本。

        随着XML技术的发展,很多文件都是用XML格式存储,比如Word文档等。打上XML标签的数据可以非常容易的通过XSLT抽取出来。

        XML技术可以方便的为数据打上标签,并能快速通过标签抽取数据,一方面可以在超越关系数据库范围之外的更大范围处理数据;另外可以支持非结构化数据的处理。所以XML技术是大数据发展的最基础的技术。

云计算技术为大数据提供高性价比的计算和存储能力

        数据可以创造价值,但大数据处理需要强大的计算和存储能力。而在早期,这么强大的计算和存储能力需要在大型机上实现。大型机价格昂贵,早期可以使用数据创造价值的企业都是非常富有的企业,比如电信运营商、银行类的企业。

大数据创造价值的基础是XML、云计算、物联网

        早期国内数据处理能力强的企业都是银行、电信运营商的供应商。

        而云计算技术的发展,可以让大量的价格便宜的PC机汇聚起来,形成类似于大型机的计算和存储能力,而成本又非常低。这个时候数据分析的成本就可以被更多的企业所承担,从而形成对数据分析需求的一个爆发。        

        云计算对计算和存储能力的可扩展性,对数据的分布式处理方式,促发了大数据概念的诞生。

物联网为大数据提供丰富的数据来源

        早期的数据处理,其数据来源主要是通过手工输入、在手工输入数据通过计算机处理之后形成的数据;这样的数据还是有限的。

        而物联网技术的发展,更多的传感设备可以自动采集数据,并能够通过通讯技术、云计算技术汇聚到一个平台上,从而极大的丰富了数据来源。

        物联网技术让数据可以成几何级数的增长,为大数据提供了丰富的数据来源,从而促发了对数据分析技术的需求,丰富了大数据应用。

        而物联网最终获得价值,也是通过大数据积累到一定量之后,形成智慧,创造价值的。


        未来人工智能、物联网、智能制造创造价值,都离不开大数据的价值。




    关键词(keywords):大数据创造价值的基础是XML、云计算、物联网

分享到: 更多


前一篇: 源码分析之ArrayList            后一篇:虚拟世界里,“万园之园”辉煌重现

phpchina   php爱好者   php100    中国网管联盟   LAMP兄弟连   河北联合大学   胜芳趣团网   rss 联系我们 问题反馈
版权所有@:ABCMS新闻发布系统!
建议使用ie6、ie8和 ff 浏览器进行浏览 | 建议分辨率:1024x768
地址:唐山市路北区高新技术产业园区龙华道128号 | 邮编:63000| 邮箱:zhirong1230@yeah.net