一、前言
近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、射频识别技术(RFID)、无线传感器每分每秒都在产生着成千上亿的数据,数以亿计用户的互联网服务时时刻刻都在产生巨量的数据,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,大数据(big data)的概念应运而生,并开始演化成为目前IT行业最火热的名词。发电企业近几年信息化建设不断深入,随着各大业务系统的建设带来的业务数据快速增长,企业的应用系统发展到一定阶段,各类业务数据的累积必将推进企业进入大数据时代。作为公司的信息部门,承担着辅助决策的重要职责,在对大数据作为行业和技术的发展方向给予投入的同时,我们必须对大数据有全面、具体的认识,才能充分发挥它的技术价值。大数据时代的信息化建设需要站在一个战略性的高度,并不在于掌握了如何巨量的数据,而是需要对这些数据和信息进行行之有效的处理,,而是关注如何获取辅助决策时最需要的数据。
二、大数据的概念目前, 对于大数据的概念, 业界尚无统一定义, 与传统基于事务的数据仓库系统相比,大数据在智能分析的基础上进行更大容量数据和非结构数据的处理。一般认为,大数据是指大小超出了常用的软件工具在运行时间内可以承受的收集,管理和处理数据能力的数据集,数据量通常在10TB(1TB=1024GB,为1万亿字节)以上;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。随着对大数据研究的进一步深入,大数据不仅指数据本身的规模,也包括数据采集工具、数据存储平台、数据分析系统和数据衍生价值等要素。
各个领域特别是信息领域的数据量的加速增长,是“大数据”概念产生的基础。目前全球每年产生的数据量是ZB级,到2015年会达到35个ZB。这表明,海量存储已经达到了ZB级(1ZB=1000 PB,1PB=1000TB,1TB=1000GB,1GB=1000MB),对于硬件系统已经超出了传统的设计概念。
各种研究表明,“大数据”是与智能制造、无线网络革命并行的又一次颠覆性的技术变革。“大数据”技术由四种技术构成:它们包括:分析技术、存储数据库、NoSQL数据库、分布式计算技术。
最早将大数据用于IT环境的是知名咨询公司麦肯锡,麦肯锡在研究报告中指出,如果说云计算为数据资产提供了保管、访问的场所和渠道,那么如何盘活数据资产,使其为国家治理,企业决策乃至个人生活服务,则是大数据的问题,也是云计算内在的灵魂和必然的升级方向。
三、大数据的特征国际数据公司(IDC)认为,某项技术要想成为“大数据”技术,必须满足IBM所描述的三个 “V”:多样性(variety)、大容量(volume)和时效性高(velocity)。
具体来说,大数据其主要特点有以下几点,可以概括为4V:
(1) Variety,多样性。多样性是指数据应包含结构化的和非结构化的数据,当前大数据不仅仅是数据量的井喷性增长,而且还包含着数据类型的多样化发展。以往数据大都以二维结构呈现,但随着互联网、多媒体等技术的快速发展和普及,现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。
(2) Volume,大容量。大容量是指聚合在一起供分析的数据量必须是非常庞大的。大数据时代,各种传感器、移动设备、智能终端和网络社会等无时不刻都在产生数据,数量级别已经突破TB,发展至PB乃至ZB,百度资料表明,其新首页导航每天需要提供的数据超过1。5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。
(3) Velocity,时效性高。时效性高则是指数据处理的速度必须很快。基于云计算的Hadoop大数据框架,利用集群的威力高速运算和存储,实现了一个分布式运行系统,以流的形式提供高传输率来访问数据,适应了大数据的应用程序。而且,数据挖掘、语义引擎、可视化分析等技术的发展,可从海量的数据中深度解析,提取信息,掌控数据增值的“加速器”。
(4) Value,价值密度低。价值是大数据的终极目的。大数据本身是一个“金矿产”,可以从大数据的融合中获得意想不到的有价值的信息。特别是激烈竞争的商业领域,数据正成为企业的新型资产,追求数据最大价值化。同时,大数据价值也存在密度低的特性,需要对海量的数据进行挖掘分析才能得到真正有用的信息,形成用户价值。以监控视频为例,连续的播放画面,可以产生价值信息的数据可能是仅仅的一两秒。
四、大数据技术在电力行业中的应用据悉,2013年3月,中国电机工程学会电力信息化专委会拟编制发布《中国电力大数据发展白皮书(2013)》,这将是我国首次就电力“大数据”问题发布的白皮书。白皮书全文12000 余字,分为引言、迎接电力“大数据”时代、展望电力“大数据”时代、迈向电力“大数据”时代、结束语等五部分。
版权声明:
本文来自于网络,版权归作者所有

共有条评论 网友评论