浅谈大数据在企业管理信息中的应用

随着信息技术的推广和应用，企业信息化已经进入了大数据时代。大数据对企业管理信息系统中数据的采集、存储、搜索、分析和展现提出了各种挑战。企业只有采取有效的应对措施，才能化挑战为机遇，充分利用大数据为企业创造价值。本文讨论了通信企业中大数据的应用背景、关键数据和应用状况。

企业信息化发展的阻碍

随着新一代信息技术的融合发展,物联网、移动互联网、数字家庭、社会化网络等应用使得数据规模快速扩大，处理和分析大数据的的需求日益旺盛,兴起了大数据热潮，使得大数据领域飞速发展。

信息化系统的持续运行，企业的数据在不断积累，逐渐形成了大数据的环境，而企业信息系统在大数据的环境中越来越不能适应，主要表现在：

①企业信息系统的数据管理偏重于结构化数据的管理

②信息化系统在企业内部缺乏互相的沟通、关联分析的问题因没有及时横向沟通导致其他信息系统重复发生

③各信息系统内部迫切需要解决大数据存储和搜索、分析、展现等功能，功能基本要素都是一致的。如果单独建设，将会造成极大的资源浪费。

因此，企业信息化发展到现在的大数据阶段，亟需运用统一的大数据管控手段对企业内部的所有数据，包括结构化和非结构化的数据进行统一的采集、存储、搜索、分析和展现。

企业内大数据特征分析

1、企业大数据分析的对象

根据对企业内经营活动的分析，企业内管理的大数据格式一般包括结构化和非结构化。

其中结构化的数据大致指统一格式、有固定字段、能基于关系型数据库定义的数据。这些数据在各自的信息系统中已经得到了很好的管理。

另外，非结构化的数据，这种数据没有固定的格式，或者其格式经常发生变化，不能用一些固定的方法进行格式化，这些数据一般都比较随意，并通常情况下容易被企业忽略。非结构化的数据总体上具备分布广泛、格式多样化以及数据量大等特征，对大数据的采集、处理和存储提出了挑战。

2、非结构化数据分析的意义

这些非结构化的数据虽然和企业的日常经营和具体业务没有直接的关系，但是通过分析这些非结构化的数据可能会为企业带来间接的价值。

数据的价值源于数据的产生点为企业信息系统的关键点，非结构化的数据具备为企业生产经营进行决策的参考价值，但目前大部分数据被忽略甚至丢弃。

企业大数据系统的能力架构分析

企业信息化建设到了一定阶段，必然面临如何处理日益增长的大数据的问题。主要原因有：

1、B/S或者C/S的应用能够应对传统的二维固定数据结构的结构化数据，但是当结构化数据增长到TB级别甚至PB时，应用将遇到查询太慢、分析程序死机等问题。

2、非结构化的数据是大量的格式不一致的数据，处理这些异构的大数据首要解决采集、查询和统计分析的问题。

3、大数据的处理系统需要相当的可扩展性，最好是线性扩展能力，即随着机器投入的增加，性能级别也相应的增加。

因此，企业要解决内部大数据处理的问题，不能在各个已有的信息化系统或者平台上建设各自的大数据采集、处理、分析模块，而应该建立一个企业内部的、统一的大数据平台，兼具采集、存储、分析和搜索、趋势学习和预警以及分析结果展现的功能。

采集层负责采集各种数据，稍作处理后提交到存储层进行存储，然后通过分析和搜索层对数据进行横向和纵向分析，建立全文索引库；在趋势学习和预警层，通过对数据规律的分析和判断进行预警；最终将分析结果和告警信息通过表格、曲线图等形式予以展现。

这个平台为企业整体进行大数据服务，由于大数据的增长速度非常快，因此该平台应该具备通用性、高扩展性和高性能的特点。

大数据采集和标准化

企业内的大数据来源于各个企业信息化系统，然而大数据采集面临的具体问题包括：

①可靠性：即在海量的数据采集中，任何的数据都是有价值的，数据的丢失可能会导致分析的失效。

②兼容性：大数据采集模块面对的是各种动态变化的数据源格式，这些不同格式的数据需要被通用的采集模块处理并存储。

③统一性：能够进行结构化的分析和展现。大数据采集系统应该能够高度抽象各种不同格式的数据，并提供统一的结构化的抽象，便于进行标准化的分析和展现。

为了应对上述挑战，大数据采集应该具备一定的分布式部署能力。其中的采集模块应该能够分布式部署在企业各个管理信息系统的各个位置，收集到数据后，统一汇总到采集集中标准化模块进行抽象处理；每个采集模块都能够进行数据的过滤、归并处理。

过滤是为了减少垃圾数据的处理，归并是为了减少重复数据的处理，这两者能够减少大数据系统的处理压力。当完成基础数据的采集工作后，数据应该被统一存储，并进行基本的格式化工作，以便为上层业务提供搜索和分析能力。

大数据的标准化能力是能将不同格式的数据抽象为通用的数据模型，这个数据模型至少包括数据产生的时间、数据源的名称或者IP地址、数据内容以及类型4个要素。

大数据存储

大数据经过采集后，要存储下来以便为上层业务系统提供搜索、分析服务。存储主要包括三个方面：

1、大数据自身的数据实际内容

2、大数据的标准化信息四要素（时间、来源、类型和内容），要格式化存储下来

3、大数据的索引方便了以后全文搜索。

大数据存储也面临着很大的压力，主要因为数据量大、可靠性强和精确性高。通常情况下，增加大数据存储能力：

（1）将数据分成小的数据块自动在多个不同的主机上进行备份

（2）全文索引的存储应该是可线性扩展的，即每个索引至少要保存两份，以保证可靠性。

大数据的趋势分析

大数据系统的构建目标之一就是进行数据趋势学习和分析，最终能够为决策者提供预警。

所谓的趋势分析，指的是基于大数据采集、存储、分析、搜索等一系列基础能力，对大数据的某些特征进行跟踪，建立大量的数据样本，最终逐渐得到某种特征的数据的出现规律。

这样，当这个规律发生变化的时候，系统能够提醒决策者及时采取措施。大数据趋势分析能力主要包括：

①自动构建学习样本模型：基于时间、事件类型、来源等字段自动构建学习样本，并持续跟踪这个模型的值。

②基于大数据平台的分析能力构建学习模型，并且跟踪模型的状态，这个模型应该和具体的某种事件有一定的关联。

③当学习模型的值发生较大幅度的变更时能够快速地产生告警。

结语

数据在经过采集、存储、分析之后，需要为用户提供可视化的管理方式，便于用户快速发现大数据的内容和价值。总之，企业全面信息化后将面临诸多大数据的问题。如果想通过大数据获取价值，须合理构建大数据平台，这样才能统一、快速、灵活地控制大数据，获取好处。

来源：《基层建设》2016年36期

作者：赖波

声明：版权归原作者所有，如涉及版权问题，烦请联系我们协商解决，核实后我们会第一时间作出处理，并表示歉意，谢谢！