大数据的大成本

2017-06-01
标签: 大数据   

  我们已进入大数据的时代,因为数据管理技术的创新使企业能分析所有类型的数据,每天都能发现新的商机。半结构化和非结构化的数据正在有着大量而又快速的丰富来源的网络上产生,告诉企业顾客到底需要什么,想要什么,如何或为什么进行购买。但是新的商业机会带来成本,而真实的成本远没没有被充分认识到。

大数据的大成本

  大数据并不是那么新。市场主导者已经存储和分析多数据类型,不但是为了赢得竞争优势,还要实现在直接影响到业务的客户行为模式上有更深的洞察力。两大具体的行业,电信业和零售业,在数据仓库解决方案上已投入巨资。大量的客户交易和交互随着时间的推移被收集并检查以确定关键绩效指标,例如年销售额,每客户的年销售额,通过网上促销获取客户的成本,或高峰期获取客户的成本。然而, 即使是市场领先企业也无法负担长期累积的在传统数据仓库中存储和管理的大规模详细数据。据说,他们经常存储最近四个季度的数据,而把历史数据卸载成离线状态,不再容易访问得到。而当圣诞节落在一个星期六,业务的挑战来了,他们需要分析回溯到七年间的数据以了解具体模式。将大量的数据复原到仓库中不仅很有挑战性而且很昂贵。

  在考虑企业级规模的大数据管理和分析时,有两个关键因素在起作用。首先,网络的创新,如Facebook、谷歌和雅虎,已经开发出一种大型可扩展的存储和计算架筑来管理大数据: Hadoop,它能在各种低成本通用硬件上平行大数据集,便于扩展,极大地降低了大数据环境的成本。

  其次,管理大数据的技术要求已经从一些独特市场的领域,转向各种领域中的不断增加的需求和独特需求。通信运营商目前要管理PB字节规模的数据,由于转变到4 G和LTE,有越来越多的终端设备连接利用成千上万的移动应用程序,这些数据有望10 – 100倍的增长。随着全球的城市接入新的“数字化加入网格”,智能电网正陷入到大数据中。金融服务机构在交易和期货数据上有100%的增长,这些数据必须保存7年以上。在未来的3到5年的时间里,大数据无论是对私有还是公共部门的机构来说都将成为一种关键策略。事实上, 在今后的5年, 预计有50%的大数据项目会在Hadoop上运行。

  现实情况是传统的数据库方法不能足够快地扩展和写数据以跟上数据创建的速度。此外, 为特定目的设计的数据仓库非常善于处理结构化数据,但数据量增加后要扩展硬件的成本很高。

  大数据的一个主要促成者是可低成本扩展的Hadoop。例如, 一个PB的Hadoop集群需要125到250个节点,需要成本100万美元。需要支持Hadoop分布的成本有相似的年度成本 (~ 4000美元/节点),对一个企业的数据仓库 (10 – 100倍的百万) 来说,只是很小的一部分。在原始评估中, Hadoop上的大数据似乎是一件大事。创新企业今天有Hadoop — 问题是他们如何利用它,以什么样的节奏它才成为关键任务和IT聚焦的中心?

  然而真正的成本是在运营和全面管理或在现有生态系统中对大数据进行的整合。随着大数据环境的扩展,如在雅虎中,跨越50000个节点管理200PB的字节要求更多的被添加交付额外的存储容量。许多2.0网络机构运行Hadoop完全依靠于数据冗余, 但是如果你是一个企业银行或通信运营商, 你必须坚持基于标准的安全、灾难恢复和可用性。由于Hadoop目前的存在,它带来了更复杂的管理和对更熟练资源的需要。

  在大数据在Hadoop部署的背后,许多开源平台的创新者已经投资和创造了“数据科学家” — 本质上是一种统计学家,能自然编程并利用MapReduce框架。为整合MapReduce, 大多数企业需要开发一种全新的技术基础,而人力资本投资将很快超过了基础设施的投资。此外,他们必须利用现有的数据仓库和商业智能(BI)基础设施,大数据中的Hadoop需要整合以利用现有的工具和技巧。不能在Hadoop上利用诸如SQL的标准需要在不降低数据仓库的成本的情况下进一步投资。

  大数据带来大的业务收益, 但隐性成本和现有的复杂性是企业需要努力克服的。虽然Hadoop对企业来说相对较新,它意味着朝提高可靠性和易于使用迈出的一大步。并不缺乏创业者的创新和对Apache开源项目的主要贡献。这两个领域对易于采用和成本上都有重大的影响:

  1.利用现有的SQL查询语言和现有BI商业智能工具利用Hadoop中的数据;

  2.在最细微的层次上压缩数据的能力,它不仅将减少存储的需求,还会降低节点的数量,简化基础设施

  没有这两种能力,技能的学习需要时间和金钱,而且跟不上业务需求。数据生长率根本就超过了每天管理数以百计的TB到PB的大数据的成本规模。

  首席信息官(CIO)和首席技术官(CTO)必须认真细致地考虑大数据的真正成本。我们已确切知道的一件事是: 利用大数据的收益大过对IT的投资,因此,我们要感谢草根创新者。问题是,成本是多少。


【了解更多BI商业智能大数据分析平台行业资讯,商业智能解决方案以及商业智能软件下载请访问速鸿官网http://www.suhongkeji.com/】

速鸿科技是一家专注于为企业提供 BI商业智能大数据分析智能分析智能软件以及 数据挖掘 等服务的大平台

咨询热线:020-37267822

粤ICP备15039093号