大数据由SCI的首席科学家JohmR.Masey于1998年在USENIX大会上首次提出。他在其发表的一篇名为Big Dara and the Next Wave of Infrastress的论文中首次提出Big Data这个词。
Google在2003-2006年公布的关于GFS、MapReduce和BigTable的三篇论文推动了Hadoop的实现,而Hadoop的诞生极大促进了大数据技术的发展。
当然,Hadoop并不等同于大数据。大数据只是一门市场语言,代表的是一种理念、一种问题解决的思路、一系列技术的集合。
运营商大数据架构如图所示
第一层是应用,在运营商领域分别解决SQM(运维质量管理)、CSE(客户体验提升)、MSS(市场运维支撑)、DMP(数据管理平台)等问题
第二层是各个组件/技术支撑。包括数据从产生获取、处理(实时、批处理)、分析(交互式查询、机器学习与数据挖掘)到最后的展示
第三层,为了支持数据的存储处理,需要统一的资源管理及分配
第四层,上层框架和处理都构建在存储的基础上,所以存储是基础中的基础
第五层,大数据部署形态有云化部署、物理机部署等多种部署模式