Spark大数据处理:技术、应用与性能优化
副标题:无
作者: 高彦杰 著
内容简介:
前言
Spark是发源于美国加州大学伯克利分校AMPLab的大数据分析平台,它立足于内存计算,从多迭代批量处理出发,兼顾数据仓库、流处理和图计算等多种计算范式,是大数据系统领域的全栈计算平台。Spark当下已成为Apache基金会的顶级开源项目,拥有庞大的社区支持,技术也逐渐走向成熟。
为什么要写这本书
大数据还在如火如荼地发展着,突然之间,Spark就火了。还记得最开始接触Spark技术时资料匮乏,只有官方文档和源码可以作为研究学习的资料。写一本Spark系统方面的技术书籍,是我持续了很久的一个想法。由于学习和工作较为紧张,最初只是通过几篇笔记在博客中分享自己学习Spark过程的点滴,但是随着时间的推移,笔记不断增多,最终还是打算将笔记整理成书,也算是一个总结和分享。
在国外Yahoo!、Intel、Amazon、Cloudera等公司率先应用并推广Spark技术,在国内淘宝、腾讯、网易、星环等公司敢为人先,并乐于分享。在随后的发展中,IBM、MapR、Hortonworks、微策略等公司纷纷将Spark融进现有解决方案,并加入Spark阵营。Spark在工业界的应用也呈星火燎原之势。
随着Spark技术在国内的大范围落地、Spark中国峰会的召开,及各地meetup的火爆举行,开源软件Spark也因此水涨船高。随着大数据相关技术和产业的逐渐成熟,公司生产环境往往需要同时进行多种类型的大数据分析作业:批处理、各种机器学习、流式计算、图计算、SQL查询等。在Spark出现前,要在一个平台内同时完成以上数种大数据分析任务,就不得不与多套独立的系统打交道,这需要系统间进行代价较大的数据转储,但是这无疑会增加运维负担。
在1年之前,关注Spark的人和公司不多,由于它包含的软件种类多,版本升级较快,技术较为新颖,初学者难以在有限的时间内快速掌握Spa
目录预览:
Spark大数据处理:技术、应用与性能优化 (大数据技术丛书)
前言
第1章 Spark简介
1.1 Spark是什么
1.2 Spark生态系统BDAS
1.3 Spark架构
1.4 Spark分布式架构与单机多核架构的异同
1.5 Spark的企业级应用
1.5.1 Spark在Amazon中的应用
1.5.2 Spark在Yahoo!的应用
1.5.3 Spark在西班牙电信的应用
1.5.4 Spark在淘宝的应用
1.6 本章小结
第2章 Spark集群的安装与部署
2.1 Spark的安装与部署
2.1.1 在Linux集群上安装与配置Spark
2.1.2 在Windows上安装与配置Spark
2.2 Spark集群初试
2.3 本章小结
第3章 Spark计算模型
........