三、Hadoop生态体系
1、Hadoop
Hadoop 是分布式系统的基础架构。Hadoop 框架包括 HDFS 和 MapReduce。其中HDFS 提供了海量数据的存储，MapReduce为海量数据提供了计算。
这里推荐《Hadoop权威指南》和《Hadoop技术内幕》系列。
2、Yarn
Yarn是一个通用的资源管理器，可为上层应用提供统一的资源管理和调度。
这里推荐《hadoop技术内幕》系列中，关于yarn的部分。
3、Hbase
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable”。HBase在Hadoop之上提供了类似于Bigtable的能力。
这里推荐《Hbase权威指南》这本书。
4、Hive
Hive 是基于 Hadoop 的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
Hive也是我们在日常工作中用到最多的组件。这里推荐《Hive编程指南》这本书。
5、kafka
Kafka是由Apache软件基金会开发的一个开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统。
这里推荐《深入理解Kafka(核心设计与实践原理)》这本书。
6、Zookeeper
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
这里推荐《ZooKeeper：分布式过程协同技术详解》这本书。
我是一位爱学习的老人！本站主要是些学习体验与分享(其中会引用一些作品的原话并结合我的一生体会与经验加工整理而成！在此一并感谢！如有不妥之处敬请与我联系,我会妥善处理，谢谢！)我写的主要是中老年人各方面应注意的事儿！退休后我希望通过这个平台广交朋友，互助交流，共筑美好生活！
联系客服
