Hadoop1.x和Hadoop2.x哪个更好-创新互联
本篇内容介绍了“Hadoop1.x和Hadoop2.x哪个更好”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；
Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN
1、HDFS：HA、NameNode Federation
2、MapReduce/其他计算框架：运行在YARN之上的MapReduce通常称之为MapReduce2.0（MRv2）
3、YARN：资源管理系统（Yet Another Resource Negotiator），在其之上可以运行各种计算框架，如：MapReduce、Storm、Spark等；
HDFS2.0
解决HDFS1.0中单点故障和内存受限问题
解决单点故障： HDFS HA（High Available）
通过主备NameNode，当主NameNode发生故障时则切换到备NameNode；
解决内存受限问题： HDFS Federation
水平扩展，支持多个NameNode；
每个NameNode分管一部分目录；不同的NameNode可以分管不同的应用；
所有NameNode共享所有DataNode存储的资源；
HDFS2.0和HDFS1.0相比、仅是架构上发生了变化，使用方式不变，对HDFS使用者来说是透明的。比如说hdfs shell命令：
hadoop fs -ls /luogankun
hadoop fs -mkdir /luogankun/data
在HDFS1.0和HDFS2.0中用法是一致的。
YARN
Hadoop2.0新引入的资源管理系统
YARN核心思想：将MRv1中JobTracker的资源管理和任务调度分开，分别由ResourceManager和ApplicationMaster进程实现；
ResourceManager：负责整个集群的资源管理；整个集群只有一个；
ApplicationMaster：负责应用程序相关的事务，比如：任务调度、任务监控和任务容错；一个应用程序对应一个ApplicationMaster；
YARN引入的好处：使得多个计算框架可以运行在一个集群中，比如：MapReduce、Spark、Storm等；
MapReduce On YARN
运行在YARN之上的MapReduce称为MRv2；
将MapReduce作业直接运行在YARN上，而不是运行在由JobTracker和TaskTracker构建的MRv1之上；在Hadoop2.0中并不存在JobTracker和TaskTracker；
MRv2的模块基本功能：
1、YARN：负责资源管理和调度；
2、MRAppMaster：负责一个应用程序/作业的任务切分、任务调度、任务监控和容错；
3、Map/Reduce Task：任务驱动引擎，与MRv1一致；
每个应用程序/作业对应一个MRAppMaster，所以：
1、单个应用程序/作业运行失败，不会影响其他应用程序/作业；
2、负责应用程序/作业相关的事务，包括将从YARN分配得到的资源二次分配给内部的任务、任务切分、任务健康和容错等；
“Hadoop1.x和Hadoop2.x哪个更好”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联-成都网站建设公司网站，小编将为大家输出更多高质量的实用文章！
本文标题：Hadoop1.x和Hadoop2.x哪个更好-创新互联
链接URL：http://hbruida.cn/article/gepho.html
