Hadoop安装部署实践
环境准备#
支持平台#
GNU/Linux是产品开发和运行的平台。 Hadoop已在有4000个节点的GNU/Linux主机组成的集群系统上得到验证。
Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。
目前成都创新互联公司已为超过千家的企业提供了网站建设、域名、虚拟主机、网站托管维护、企业网站设计、晋安网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
所需软件#
Linux和Windows所需软件包括:
JavaTM1.5.x,必须安装,建议选择Sun公司发行的Java版本。
ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。
Windows下的附加软件需求
Cygwin - 提供上述软件之外的shell支持。
安装步骤#
本文以Ubuntu为测试环境,鉴于配置测试环境,不做复杂用户拆分,先部署到当前用户下。
安装软件
如果你的集群尚未安装所需软件,你得首先安装它们。
更新apt-get源配置#
$sudo apt-get update
安装java环境#
本文环境使用jdk1.7
两种方式使用openjdk,直接用apt-get安装
$sudo apt-get install -y openjdk-7-jdk$export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
或者通过oracle 官网下载jdk,然后解压安装
http://www.oracle.com/technetwork/java/javase/archive-139210.html
然后设置JAVA_HOME
本文环境 JAVA_HOME=/usr/local/jdk
lrwxrwxrwx 1 root root 22 Jun 22 10:20 jdk -> /usr/local/jdk1.7.0_80/drwxr-xr-x 8 uucp 143 4096 Apr 11 2015 jdk1.7.0_80/
环境变量可以配置到 .bash_profile
配置SSH环境#
安装ssh服务及客户端
$sudo apt-get install -y openssh-server
启动SSH服务
$sudo service ssh start
配置免登陆
$ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$chmod 600 ~/.ssh/authorized_keys
免登陆测试
$ssh localhost The authenticity of host 'localhost (::1)' can't be established.ECDSA key fingerprint is SHA256:8PGiorJvZpfFOJkMax6qVaSG8KyRRNnVJGjhNqVqh/k.Are you sure you want to continue connecting (yes/no)?yes$exit
安装Hadoop#
$cd /usr/local$sudo wget http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz$sudo tar xzvf hadoop-2.6.4.tar.gz$sudo ln -s hadoop-2.6.4.tar.gz hadoop#修改目录权限,改成当前用户的所属$sudo chown -R XXXXX hadoop*
配置#
配置伪分布式:
修改etc/hadoop/core-site.xml
fs.defaultFS hdfs://localhost:9000
etc/hadoop/hdfs-site.xml
dfs.replication 1
启动hadoop#
$ bin/hdfs namenode -format $ sbin/start-dfs.sh #查看进程 $jps429 SecondaryNameNode172 NameNode1523 Jps286 DataNode
Namenode web地址: http://localhost:50070/
可以执行命令测试一下
# create input files$ mkdir input $ echo "Hello Docker" >input/file2.txt $ echo "Hello Hadoop" >input/file1.txt# create input directory on HDFS$ hadoop fs -mkdir -p input# put input files to HDFS$ hdfs dfs -put ./input/* input# run wordcount$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount input output# print the input files$ echo -e "\ninput file1.txt:"$ hdfs dfs -cat input/file1.txt $ echo -e "\ninput file2.txt:"$ hdfs dfs -cat input/file2.txt# print the output of wordcount$ echo -e "\nwordcount output:"$ hdfs dfs -cat output/part-r-00000
debug调试时候会出现下面信息:
WARN io.ReadaheadPool: Failed readahead on ifile
EBADF: Bad file descriptor
查阅信息后,说由于在快速读取文件的时候,文件被关闭引起,也可能是其他bug导致,此处忽略。
也可以 mapreduce.ifile.readahead=false 临时禁掉
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount -D mapreduce.ifile.readahead=false input output
当前MR为local模式运行,如果想通过YARN运行则需要配置启动YARN服务
单节点YARN#
修改etc/hadoop/mapred-site.xml
mapreduce.framework.name yarn
etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle
启动服务
$ sbin/start-yarn.sh
可以重新运行上步骤实例
可以查看 RM web地址: http://localhost:8088/
docker配置测试环境#
前提已经具有docker环境
将下载
jdk-7u80-linux-x64.tar.gz 放到jdk文件夹
hadoop-2.6.4.tar.gz 压缩包放到 dist文件夹
目录结构:
./├── Dockerfile ├── dist │ └── hadoop-2.6.4.tar.gz └── jdk └── jdk-7u80-linux-x64.tar.gz
DockerFile hainiubl/hadoop-node:apache:
FROM ubuntu:latestMAINTAINER sandy#install softwareRUN apt-get updateRUN apt-get install -y ssh vim openssh-serverADD jdk/jdk-7u80-linux-x64.tar.gz /usr/localRUN ln -s /usr/local/jdk1.7.0_80 /usr/local/jdk && rm -rf /usr/local/jdk-7u80-linux-x64.tar.gz# install hadoopADD dist/hadoop-2.6.4.tar.gz /usr/local/RUN ln -s /usr/local/hadoop-2.6.4 /usr/local/hadoopENV JAVA_HOME=/usr/local/jdkENV HADOOP_HOME=/usr/local/hadoopENV HADOOP_MAPRED_HOME=$HADOOP_HOMEENV HADOOP_COMMON_HOME=$HADOOP_HOMEENV HADOOP_HDFS_HOME=$HADOOP_HOMEENV HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopENV YARN_HOME=$HADOOP_HOMEENV YARN_CONF_DIR=$HADOOP_HOME/etc/hadoopENV PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin# ssh without keyRUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && \ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
build:
$ docker build -t hainiubl/hadoop-node:apache ./
目录结构:
./├── Dockerfile ├── config │ ├── core-site.xml │ ├── hadoop-env.sh │ ├── hdfs-site.xml │ ├── mapred-site.xml │ ├── run-wordcount.sh │ └── yarn-site.xml
DockerFile hainiubl/hadoop-pseudo
ROM hainiubl/hadoop-node:apacheMAINTAINER sandyADD config/* /root/RUN mv /root/core-site.xml $HADOOP_HOME/etc/hadoop/ && mv /root/hadoop-env.sh $HADOOP_HOME/etc/hadoop/RUN chmod +x ~/run-wordcount.sh && \ chmod +x $HADOOP_HOME/sbin/start-dfs.sh && \ chmod +x $HADOOP_HOME/sbin/start-yarn.shCMD [ "sh", "-c", "/etc/init.d/ssh start; bash"]
build:
$ docker build -t hainiubl/hadoop-pseudo:apache ./
启动docker节点:
$ docker run -itd -p 50070:50070 -p 8088:8088 --name hadoop-pseudo hainiubl/hadoop-pseudo:apache &$ docker exec -it hadoop-pseudo sh -c "/usr/local/hadoop/bin/hdfs namenode -format && /usr/local/hadoop/sbin/start-dfs.sh && bash"
新闻标题:Hadoop安装部署实践
分享网址:http://hbruida.cn/article/gpsdci.html