安装步骤:
1.规划机器
2.修改主机名称,配置ssh免登,安装jdk
3.修改配置文件,创建目录
4.启动应用
1.规划机器(centos1作为master)
规划三台机器,一种centos1作为master,其余两台机器作为slaves
10.240.139.101 centos1
10.240.140.20 centos2
10.240.139.72 centos3
centos1安装NameNode SecondNameNode ResourceManager
centos2安装DataNode NodeManager
2.修改主机名称,配置ssh免登,安装jdk
[root@centos1 bin]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=centos1
NTPSERVERARGS=iburst
[root@centos1 bin]# vi /etc/hosts
10.240.139.101 centos1
10.240.140.20 centos2
10.240.139.72 centos3
配置SSH免登,成功之后ssh localhost, ssh centos2不用用户名密码即成功。
#登录到centos1 cd ~/.ssh rm ./id_rsa* #删除之前的key ssh-keygen -t rsa #生成新的key,一直回车即可 cat ./id_rsa.pub >> ./authorized_keys scp authorized_keys root@centos2:~/.ssh/authorized_keys_from_centos1 #登录到centos2 cat authorized_keys_from_centos1 >> ./authorized_keys
关闭防火墙:
sudo service iptables stop # 关闭防火墙服务 sudo chkconfig iptables off # 禁止防火墙开机自启,就不用手动关闭了
JDK安装就滤过了。
3.修改配置文件
hadoop-env.sh:
hadoop的环境变量配置文件,需要配置JAVA_HOME的变量
yarn-env.sh:
yarn的环境配置文件,需要配置JAVA_HOME的变量
core-site.xml:
hadoop的全局默认参数配置
hdfs-site.xml:
hdfs的参数配置
yarn-site.xml:
yarn的参数配置
mapred-site.xml:
mapred的参数配置
slaves:
从节点配置
core-site.xml文件
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://centos1:9000</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>centos1:50090</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
slaves
centos2 centos3
yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>centos1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>centos1:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>centos1:19888</value> </property> </configuration>
创建目录:/usr/local/hadoop/tmp/dfs/name /usr/local/hadoop/tmp/dfs/data
4.启动应用
./bin/hdfs namenode -format
./sbin/start-dfs.sh centos1上可以看到NameNode SecondaryNameNode centos2,3上看到datanode
./start-yarn.sh centos1上会看到ResourceManager centos2,3上会看到NodeManager进程
查看hdfs相关:http://10.240.139.101:50090/
查看yarn相关:http://10.240.139.72:8042/node/node
相关推荐
计算Hadoop:快速部署Hadoop集群 详细的Hadoop集群部署文档,对您绝对有用~
本人亲手操作搭建Hadoop集群成功,并通过Eclipse进行MapReduce程序的开发,步骤详细完整,在相关过程中配有完整代码和解释,全程无误,只需复制粘贴即可,小白新手按步骤一步一步来也能搭建Hadoop集群成功并进行...
机房hadoop集群部署
Hadoop集群部署方案.docx
Hadoop集群的规划,系统环境准备,配置NTP时间服务器,配置无密钥登录,安装配置JDK,,安装配置zooKeeper集群,安装配置Hadoop集群
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
EasyHadoop集群部署文档\Hadoop常用命令\hadoop大数据架构生态技术简介\Hadoop权威指南\Hadoop实战
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...
Hadoop集群部署完整版
由于工作需要,最近一段时间开始接触学习 Hadoop 相关的东西,目前公司的实时任务和离线任务都跑在一个 Hadoop 集群,离线 任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理的利用资源,我们打算在搭一...
实验报告二:Hadoop集群部署前期准备-实验报告模板.docx
hadoop作为大数据平台,经常需要部署集群,文档非常详细地介绍了hadoop集群的部署过程,两个节点master和slave
鉴于网上很多关于hadoop集群部署的介绍都不是很完善,给出一份根据我个人实际安装经验写的详细部署文档。
自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...
里面讲了一些hadoo是如何部署与运维的知识点,希望对初学者有所帮助!
超详细的hadoop部署详解,适合入门学习使用,大神勿扰
手把手教你配置高效的Hadoop集群,充分利用Hadoop平台的优势。2. 为Hadoop生态系统实现强健的端到端的安全保障。
Hadoop集群部署及测试实验(一)
Hadoop集群部署及测试实验(二)