首页 > 网络 > 云计算 >

世界杯外围投注官网

2016-11-01

centos7搭建hadoop2 7 3完全分布式集群环境。

准备工作

两台centos虚拟机

主机 别名
192.168.0.49 master
192.168.0.53 node1

两台主机世界杯体育投注平台名都为sunpeng(听说要统一)
首先配置master主机,配置好之后clone一份系统到node1,稍微改一下就可以,这样可以最大化保持环境一致

注:如没有特别说明,则master节点和node节点配置一样


1.装JDK

 我的jdk目录为:/usr/Java/jdk1.8.0_101
 配置环境变量:输入vim /etc/profile 回车

内容如下:

>vim /etc/sysconfig/network 

修改内容如下:

>vim /etc/hosts
192.168.0.49 master
192.168.0.53 node1

4.修改hostname

master节点为:

>reboot

6.配置hadoop配置文件

hadoop/hadoop-env.sh
>vim /hadoop/hadoop-2.7.3/etc/hadoop/slaves
node1

7.克隆虚拟机到node1

环境配置先到这里了,然后克隆一份到node机器,开机之后发现跟master是一样的,修改下上面有特别说明的地方,比如hostname等等。

克隆按钮在这里,我已经克隆好了
这里写图片描述
<??"http://www.arteuropeauctions.com/kf/ware/vc/" target="_blank" class="keylink">vcD4NCjxoMiBpZD0="8ssh免密登录">8.ssh免密登录

配置下两台机器ssh免密登录:
检查下 ~/.ssh 文件夹没有则新建

在master上:
//一路狂按回车,最终生成(id_rsa,id_rsa.pub两个文件)
>ssh-keygen -t rsa 
//把id_rsa.pub 复制到192.168.0.53这台node上
>scp ~/.ssh/id_rsa.pub sunpeng@192.168.0.53:~/.ssh
切换到node1(192.168.0.53 ):
//生成authorized_keys
>cat id_rsa.pub >> authorized_keys
//然后把authorized_keys scp到master
>scp ~/.ssh/authorized_keys sunpeng@192.168.0.49:~/.ssh 
//两台机器都要改
//.ssh/ 文件夹权限改为700
//authorized_keys文件权限改为600
>chmod 700 ~/.ssh
>chmod 600 ~/.ssh/authorized_keys
两台主机改配置文件:
>vim /etc/ssh/sshd_config
世界杯外围投注官网 禁用root账户登录,如果是用root世界杯体育投注平台登录请开启PermitRootLogin yes
世界杯外围投注官网 是否允许世界杯体育投注平台自行使用成对的密钥系统进行登入行为(version 2)
PubkeyAuthentication yes
世界杯外围投注官网 制的公钥数据目录 .ssh/authorized_keys 内的 RSAAuthentication yes
AuthorizedKeysFile   .ssh/authorized_keys
世界杯外围投注官网 证书登录,密码登录设为no
PasswordAuthentication no
启动ssh服务
>/bin/systemctl start sshd.service
重启
reboot

测试是否成功:
这里写图片描述
不用输密码了,直接登录进去了 ,成功,如果还提示要输入密码,那就是失败了,检查下哪里出错了。

9. 格式化(只在master)

>cd /hadoop/hadoop-2.7.3/bin/
>./hadoop namenode -format

中间会有一次 Y/N 选择,输入大写的 Y(大小写应该一样)

10.启动(只在master)

>cd /hadoop/hadoop-2.6.3/sbin
>./start-all.sh

启动之后,看下对应的程序是否启动了

master:

这里写图片描述

master节点里,如果没有这些进程在,说明有些进程没有启动成功,检查下哪里错了

node1:

这里写图片描述

node1数据节点里,如果没有这些进程在,说明有些进程没有启动成功,检查下哪里错了

我们这里都已经启动成功了,但是此时还不能松懈,要去log中看下是否有错误:

这里写图片描述
因为这是我之前调好的,所以没有错误了。

之前在node节点中的logs出现的错误(我的已经解决找不到了,这是类似的错误):

2015-08-22 21:44:19,478 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.1.200:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2015-08-22 21:44:20,479 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.1.200:9000. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

原因是node节点中的network忘记修改了,所以node节点连接不到master。

环境搭建错误调试总结在另一篇博客:centos7 搭建hadoop2.7.3集群的错误调试

Eclipse下搭建Hadoop2.7.3开发环境

至此,搭建完毕,大功告成!

相关文章
最新文章
热点推荐