那一抹温暖的阳光,是我们永恒的向往。
www.yangmufa.com

Hdoop-2.7.7伪分布式和分布式(三台机器)安装部署详细

前提:虚拟机和Linux环境(虚拟机的创建和LinuxCentOS7安装)、已成功安装配置好Java1.8(Java安装)、下载好的hadoop安装压缩包。

  1. 我们先说一下观看此视频需要使用哪些工具
  2. (1)、Xshell(2)、Xftp6(3)、notepad++(4)、虚拟机、(liunx操作系统)
  3. 现在开始讲述hadoop安装过程
  4. 打开虚拟机
  5. 创建一个新的虚拟机
  6. 选择中文即可
  7. 更改安装位置
  8. root密码设置为123456
  9. 等待安装
  10. 在等待安装的过程中,如果没有安装Xshell,Xftp、notepad++工具的可以去群里下载并安装(安装时间过长可以喝杯水压压惊)
  11. 输入root和密码
  12. 看视频和看笔记的跟着我都是网络没有配置的,所以开始配置网络
  13. 进入到此路径
  14. 修改ifcfg-ens33:vi ifcfg-ens33
  15. 输入一次i进入编辑模式将ONBOOT=no换成ONBOOT=yes
  16. 退出保存命令为:先ESC再:wq
  17. 输入service network restart重启网络服务即可
  18. 输入ip addr查看当前linux系统的IP地址
  19. 记住IP地址,打开Xshell软件
  20. 新建一个会话
  21. 在当前/root根目录下新建一个hadoop的文件夹,命令为mkdir hadoop
  22. 查看当前建的文件夹命令ls
  23. 进入到hadoop文件夹下上传JDK压缩包
  24. 解压jdk压缩包
  25. tar -vzxf jdk-8u141-linux-x64.tar.gz(以后解压命令都是如此,不再做笔记)
  26. 配置jdk的环境变量
  27. 输入命令vi /etc/profile
  28. export JAVA_HOME=/root/hadoop/jdk1.8.0_141
  29. export JRE_HOME=${JAVA_HOME}/jre
  30. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  31. export PATH=${JAVA_HOME}/bin:$PATH
  32. 每次修改/etc/profile文件都要输入source /etc/profile一下
  33. 测试jdk是否安装成功java -version,如下图
  34. 上传hadoop到/root/hadoop文件夹(也就是当前的文件夹)
  35. 解压hadoop
  36. 修改hadoop的配置文件,进入此文件夹下
  37. cd /root/hadoop/hadoop-2.7.7/etc/hadoop
  38. 利用xftp将mapred-site.xml.template、yarn-site.xml、yarn-env.sh、hdfs-site.xml、hadoop-env.sh、core-site.xml找到拉到桌面
  39. 修改yarn-env.sh文件,找到第23行,将#去掉,并添加如下图,之后保存
  40. 修改hadoop-env.sh文件,找到第25行,修改成如下图,之后保存
  41. 修改core-site.xml文件
  42. 修改hdfs-site.xml文件,
  43. 修改yarn-site.xml文件
  44. 先将mapred-site.xml.template修改成mapred-site.xml,修改mapred-site.xml文件
  45. 将修改好的六个文件重新放回原处
  46. 在/root/hadoop/hadoop-2.7.7文件夹下新建三个文件夹(tmp、namenode、datanode)
  47. 配置hadoop的环境变量
  48. 虚拟机网络崩溃,重启一下就好了(稍等片刻)
  49. 输入reboot命令即可重新启动虚拟机
  50. 继续配置hadoop的环境变量
  51. export HADOOP_HOME=/root/hadoop/hadoop-2.7.7
  52. export PATH=${HADOOP_HOME}/bin:$PATH
  53. 测试一下hadoop环境变量是否成功
  54. 输入hadoop version,出现如图
  55. 格式化操作hadoop namenode -format,出现如图
  56. 启动伪分布式的hadoop
  57. 输入cd /root/hadoop/hadoop-2.7.7/sbin进入到当前文件夹下
  58. 输入./start-all.sh启动集群
  59. 因为没有配置免密功能,所以此处密码就是root的密码
  60. 输入jps查看,如过出现下图六个进程即成功
  61. 此处先休息一下,上传视频。
  62. 先关闭hadoop集群
  63. 输入./stop-all.sh(同上输入密码)
  64. 关闭集群后将linux系统关闭
  65. ——————————————————————————
  66. 以下为搭建分布式
  67. 克隆虚拟机的linux系统(此处建议台式电脑在克隆2个,笔记本1个)
  68. 克隆后的master(台式机可以修改内存为2,笔记本不修改)
  69. 打开master系统(注意此处先后有顺序要求,一定要先master,slave1,slave2且master打开后才开启slave1,同理打开slave2,如果不按顺序,则ip地址和名称不对应
  70. 设置网络为静态(防止下次开机ip地址变)
  71. 重新进入cd /etc/sysconfig/network-scripts,修改ifcfg-ens33
  72. 保存即可
  73. 同上操作对slave1、slave2相同(注意两台的ip)
  74. 修改名称(台式三台,笔记本两台都要修改)
  75. 输入vi /etc/hostname,将里面内容全部清除
  76. master输入master、slave1输入slave1、slave2输入slave2
  77. 之后重启
  78. 修改前都是如图
  79. 修改后  
  80. 修改hosts文件(台式三台,笔记本两台都要修改),如下图
  81. 测试是否修改好hosts文件
  82. 在master电脑输入 ping slave1测试 ping slave2测试(如下图)
  83. 同上操作在slave1上ping 另外两台是否ping通
  84. 观看视频的同学,就会发现我的三台电脑都是可以互相pin通的
  85. 经历了伪分布式启动集群一直输入密码,此时我们开始设置免密功能
  86. 在三台电脑上都要输入ssh-keygen -t rsa,遇到停顿直接回车即可
  87. 进入隐藏文件夹下输入命令cd ~/.ssh
  88. cat id_rsa.pub >> authorized_keys
  89. 显示文本密码cat authorized_keys
  90. 在master上编辑authorized_keys,将另外的slave1和slave2authorized_keys密码粘贴到master上(此处建议观看视频)
  91. 测试免密是否成功
  92. 从master上ssh slave1或slave2,测试成功了就退出来,同理slave1,slave2一样操作
  93. 继续修改hadoop的配置文件
  94. 再次输入 cd /root/hadoop/hadoop-2.7.7/etc/hadoop进入到当前文件夹下
  95. 新建master文本命令:vi master 内容输入master
  96. 编辑slaves文,将里面内容全部删除,电脑三个节点的输入slave1、slave2,笔记本输入slave1即可
  97. 修改hdfs-site.xml文件,如下图,修改后保存,并保存
  98. 修改yarn-site.xml文件,将里面的<configuration>全部删除</configuration>
  99. 添加如图内容
  100. 将yarn-site.xml、hdfs-site.xml覆盖回去
  101. 将master配置好的etc复制到slave1与slave2上,命令如下
  102. scp -r /root/hadoop/hadoop-2.7.7/etc/ [email protected]:/root/hadoop/hadoop-2.7.7/
  103. scp -r /root/hadoop/hadoop-2.7.7/etc/ [email protected]:/root/hadoop/hadoop-2.7.7/
  104. 启动集群前再次格式化一次
  105. 进入到启动集群位置
  106. 在master上、slave1、slave2上分别出现下图的进程即可
  107. 今天先讲到此处、在关电脑时先关集群的方法在上面已经说过
  108. 晚安各位!
  109. ——————————————————————————————————————-
  110. 我们继续昨天的内容开始
  111. 关闭防火墙命令
  112. systemctl stop firewalld.service
  113. systemctl disable firewalld.service
  114. 查看是否关闭防火墙命令
  115. firewall-cmd –state
  116. 如图显示
  117. 启动集群测试端口号是否成功
  118. 打开浏览器输入IP:8088和IP:50070(如下图)

/*———————

作者:
版权声明:
本文为博主原创文章,转载请附上源文链接!

本文链接:https://my.oschina.net/yangmufa/blog/3110405

如果觉得本文对你有所收获,你的请评论点赞

与合理优质的转发也将是鼓励支持我继续创作的动力,

也欢迎访问个人网站:www.yangmufa.com(或百度   杨木发个人博客)

(不断学习 坚持创作 善于总结 共同进步)
———————*/

时间:2019-09-24

你好!你目前的身份是游客,请输入昵称和电邮

Search