教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

hadoop 2.x分布式安裝

更新時(shí)間:2018年08月06日15時(shí)37分 來源:傳智播客 瀏覽次數(shù):

  這個(gè)安裝過程經(jīng)歷曲折,遇到了許多坑。

  環(huán)境:Windows 7 Vm

  我用了三臺虛擬機(jī) centos

  192.168.188.128 hadoop1(作為主服務(wù)器)

  192.168.188.129 hadoop2

  192.168.188.130 hadoop3

  如果你們的安裝環(huán)境好了,接下來我們就開始安裝hadoop之旅吧!

  1.配置jdk

  jdk的配置這里不做講解,百度太多了。

  2.下載hadoop

  官網(wǎng)下載hadoop,我用的是3.0.3的版本。

  3.我的hadoop 安裝目錄是 /home/user/hadoop

  解壓出來。

  4.修改hosts

  vi /etc/hosts

  輸入

  192.168.188.128 hadoop1

  192.168.188.129 hadoop2

  192.168.188.130 hadoop3

  保存退出

  三臺機(jī)器都需要。

  配置好了之后 可以試試 ping hadoop2 試試 ping hadoop3 。各個(gè)機(jī)器都可以試試 是否配置好了。

  5.配置ssh免密登錄。

  以上都是準(zhǔn)備工作,準(zhǔn)備工作做好了之后。

  分別在三臺機(jī)器上運(yùn)行以下

  ssh-keygen -t rsa

  一路回車(ENTER)到底

  然后在主服務(wù)器上生成的id_rsa.pub 發(fā)送到從服務(wù)器

  ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(換成你對應(yīng)的IP) -p (端口)

  兩臺從服務(wù)器都要.如果遇到了需要輸入密碼,輸入密碼即可。

  完成后,

  在主服務(wù)器上試試 ssh hadoop2 ssh hadoop3,如果不需要密碼就能登錄說明配置成功.

  注意:配置ssh我遇到的坑:出現(xiàn)了 WARING:REMOTE HOST IDENFIATE HAS CHANGED

  這是因?yàn)槲抑芭渲玫臅r(shí)候 將公鑰已經(jīng)添加到了ssh.pub里面。在ssh.pub里面找到出錯(cuò)對應(yīng)的IP,將ip和公鑰一并刪除。然后在運(yùn)行ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(換成你對應(yīng)的IP) -p (端口) 就好了。

  6.配置各種文件

  進(jìn)入到 hadoop里面的etc文件夾下 會看到一個(gè)hadoop的文件。然后進(jìn)去

  (1)配置core-site.xml

  

  fs.defaultFS

  hdfs://hadoop1:9000

  

  

  hadoop.tmp.dir

  /home/usr/hadoop/hadoopwork

  

  下面的那個(gè)tmp.dir是臨時(shí)工作目錄,建議最好自己設(shè)定。如果是系統(tǒng)默認(rèn)的,linux會在每次開機(jī)之前清空。

  所以最好自己設(shè)定一個(gè)。

  (2)配置hdfs-site.xml

  

  dfs.replication

  2

  

  

  dfs.namenode.secondary.http-address

  hadoop3:50090

  

  (3)配置mapred-site.xml

  

  mapreduce.framework.name

  yarn

  

  

  mapreduce.jobhistory.address

  hadoop1:10020

  

  

  mapreduce.jobhistory.webapp.address

  hadoop1:19888

  

  (4)配置yarn-site.xml

  

  yarn.nodemanager.aux-services

  mapreduce_shuffle

  

  

  yarn.resourcemanager.hostname

  hadoop2

  

  

  yarn.log-aggregation-enable

  true

  

  

  yarn.log-aggregation.retain-seconds

  600000

  

  (5)修改hadoop-env.sh

  修改 java_home 改為你的jdk安裝目錄

  Java_home在27行

  (6)添加slaves文件 在etc/hadoop下面 沒有slaves文件需要自己去建立

  vi slaves

  添加如下內(nèi)容

  hadoop1

  hadoop2

  hadoop3

  (7)進(jìn)入 hadoop 下面的sbin修改

  start-yarn.sh文件

  在頭部加入

  YARN_RESOURCEMANAGER_USER=root

  HADOOP_SECURE_DN_USER=yarn

  YARN_NODEMANAGER_USER=root

  同樣的在stop-yarn.shyexu也需要加入

  (8)修改start-dfs.sh和stop-dfs.sh 同樣在頭部加入

  HDFS_DATANODE_USER=root

  HADOOP_SECURE_DN_USER=hdfs

  HDFS_NAMENODE_USER=root

  HDFS_SECONDARYNAMENODE_USER=root

  7.啟動

  以上就算配置完成。接下來就是啟動

  ./start-all.sh啟動

  ./stop-all.sh 停止

  至此,hadoop的安裝環(huán)境完成。以上是根據(jù)我的hu回憶寫成的,可能多多少少存在著瑕疵,歡迎各位指出。



  作者:傳智播客云計(jì)算大數(shù)據(jù)培訓(xùn)學(xué)院

  首發(fā):http://cloud.itcast.cn/

0 分享到:
和我們在線交談!