更新時間:2022年07月18日09時57分 來源:傳智教育 瀏覽次數(shù):
同學們在進行Hadoop集群的配置和啟動時,可能會出現(xiàn)如NodeManager進程無法啟動或者啟動后自動結(jié)束的情況,此時可以查看Hadoop解壓包目錄中Logs下的日志文件,主要是因為系統(tǒng)內(nèi)存和資源分配不足。此時,可以參考如下方式,在所有節(jié)點的yarn-site.xml配置文件中添加如下參數(shù)進行適當調(diào)整。
<property> <!--定義NodeManager上要提供給正在運行的容器的全部可用資源大小--> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <property> <!--資源管理器中分配給每個容器請求的最小內(nèi)存限制--> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <!--NodeManager可以分配的CPU核心數(shù)--> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property>
上述配置文件中,yarn. nodemanager. resource. memory-mb表示該節(jié)點上NodeManager可使用的物理內(nèi)存總量,默認是8192MB,如果節(jié)點內(nèi)存資源不夠8MB,則需要適當調(diào)整;yarn.scheduler.minimum-allocation-mb表示每個容器可申請的最少物理內(nèi)存量,默認是1024MB;yarn.nodemanager.resource.cpu-vcores表示NodeManager總的可用虛擬CPU核數(shù)。