Hadoop 运行 mr 程序 报错

[sam peng <62...@qq.com>]

请教大家一个Hadoop 运行MR问题。

之前我们配置过一个单点Hadoop，能正常运行。

目前我们把hadoop 移到生产环境中，将hadoop目录挂载在磁盘中，用flume能正常收取kafka数据。

但是运行mr程序报错 ：



查看yarn 日志


我的配置信息 如下
Yarn-site.xml



Map-site.xml




目前网上提供的方法均不能解决问题。脚本是以root用户运行，所以权限问题可以排除。
我自己的猜测是： 之前的hadoop目录是挂载在用户目录下。目前运行mr yarn无法创建containner, 是否是因为挂载在磁盘目录的原因？

不知道有没有朋友遇到过这个问题？

期待您的回复，感谢。

Re: Hadoop 运行 mr 程序 报错

[sam peng <62...@qq.com>]

Thanks for your reply, I fix the problem by adding a new user.

Root is not avaliable . 

> 在 2019年3月4日，上午11:47，sam peng <62...@qq.com> 写道：
> 
> 
> 请教大家一个Hadoop 运行MR问题。
> 
> 之前我们配置过一个单点Hadoop，能正常运行。
> 
> 目前我们把hadoop 移到生产环境中，将hadoop目录挂载在磁盘中，用flume能正常收取kafka数据。
> 
> 但是运行mr程序报错 ：
> 
> <11_28_35__03_04_2019.jpg>
> 
> 查看yarn 日志
> 
> <11_32_54__03_04_2019.jpg>
> 我的配置信息 如下
> Yarn-site.xml
> <企业微信截图_28e59191-de07-4a4c-b219-b242b3e1d14f.png>
> 
> 
> Map-site.xml
> <企业微信截图_0cfbea10-dccc-4b36-8907-a02c9c63c707.png>
> 
> 
> 
> 目前网上提供的方法均不能解决问题。脚本是以root用户运行，所以权限问题可以排除。
> 我自己的猜测是： 之前的hadoop目录是挂载在用户目录下。目前运行mr yarn无法创建containner, 是否是因为挂载在磁盘目录的原因？
> 
> 不知道有没有朋友遇到过这个问题？
> 
> 期待您的回复，感谢。
> 
> 
> 
> 
> 

Re: Hadoop 运行 mr 程序 报错

[Fabian Hueske <fh...@gmail.com>]

Hi,

Please post questions in Chinese to Flink's Chinese user mailing list:

user-zh@flink.apache.org

Thank you,
Fabian



Am Mo., 4. März 2019 um 05:01 Uhr schrieb sam peng <62...@qq.com>:

>
> 请教大家一个Hadoop 运行MR问题。
>
> 之前我们配置过一个单点Hadoop，能正常运行。
>
> 目前我们把hadoop 移到生产环境中，将hadoop目录挂载在磁盘中，用flume能正常收取kafka数据。
>
> 但是运行mr程序报错 ：
>
>
> 查看yarn 日志
>
> 我的配置信息 如下
> Yarn-site.xml
>
>
> Map-site.xml
>
>
>
> 目前网上提供的方法均不能解决问题。脚本是以root用户运行，所以权限问题可以排除。
> 我自己的猜测是： 之前的hadoop目录是挂载在用户目录下。目前运行mr yarn无法创建containner, 是否是因为挂载在磁盘目录的原因？
>
> 不知道有没有朋友遇到过这个问题？
>
> 期待您的回复，感谢。
>
>
>
>
>
>