问

容器超出了内存限制

张三三发布于 2023-02-05 09:18

在Hadoop v1中,我已经分配了每个7GB的mapper和reducer slot,大小为1GB,我的mappers和reducer运行正常.我的机器有8G内存,8个处理器.现在使用YARN,当在同一台机器上运行相同的应用程序时,我收到了容器错误.默认情况下,我有这样的设置:

  
    yarn.scheduler.minimum-allocation-mb
    1024
  
  
    yarn.scheduler.maximum-allocation-mb
    8192
  
  
    yarn.nodemanager.resource.memory-mb
    8192

它给了我错误:

Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

然后我尝试在mapred-site.xml中设置内存限制:

  
    mapreduce.map.memory.mb
    4096
  
  
    mapreduce.reduce.memory.mb
    4096

但仍然得到错误:

Container [pid=26783,containerID=container_1389136889967_0009_01_000002] is running beyond physical memory limits. Current usage: 4.2 GB of 4 GB physical memory used; 5.2 GB of 8.4 GB virtual memory used. Killing container.

我很困惑为什么地图任务需要这么多内存.根据我的理解,1GB的内存足以完成我的map/reduce任务.为什么当我为容器分配更多内存时,任务使用更多？是因为每个任务都有更多的分裂吗？我觉得稍微减小容器的大小并创建更多容器会更有效,这样就可以并行运行更多任务.问题是如何确保每个容器不会被分配比它可以处理的更多分裂？

4 个回答

您还应该正确配置MapReduce的最大内存分配.从这个HortonWorks教程:

[...]

我们集群中的每台机器都有48 GB的RAM.部分RAM应该>保留用于操作系统使用.在每个节点上,我们将为> YARN分配40 GB RAM,并为操作系统保留8 GB

对于我们的示例集群,我们有一个容器的最小RAM(yarn.scheduler.minimum-allocation-mb)= 2 GB.因此,我们将为Map任务容器分配4 GB,为Reduce任务容器分配8 GB.

在mapred-site.xml中:

mapreduce.map.memory.mb:4096

mapreduce.reduce.memory.mb:8192

每个Container都将运行JVM以执行Map和Reduce任务.JVM堆大小应设置为低于上面定义的Map和Reduce内存,以便它们在YARN分配的Container内存的范围内.

在mapred-site.xml中:

mapreduce.map.java.opts: -Xmx3072m

mapreduce.reduce.java.opts: -Xmx6144m

上述设置配置了Map和Reduce任务将使用的物理RAM的上限.

把它们加起来:
最后,您可能想要查看描述类似问题(和解决方案)的其他SO问题.
2023-02-05 09:21 回答

NewGuy
我在EMR中使用HIVE时遇到了类似的问题.现有的解决方案都不适合我 - 也就是说,mapreduce配置都不适用于我; 并且都没有设置yarn.nodemanager.vmem-check-enabled为假.

然而,最终工作的是设置tez.am.resource.memory.mb,例如:
```
hive -hiveconf tez.am.resource.memory.mb=4096
```
考虑调整的另一个设置是 yarn.app.mapreduce.am.resource.mb
2023-02-05 09:21 回答

高飘琼里15
在纱线级别检查是否有垂直和物理内存使用率.问题不仅是VM没有足够的物理内存.但这是因为虚拟内存使用量超过预期的给定物理内存.

注意:由于其积极分配虚拟内存,因此在Centos/RHEL 6上发生这种情况.

它可以通过以下方式解决:
参考文献:

https://issues.apache.org/jira/browse/HADOOP-11364

http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/

在yarn-site.xml中添加以下属性
```
 <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
 <property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>
```
2023-02-05 09:21 回答

西瓜246
由于声誉低,我不能对接受的答案发表评论.但是,我想补充一下,这种行为是设计的.NodeManager正在杀死你的容器.听起来你正在尝试使用hadoop流,它作为map-reduce任务的子进程运行.NodeManager监视任务的整个进程树,如果它分别占用的内存大于mapreduce.map.memory.mb或mapreduce.reduce.memory.mb中设置的最大内存,我们会期望Nodemanager终止任务,否则你的任务是窃取属于你不想要的其他容器的内存.

2023-02-05 09:23 回答

zpy7005434

撰写答案

今天，你开发时遇到什么问题呢？

立即提问

热门标签