火花存储记忆提取在Apache Sp中设置

Question

根据Spark文档

spark.storage.memoryFraction：用于Spark内存缓存的Java堆的一部分。这不应该大于JVM中对象的“旧”代，默认情况下堆的大小为0.6，但如果配置自己的旧代大小，则可以增加它。在

我在几篇博客中找到了它的零度模式，并建议在那里找到它。为什么这比设置接近1的值好？一般来说，它的合理价值是多少？在

Answer 1

火花执行器分为3个区域。在

1. 存储-为缓存保留的内存
2. 执行-为对象创建保留的内存
3. 执行器开销。在

在Spark 1.5.2及更早版本中：

在火花存储记忆提取设置为1和2设置的内存比率。默认值为.6，因此60%的已分配执行器内存被保留用于缓存。根据我的经验，我只发现数量减少了。通常，当开发人员遇到GC问题时，应用程序在对象中有更大的“搅乱”，而进行优化的首要位置之一就是更改内存提取。在

如果应用程序没有缓存任何数据，则应该将其设置为0。不知道为什么这是针对纱线的，你能把文章贴出来吗？在

在Spark 1.6.0及更高版本中：

内存管理现在是统一的。存储和执行共享堆。所以这不再适用了。在