Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我目前在2.4.5版上有一个由1个驱动程序和2个工作程序组成的Spark群集
我想进一步优化并行性，以便在加载和处理数据时获得更好的吞吐量，在这样做时，我经常在控制台上收到以下消息：
WARN scheduler.TaskSetManager: Stage contains a task of very large size (728 KB). The maximum recommended task size is 100 KB.
这是怎么回事？我对Spark技术相当陌生，但了解它的基础知识，我想知道如何对此进行优化，但我不确定它是否涉及配置从机以拥有更多执行器，并以这种方式获得更多并行性，或者是否需要使用合并或重分片函数对数据帧进行分区
提前谢谢你们
Tags： 数据程序消息tasksizekb驱动程序stage
热门问题
- Kerasterflow预训练模型中的纯训练偏差
- KerasTF Conv2D模型运行时无响应型号.fi
- Kerastuner Randomsearch:TypeError:（“关键字参数未理解：”，“激活”）
- Kerastuner ValueError:形状（320，）和（1，）不兼容
- Kerastuner:“ValueError:不是法律参数”问题，当我使用LSTM网络时，但密集层工作正常
- KerasTuner：是否可以在目标/度量函数中使用测试/验证集？
- KerasTuner自定义目标函数
- kerastuner调整层数会创建与报告的层数不同的层数
- KerasTuner运行时错误：构建模型的失败尝试太多
- kerasv1.2.2与kerasv2+的奇怪行为（精确度上的巨大差异）
- kerasvis中visualize_-cam/visualize_显著性的热图输出形状
- Kerasvis和tfkerasvis的激活最大化不适用于MobileNetV2模型
- Kerasvis对于显著性图表，我们应该使用softmax还是线性激活
- Kerasvis给出以下错误：AttributeError:多个入站节点
- kerasyolov3模型中预期输入和目标的格式和形状
- Keras一个GPU可以同时训练两个不相关的模型吗？
- Keras一类CNN两个输入，每一步一个
- keras三维张量上的Softmax层
- Keras三维目标预测
- keras上的flatten与python中的Image的区别
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
这里的要点是，您需要重新分区以获得更多但更小的分区，从而获得更多的并行性和更高的吞吐量。728k是与舞台相关的任意数字。当我刚开始使用Scala和Spark时，我有时也会这样
我看不到你的代码，所以我把它留在这里。但谷歌在这里搜索也表明缺乏并行性。老实说，这是众所周知的
相关问题 更多 >
编程相关推荐