keras model.fit_generator()比model.fit()慢几倍

2024-04-23 23:16:16 发布

您现在位置:Python中文网/ 问答频道 /正文

即使到Keras 1.2.2,引用merge,它也包含了多处理,但是由于磁盘读取速度的限制,model.fit_generator()仍然比model.fit()慢4-5倍。如何加快速度,比如通过额外的多处理?


Tags: modelmergegenerator速度磁盘fitkeras加快速度
2条回答

我有一个类似的问题,我切换到dask将数据加载到内存中,而不是在使用pandas时使用生成器。因此,根据数据大小,如果可能,将数据加载到内存中并使用fit函数。

您可能需要检查documentationworkersmax_queue_size的参数。实际上,更多的workers创建更多的线程,用于将数据加载到将数据馈送到网络的队列中。但是,填充队列可能会导致内存问题,因此您可能需要减少max_queue_size以避免出现这种情况。

相关问题 更多 >