2024-04-23 23:16:16 发布
网友
即使到Keras 1.2.2,引用merge,它也包含了多处理,但是由于磁盘读取速度的限制,model.fit_generator()仍然比model.fit()慢4-5倍。如何加快速度,比如通过额外的多处理?
model.fit_generator()
model.fit()
我有一个类似的问题,我切换到dask将数据加载到内存中,而不是在使用pandas时使用生成器。因此,根据数据大小,如果可能,将数据加载到内存中并使用fit函数。
您可能需要检查documentation中workers和max_queue_size的参数。实际上,更多的workers创建更多的线程,用于将数据加载到将数据馈送到网络的队列中。但是,填充队列可能会导致内存问题,因此您可能需要减少max_queue_size以避免出现这种情况。
workers
max_queue_size
我有一个类似的问题,我切换到dask将数据加载到内存中,而不是在使用pandas时使用生成器。因此,根据数据大小,如果可能,将数据加载到内存中并使用fit函数。
您可能需要检查documentation中
workers
和max_queue_size
的参数。实际上,更多的workers
创建更多的线程,用于将数据加载到将数据馈送到网络的队列中。但是,填充队列可能会导致内存问题,因此您可能需要减少max_queue_size
以避免出现这种情况。相关问题 更多 >
编程相关推荐