当你不知道要走多少步的时候,你就可以用发电机了

2022-12-01 04:44:23 发布

您现在位置:Python中文网/ 问答频道 /正文

B“高

如果我事先不知道一个历元中有多少条记录,有没有办法实现一个数据生成器(通过创建python生成器或子类化序列)来训练数据?你知道吗

很多时候,即使你不能将整个训练集加载到内存中,你仍然知道你将有多少个项目-对于图像,你可以得到一个文件计数,或者类似的东西。但有时您事先不知道,而且要获得准确的计数代价太高—如果您有多个可变长度的文件,每个文件都有许多记录,或者如果您正由外部源提供训练数据。实际上,每个历元都可能有更多的数据,到第一个历元完成时,可能已经收集了更多的数据。你知道吗

所以你不知道传递给steps_per_epoch的数字是什么,也不知道如何实现__len__

目前我实际上正在制作一个cnn,但是如果是一个lstm


Tags: 文件数据项目内存图像记录序列数字steps计数per办法epoch代价历元