我想在gcp中训练我的keras模型
我的代码:
这就是我加载数据集的方式
dataset = pandas.read_csv('USDJPY.fx5.csv', usecols=[2, 3, 4, 5], engine='python')
这就是我触发云训练的方式
job_labels = {"job": "forex-usdjpy", "team": "xxx", "user": "xxx"}
tfc.run(requirements_txt="./requirements.txt",
job_labels=job_labels,
stream_logs=True
)
就在我的模型之前,应该没什么区别
model = Sequential()
model.add(LSTM(4, input_shape=(1, 4)))
model.add(Dropout(0.2))
model.add(Dense(4))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(trainX, trainY, epochs=1, batch_size=1, verbose=2)
一切正常,正在为我的模型创建docker图像,但未上载USDJPY.fx5.csv文件。 所以我得到文件未找到错误
将自定义文件加载到培训作业中的正确方法是什么? 我将火车数据上传到s3 bucket,但我无法告诉谷歌去那里查看
结果是我的GCP配置有问题 以下是我为使其工作而采取的步骤:
创建一个s3 bucket并公开其中的所有文件,以便train作业可以访问它们
在fsspec和gcsfs要求中包括这两项
从panda.readCsv中删除“engine”参数,如下所示
dataset=pandas.read_csv('gs:///USDJPY.fx5.csv',usecols=[2,3,4,5])
由于您正在将python文件上载到GCP,这是一种组织代码的好方法,因此可以将所有训练逻辑放入一个方法中,然后在cloud train标志上有条件地调用它:
如果有人感兴趣,下面是完整的工作代码
注意:这可能不是一个最佳的LSTM配置,请谨慎对待
相关问题 更多 >
编程相关推荐