Pythorch数据集,允许您迭代远程计算机上的数据,而不必复制所有数据。
remtorch的Python项目详细描述
用法示例
importiofromPILimportImageimportnumpyasnpimporttorchfromremtorchimportRemoteDatasetclassImageDataset(RemoteDataset):defprepare_item(self,item):buf=io.BytesIO(item)buf.seek(0)img=Image.open(buf)returnnp.array(img)ds=ImageDataset('servername','username','password','/path/to/files',batchsize)dl=torch.utils.data.DataLoader(ds,batchsize)forimgindl:# do smth
- 项目
标签: