在深度学习环境中简化数据处理的简单库。使用与pytorch数据加载器不相似的api
dataManager的Python项目详细描述
数据管理器
在深度学习环境中简化数据处理的简单库。使用与Pythorch数据加载器不同的API
用法
fromdataManagerimportManagerasDataManagerdataFunction=lambdax:(reduceImageSize(inputImages,x),inputLabels[x],...)# Initialize Data ProvidersdataManger=DataManger(data=dataFunction,bz=32,stochasticSampling=True,indexingShape=[dataInput.shape[0]])# provide the data for the tenth batchi=10dataManger(i,stochastic=False).shape# > (32, ...)
API
__init__(data, indexingShape = None, bz = 32, stochasticSampling = True)
data: numpy.array or function：培训期间使用的数据。如果提供了numpy数组，则数据将包装在函数中。输入函数应该只接受一个参数，它是数据批处理元素的索引。indexingShape: array：大小为1或2的数组。用于提供每个批次的数据。如果数组有dim 1，那么将提供一个索引列表。如果^ {CD4}}被设置为false，则索引将从0排序到（索引形状-索引形状%BZ），否则，如果数组为DIM 2，则索引将从左到右以及从2D矩阵的上到下提供，在这种情况下，我们也只提供尽可能多的索引来提供全批。stochasticSampling: bool：如果为true，则以完全随机的方式对提供的索引进行采样，每个元素的概率相等。对于每个批，所有索引都将不同，但批处理不能保证索引的唯一性。
__call__(i, stochastic = None)
i: integer：当前批次的索引，从0开始stochastic: bool：是否使用随机抽样
注：
随机抽样重写有序索引。
未记录的函数：
随机抽样重写有序索引。
- self.getbatch（self，step，bz）：返回给定步骤的有序索引批
- self.getbatch（self，step，bz）：返回给定步骤的有序索引批
- self.getStochasticBatch（self，shape，bz）：返回随机选取的一组概率相等的元素。形状是默认形状的特定形状，如果没有给出形状的话。
欢迎加入QQ群-->： 979659372
