用于构建和使用计算机视觉数据集的实用程序
xt-cvdata的Python项目详细描述
xt cvdata公司
说明
此repo包含用于构建和使用由Xtract AI开发的计算机视觉数据集的实用程序。在
到目前为止,包括以下开源数据集的API:
- COCO 2017(检测和分割):
xt_cvdata.apis.COCO
- 打开图像V5(检测和分割):
xt_cvdata.apis.OpenImages
- 可视化对象标记工具(VoTT)CSV输出(检测):
xt_cvdata.apis.VoTTCSV
还有更多。在
安装
来自PyPI:
pip install xt-cvdata
来源:
^{pr2}$使用
使用help
查看数据集类的特定帮助。E、 g.,help(xt_cvdata.apis.COCO)
。在
构建数据集
fromxt_cvdata.apisimportCOCO,OpenImages# Build an object populated with the COCO image list, categories, and annotationscoco=COCO('/nasty/data/common/COCO_2017')print(coco)print(coco.class_distribution)# Same for Open Imagesoi=OpenImages('/nasty/data/common/open_images_v5')print(oi)print(coco.class_distribution)# Get just the person classescoco.subset(['person'])oi.subset(['Person']).rename({'Person':'person'})# Merge and buildmerged=coco.merge(oi)merged.build('./data/new_dataset_dir')
这个包遵循pytorch链接规则,这意味着操作对象的方法会就地修改它,但也会返回修改后的对象。例外的是merge()
方法,它不会就地修改并返回一个新的合并对象。因此,上述操作也可以使用以下方法完成:
fromxt_cvdata.apisimportCOCO,OpenImagesmerged=(COCO('/nasty/data/common/COCO_2017').subset(['person']).merge(OpenImages('/nasty/data/common/COCO_2017').subset(['Person']).rename({'Person':'person'})))merged.build('./data/new_dataset_dir')
实际上,在这两种方法之间的某个地方可能是最可读的。在
当前的数据集操作集包括:
analyze
:重新计算数据集统计信息(例如,类分布、train/val分割)verify_schema
:检查类属性是否遵循所需的模式subset
:从数据集中除去类的一个子集rename
:重命名/组合数据集类sample
:从训练集和验证集中抽取指定数量的图像split
:定义验证集中的数据比例merge
:将两个数据集合并在一起,返回合并的数据集build
:使用符号链接或复制图像创建当前定义的数据集
实现新的数据集类型
新的数据集类型应该从基xt_cvdata.Builder
类继承。请参阅Builder
、COCO
和OpenImages
类作为指南。具体地说,类初始值设定项应该定义info
、licenses
、categories
、annotations
和{self.verify_schema()
运行时不会出错。这可以确保在Builder
类中定义的所有方法都能在继承类上正确操作。在
数据源
[数据说明和链接]
依赖关系/许可
[依赖项及其许可证的列表,包括数据]
参考文献
[参考文献列表]
- 项目
标签: