软件传统目录加载器
swh.loader.dir的Python项目详细描述
SWH加载程序目录
软件传统目录加载程序是一个工具和库。
它的唯一目的是遍历本地目录并注入swh 数据集该目录结构中包含的所有未知文件。
配置
加载程序需要{/etc/softwareheritage | ~/.config/swh | ~/.swh}
/loader/dir.yml中的配置文件。
这个文件应该类似于这个(根据您的需要调整)?:
storage:cls:remoteargs:url:http://localhost:5002/
运行
要运行加载程序,可以使用以下任一选项:
- 蟒蛇3的顶层
- 芹菜
顶层
直接从代码或顶层加载目录:
dir_path='/home/storage/dir/'# Fill in thoseorigin={'url':'some-origin','type':'dir'}visit_date='Tue, 3 May 2017 17:16:32 +0200'revision={'author':{'name':'some','fullname':'one','email':'something'},'committer':{'name':'some','fullname':'one','email':'something'},'message':'1.0 Released','date':None,'committer_date':None,'type':'tar','metadata':{}}importlogginglogging.basicConfig(level=logging.DEBUG)fromswh.loader.dir.tasksimportLoadDirRepositoryl=LoadDirRepository()l.run_task(dir_path=dir_path,origin=origin,visit_date=visit_date,revision=revision,release=None,branch_name='master')
芹菜
要使用芹菜,请在
{/etc/softwareheritage | ~/.config/swh | ~/.swh}
/worker.yml`文件:
task_modules:-swh.loader.dir.taskstask_queues:-swh_loader_dir
cf.swh-core's documentation用于 更多细节。
然后,您可以将以下消息发送到任务队列:
fromswh.loader.dir.tasksimportLoadDirRepository# Fill in thoseorigin={'url':'some-origin','type':'dir'}visit_date='Tue, 3 May 2017 17:16:32 +0200'release=Nonerevision={}occurrence={}# Send message to the task queueLoaderDirRepository().run(('/path/to/dir',origin,visit_date,revision,release,[occurrence]))