一种独立的web服务,它解析ckan站点数据文件的内容并将其推送到其数据存储中。
datapusher的Python项目详细描述
数据推送器
datapusher是一个独立的web服务,可以自动下载任何csv或 将ckan站点资源中的xls(excel)数据文件添加到 ckan站点,解析它们以提取实际数据,然后使用数据存储api 将数据推送到ckan站点的数据存储中。
这使得资源文件中的数据可以通过ckan的数据存储api获得。 特别是,许多ckan的数据预览和可视化插件将只 使用(或将工作得更好)其内容在数据存储中的文件
要使它工作,您必须:
- 将DATAPEUCER实例部署到服务器(或使用现有的数据推送器) 实例)
- 在CKAN站点上启用并配置
datastore
插件 - 在ckan站点上启用并配置
datapusher
插件。
有关详细信息,请参见DataPusher documentation。
注意,如果使用package install选项安装ckan,则 Datapusher实例应自动安装并配置为工作 你的ckan网站。
datapusher是DataStorer的替代品。 它是用CKAN Service Provider和Messytables构建的。
datapusher的原始作者是 多米尼克·莫里茨。对于当前的贡献者列表 见github.com/ckan/datapusher/contributors
开发
安装Datapusher进行开发:
git clone https://github.com/ckan/datapusher.git
cd datapusher
pip install -r requirements-dev.txt
运行测试:
nosetests
构建文档:
pip install -r doc-requirements.txt python setup.py build_sphinx
发布新版本
要发布新版本的数据推送程序:
在datapusher/init.py中增加版本号
生成新版本的源发行版并将其发布到 PyPI:
python setup.py sdist bdist_wheel pip install --upgrade twine twine upload dist/*
您可能需要在 在继续下一步之前,请清除Virtualenv。
将setup.py更改提交到git,标记发布,并推送更改 以及github的标签:
git commit setup.py -m "Bump version number" git tag 0.0.1 git push git push origin 0.0.1
(将0.0.1的两个实例替换为 释放。)