hdfs数据存储扩展
ckanext-hdfs的Python项目详细描述
ckanext hdfs-hdfs存储扩展名
ckanext hdfs是在hdfs-hadoop分布式文件系统中启用文件存储的扩展。
此扩展提供了一种能力，允许用户将特定资源存储在hdfs中，而不是本地文件系统中。
注意：
- 需要正确设置java home和hadoop home。
要求
这个扩展是在ckan-2.7.3和hadoop-3.0.0下开发和测试的
安装
要安装ckanext hdfs:
激活您的CKAN虚拟环境，例如：
. /usr/lib/ckan/default/bin/activate
将ckanext hdfs python包安装到虚拟环境中：
pip install ckanext-hdfs
在ckan配置文件中添加hdfs设置（默认配置文件位于/etc/ckan/default/production.ini），如下所示：
ckan.plugins = hdfs <other-plugins> ckan.hdfs.storage_path = /ckan/data
重启ckan。例如，如果您在ubuntu上使用apache部署了ckan:
sudo service apache2 reload
开发安装
要安装ckanext hdfs进行开发，请激活ckan virtualenv并 做：
git clone https://github.com/etri-odp/ckanext-hdfs.git cd ckanext-hdfs python setup.py develop pip install -r dev-requirements.txt
运行测试
要运行测试，请执行：
nosetests --nologcapture --with-pylons=test.ini
要运行测试并生成覆盖率报告，首先确保 覆盖率安装在您的virtualenv（pip install coverage）中，然后运行：
nosetests --nologcapture --with-pylons=test.ini --with-coverage --cover-package=ckanext.hdfs --cover-inclusive --cover-erase --cover-tests
在pypi上注册ckanext hdfs
ckanext hdfs应该在pypi as上可用 https://pypi.python.org/pypi/ckanext-hdfs。如果链接不起作用，那么 您可以按照以下步骤第一次在pypi上注册项目 步骤：
创建项目的源分发版：
python setup.py sdist
注册项目：
python setup.py register
将源分发上载到pypi:
python setup.py sdist upload
在github上标记项目的第一个版本，版本号为 setup.py文件。例如，setup.py中的版本号是 0.0.1然后执行：
git tag 0.0.1 git push --tags
致谢
这项工作得到了韩国政府（MSIT）资助的信息与通信技术促进研究所（IITP）赠款（编号：2017-00253，基于国际标准开发先进的开放数据分发平台）的支持。
欢迎加入QQ群-->： 979659372
