hdfscli:hdfs的api和命令行接口。
hdfs的Python项目详细描述
hdfscli
hdfs的api和命令行接口。
$ hdfscli --alias=dev
Welcome to the interactive HDFS python shell.
The HDFS client is available as `CLIENT`.
In [1]: CLIENT.list('models/')
Out[1]: ['1.json', '2.json']
In [2]: CLIENT.status('models/2.json')
Out[2]: {
'accessTime': 1439743128690,
'blockSize': 134217728,
'childrenNum': 0,
'fileId': 16389,
'group': 'supergroup',
'length': 48,
'modificationTime': 1439743129392,
'owner': 'drwho',
'pathSuffix': '',
'permission': '755',
'replication': 1,
'storagePolicy': 0,
'type': 'FILE'
}
In [3]: with CLIENT.read('models/2.json', encoding='utf-8') as reader:
...: from json import load
...: model = load(reader)
...:
功能
用于传输文件和启动交互式客户端的命令行界面 shell，具有方便的namenode url缓存的别名。
通过可选扩展提供的附加功能：
avro，到read and write Avro files directly from HDFS。dataframe，到load and save Pandas dataframes。kerberos，到support Kerberos authenticated clusters。
查看documentation了解更多信息。
开始
$ pip install hdfs
然后跳到quickstart指南。aConda feedstock也是 可用。
测试
hdfscli同时针对WebHDFS和HttpFS进行测试。有两种方法
运行测试的次数（请参见scripts/，以帮助设置测试hdfs集群）：
$ HDFSCLI_TEST_URL=http://localhost:50070 nosetests # Using a namenode's URL. $ HDFSCLI_TEST_ALIAS=dev nosetests # Using an alias.
贡献
我们很想听听你在issues页上的想法。拉取请求也是 非常欢迎！
欢迎加入QQ群-->： 979659372
