pywhdfs:python web hdfs客户端。
pywhdfs的Python项目详细描述
Pywhdfs
==
Web HDF的API和交互式命令行界面。
`` bash
$Pywhdfs-c prod
=----
--web hdfs客户端可用作“客户端”。--
----享受吧!————————————————————————————————————————————————————————————————————————————————————————————————————————————————u'user']
````
令牌)和不安全群集
*支持ha群集和处理namenode故障转移
*支持具有多个名称服务和装载点的hdfs联合。
*json格式群集配置。
*在python shell上与webhdfs api交互的命令行界面
。
*支持上传和下载的并发性。
Getting Started
----
```bash
$easy_install pywhdfs
```
configuration
。
一个简单的配置文件看起来像:
``json
{
“clusters”:[
{
“name”:“prod”,
“auth\u mechanism”:“gssapi”,
“verify”:false,
“trust store”:“trust/store/path.jks”,
“名称服务”:[
{
“url”:[“http://first_namenode_url:50070”,“http://second_namenode_url:50070”],
“mounts”:[“/”]
}
]
}
]
}
}
````
>配置文件根据[架构文件](pywhdfs/resources/config_schema.json)进行验证
配置文件的默认位置是“~/.webhdfs.cfg”,但可以使用
webhdfs_配置环境覆盖。变量。
用法
----
,“http://host2.hadoop.domain:50070”],“mounts”:[“/”]}),auth_mechanism=“gssapi”,verify=false)
>;>;client.list(“/”
````
交互shell要求在配置文件中设置群集的连接参数,
,群集名称需要与作为参数传递的名称匹配。
贡献
----
非常欢迎反馈和拉取请求!
==
Web HDF的API和交互式命令行界面。
`` bash
$Pywhdfs-c prod
=----
--web hdfs客户端可用作“客户端”。--
----享受吧!————————————————————————————————————————————————————————————————————————————————————————————————————————————————u'user']
````
令牌)和不安全群集
*支持ha群集和处理namenode故障转移
*支持具有多个名称服务和装载点的hdfs联合。
*json格式群集配置。
*在python shell上与webhdfs api交互的命令行界面
。
*支持上传和下载的并发性。
Getting Started
----
```bash
$easy_install pywhdfs
```
configuration
一个简单的配置文件看起来像:
``json
{
“clusters”:[
{
“name”:“prod”,
“auth\u mechanism”:“gssapi”,
“verify”:false,
“trust store”:“trust/store/path.jks”,
“名称服务”:[
{
“url”:[“http://first_namenode_url:50070”,“http://second_namenode_url:50070”],
“mounts”:[“/”]
}
]
}
]
}
}
````
>配置文件根据[架构文件](pywhdfs/resources/config_schema.json)进行验证
配置文件的默认位置是“~/.webhdfs.cfg”,但可以使用
webhdfs_配置环境覆盖。变量。
用法
----
,“http://host2.hadoop.domain:50070”],“mounts”:[“/”]}),auth_mechanism=“gssapi”,verify=false)
>;>;client.list(“/”
````
交互shell要求在配置文件中设置群集的连接参数,
,群集名称需要与作为参数传递的名称匹配。
贡献
----
非常欢迎反馈和拉取请求!