在本地linux或mac文件系统上安装knox保护的webhdfs
fuse-webhdfs的Python项目详细描述
说明
在本地Linux或Mac文件系统上安装WebHDFS
之后，您可以像访问本地文件系统一样访问webhdfs文件系统 目录-使用常规的unix文件操作。
安装
第一个依赖项是fuse，您可以使用以下命令在ubuntu上安装它：
sudo apt-get install fuse
或在Redhat上使用：
sudo yum install fuse
之后，您只需运行：
pip3 install fuse_webhdfs
这将拉入所有依赖项
准备IBM内部证书
如果您在IBM网络上运行，则需要IBM内部证书 链子。您可以运行以下命令来准备此链：
curl -L https://daymvs1.pok.ibm.com/ibmca/downloadCarootCert.do\?file\=carootcert.der | openssl x509 -inform DER -outform PEM > ibm-chain.crt curl -L https://daymvs1.pok.ibm.com/ibmca/downloadCarootCert.do\?file\=caintermediatecert.der | openssl x509 -inform DER -outform PEM >> ibm-chain.crt
在下面的配置步骤中，请提供“ibm chain.crt” 作为hdfs web服务器证书路径。
用法
在一个终端类型中：
mkdir -p ~/fuse-webhdfs python3 mount-webhdfs.py ~/fuse-webhdfs
现在必须输入hdfs端点参数和hdfs（knox） 用户名和密码。对于ibm内部使用，请提供w3id 用户名和密码。
这些参数将以纯文本形式保存在 $HOME/.config/webhdfs.ini。如果你对此有意见，请 创建一个pull请求，我很乐意考虑合并它。
安装后，在其他终端上可以列出文件， 阅读它们等。例如：
ls -l ~/fuse-webhdfs/tmp echo "this is a test" > ~/fuse-webhdfs/tmp/test cat ~/fuse-webhdfs/tmp/test
欢迎加入QQ群-->： 979659372
