使用hdfs文件系统的jupyter内容管理器

hdfscontents的Python项目详细描述


目前尚待待解决的问题还未得到足够的====
hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdpf-hdp笔记本
==================



















《入门入门<
br/>----


1。我们假设您已经有一个正在运行的hadoop集群和jupyter

2。设置java home和hadoop home环境变量

3。在某些情况下,还需要设置类路径

::


export classpath=`$hadoop_home/bin/hadoop classpath--glob`

。代码:bash

4.安装hdfscontents管理器。这也将安装依赖项,例如pydoop_

::


>pip安装hdfscontents

……代码:bash

5.配置并运行jupyter笔记本。

--hdfscontentsmanager.hdfs_namenode_host='localhost'\
--hdfscontentsmanager.hdfs_namenode_port=9000\
--hdfscontentsmanager.hdfs_user='myuser'\
--hdfscontentsmanager.root_dir='/user/myuser/'

。代码:bash

或者,第一次运行:

:::



…代码:bash

生成默认配置文件。在生成的文件中编辑并添加与hdfs相关的配置。然后启动笔记本服务器。_ Pydoop:http://crs4.github.io/Pydoop/

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
如何使用java在linux上编写系统日志   如何在同一个现有变量上多次更改变量的值?(爪哇)   易失性字符串Java   java需要帮助通过PreparedStatement编写适当的搜索查询   JavaMaven项目是否获得其他Maven项目的版本?   java如何在Eclipse中使用Drool应用程序抑制信息和警告调试信息   Java中FileReader和FileInputStream的区别是什么?   java如何为此编写HQL查询?   java方法根本不返回任何内容   VLCJ通过单个java程序控制多个音频文件   java为什么这个println命令不开始一个新行?   java如何创建自己的文件扩展名。odt或。医生?   声明字符串后,java在条件语句中设置int值   通过k8s作业文件将cmd参数传递给docker容器中的java应用程序