使用hdfs文件系统的jupyter内容管理器
hdfscontents的Python项目详细描述
目前尚待待解决的问题还未得到足够的====
hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdpf-hdp笔记本
==================
《入门入门<
br/>----
1。我们假设您已经有一个正在运行的hadoop集群和jupyter
2。设置java home和hadoop home环境变量
3。在某些情况下,还需要设置类路径
::
export classpath=`$hadoop_home/bin/hadoop classpath--glob`
。代码:bash
4.安装hdfscontents管理器。这也将安装依赖项,例如pydoop_
::
>pip安装hdfscontents
……代码:bash
5.配置并运行jupyter笔记本。
--hdfscontentsmanager.hdfs_namenode_host='localhost'\
--hdfscontentsmanager.hdfs_namenode_port=9000\
--hdfscontentsmanager.hdfs_user='myuser'\
--hdfscontentsmanager.root_dir='/user/myuser/'
。代码:bash
或者,第一次运行:
:::
…代码:bash
生成默认配置文件。在生成的文件中编辑并添加与hdfs相关的配置。然后启动笔记本服务器。_ Pydoop:http://crs4.github.io/Pydoop/
hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdpf-hdp笔记本
==================
《入门入门<
br/>----
1。我们假设您已经有一个正在运行的hadoop集群和jupyter
2。设置java home和hadoop home环境变量
3。在某些情况下,还需要设置类路径
::
export classpath=`$hadoop_home/bin/hadoop classpath--glob`
。代码:bash
4.安装hdfscontents管理器。这也将安装依赖项,例如pydoop_
::
>pip安装hdfscontents
……代码:bash
5.配置并运行jupyter笔记本。
--hdfscontentsmanager.hdfs_namenode_host='localhost'\
--hdfscontentsmanager.hdfs_namenode_port=9000\
--hdfscontentsmanager.hdfs_user='myuser'\
--hdfscontentsmanager.root_dir='/user/myuser/'
。代码:bash
或者,第一次运行:
:::
…代码:bash
生成默认配置文件。在生成的文件中编辑并添加与hdfs相关的配置。然后启动笔记本服务器。_ Pydoop:http://crs4.github.io/Pydoop/