使用hdfs文件系统的jupyter内容管理器

hdfscontents的Python项目详细描述


目前尚待待解决的问题还未得到足够的====
hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdpf-hdp笔记本
==================



















《入门入门<
br/>----


1。我们假设您已经有一个正在运行的hadoop集群和jupyter

2。设置java home和hadoop home环境变量

3。在某些情况下,还需要设置类路径

::


export classpath=`$hadoop_home/bin/hadoop classpath--glob`

。代码:bash

4.安装hdfscontents管理器。这也将安装依赖项,例如pydoop_

::


>pip安装hdfscontents

……代码:bash

5.配置并运行jupyter笔记本。

--hdfscontentsmanager.hdfs_namenode_host='localhost'\
--hdfscontentsmanager.hdfs_namenode_port=9000\
--hdfscontentsmanager.hdfs_user='myuser'\
--hdfscontentsmanager.root_dir='/user/myuser/'

。代码:bash

或者,第一次运行:

:::



…代码:bash

生成默认配置文件。在生成的文件中编辑并添加与hdfs相关的配置。然后启动笔记本服务器。_ Pydoop:http://crs4.github.io/Pydoop/

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何在饼图的图例中只包含每个类别的长描述?   json Grails应用程序,可以从Java DAO服务访问数据库如何访问控制器中的服务?   java将大型远程数据库表同步到本地数据库表,该表包含字段“lastModificationTime”   java如何在JFrame中创建交互式地图   web服务如何创建异步Java Restlet web服务?   java开始读取特定字节   java在jTable中返回不带SQL的搜索结果(带DAOMock)   jakarta ee java ee MVC模式,模型和视图是否直接相互通信   当由负载平衡器处理时,java Spring引导CSRF失败   java为什么JavaMail连接超时太长   java IzPack需要从安装程序安装JDK/JRE版本   java如何创建一个只接受实现Iterable的元素的方法   java spring数据存储库无法使用idClass保存实体   java如何从列表中删除重复项?   java在SocketChannel中发送大量数据时,影响速度的因素有哪些?   算法分支和绑定错误:节点1无法转换为java。可比的   java使用邮件API从Swing应用程序创建Jar文件   java枚举与简单常量声明?