如何从hdfs读取文件

Question

我在/project1目录下的hadoop文件系统中有一个文本文件名mr.txt。我需要编写python代码来读取文本文件的第一行，而无需将mr.txt文件下载到本地。但是我很难从hdfs打开mr.txt文件。 我试过：

open('hdfs:///project1/mr.txt','r') 

Answer 1

不知道你的软件是什么或在哪里运行。。。

您可以使用NFS server以便挂载HDFS卷并在本地访问它。如果此选项不适合您的需要，则应使用Hadoop Streaming。最后，如果您正在编写一个Spark作业，您可以像访问本地FS一样访问HDFS。

Answer 2

安装PySpark。

text = sc.textFile('hdfs:///project1/mr.txt')
first_line = text.first()