Python hdfs_专题 - Python中文网

当前热门话题： Python hdfs: 本站为您提供最新、最全的hdfs的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。

本文网址：https://www.cnpython.com/tags/250266
欢迎加入QQ群-->： 979659372

关于hdfs 相关联的Python项目和问题：

如何在HDFS上将spark数据帧保存为csv？

Spark版本：1.6.1，我使用pyspark API。数据帧：df，它有两个列。我试过： 1: df.write.format('csv').save("hdfs://path/bdt_sum ...

2024-04-27 已阅读: n次

如何在python中从HDFS sequencefile加载数据

我运行了一个map reduce程序来读取HDFS文件，如下所示： hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/contrib/streaming/hadoop ...

2024-04-27 已阅读: n次

pyspark和HDFS命令

我想在我的Spark程序（Pyspark）开始时做一些清理工作。例如，我想从以前的HDFS运行中删除数据。在pig中，这可以使用如下命令来完成 fs -copyFromLocal .... rmf ...

2024-04-27 已阅读: n次

检查HDFS中是否存在Python中的文件

所以，我一直在使用Python中的fabric包为各种HDFS任务运行shell脚本。在但是，每当我运行任务来检查HDFS中是否已经存在一个文件/目录时，它只会退出shell。下面是一个示例（我使用 ...

2024-04-27 已阅读: n次

Pyspark将多个csv文件读入一个数据帧（或RDD？）

我有一个Spark 2.0.2集群，我正在通过Jupyter笔记本上的Pyspark进行访问。我有多个以管道分隔的txt文件（加载到HDFS中）。但也可以在本地目录中找到），我需要使用spark cs ...

2024-04-27 已阅读: n次

如何在拼花地板目录中查找特定列名

下面有多个目录。我正在尝试自动读取所有拼花地板文件，并查看它们的列名是否包含字符串“prodcolor”。一件事是并非所有目录都有拼花文件，并且在这部分hdfs://user/hive/warehou ...

2024-04-27 已阅读: n次

运行PySp中的自定义Java类

我试图在PySpark中运行一个自定义HDFS阅读器类。这个类是用Java编写的，我需要从PySpark访问它，可以从shell访问，也可以使用spark submit访问。在PySpark中，我从 ...

2024-04-27 已阅读: n次

PyArrow：如何使用新的文件系统接口将文件从本地复制到远程？

有谁能给我一个提示，告诉我如何使用PyArrow's new filesystem interface（即upload，copyFromLocal）将文件从本地文件系统复制到HDFS文件系统我反复阅 ...

2024-04-27 已阅读: n次

使用python scrip从hdfs（hadoop）目录获取文件列表

如何使用python脚本从hdfs（hadoop）目录中获取文件列表？我试过以下几行： dir = sc.textFile("hdfs://127.0.0.1:1900/directory") ...

2024-04-27 已阅读: n次

火花读取python3 pickle作为inpu

我的数据以一组Python 3 pickled文件的形式提供。其中大部分是熊猫的系列化。我想开始使用Spark，因为我需要比一台电脑更多的内存和CPU。另外，我将使用HDFS进行分布式存储。作为一 ...

2024-04-27 已阅读: n次

火花塞java.lang.OutOfMemoryError：请求的数组大小超过VM limi

我在运行一个Pypark的工作： spark-submit --master yarn-client --driver-memory 150G --num-executors 8 --executor ...

2024-04-27 已阅读: n次

如何使用spark（python读取zip文件中CSV文件的内容

我有多个zip文件，其中包含两种类型的文件（A.csv&B.csv;） /data/jan.zip-->；包含A.csv&B.csv; /data/feb.zip-->；包含A.csv& ...

2024-04-27 已阅读: n次

ckanext-hdfs

ckanext hdfs-hdfs存储扩展名 ckanext hdfs是在hdfs-hadoop分布式文件系统中启用文件存储的扩展。此扩展提供了一种能力，允许用户将特定资源存储在hdfs中，而不是 ...

2024-04-27 已阅读: n次

edmunds_hdfs_load

有关如何运行和配置脚本的信息，请参见“client_script/readme>；txt”文件 ...

2024-04-27 已阅读: n次

filemerge

文件合并 filemerge是一个实用程序，用于将大量小hdfs文件合并到较小数量的大文件。filemerge用于hadoop操作工程师和Map Reduce应用程序开发人员 ...

2024-04-27 已阅读: n次

pywhdfs

Pywhdfs==Web HDF的API和交互式命令行界面。`` bash$Pywhdfs-c prod=------web hdfs客户端可用作“客户端”。------享受吧！——————————— ...

2024-04-27 已阅读: n次

hdfscontents

目前尚待待解决的问题还未得到足够的====hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs-hdfs ...

2024-04-27 已阅读: n次

jupyter-hdfscontents

目前，还未得到足够的========================================================================================== ...

2024-04-27 已阅读: n次

tinyhdfs

基于webhdfs的小型hdfs客户端此包Python名称：tinyhdfs 目前版本： tinyhdfs 1.1.4 最后维护时 ...

2024-04-27 已阅读: n次

PythonWebHDFS

自定义python webhdfs客户端，从https://pypi.org/project/PyHDFS/修改 1.支持设置webhdfs路径 2.支撑塔架。 ...

2024-04-27 已阅读: n次

smart-open

什么？ smart庠open 是一个python 2&python 3库，用于从/到s3、hdfs、webhdfs、http或本地存储的非常大的文件的高效流式传输 ...

2024-04-27 已阅读: n次

chainerio

链周期 chainer io是chainer的一个io抽象库，针对deep进行了优化包括电池学习训练。它支持具有统一错误语义的文件系统api抽象，显式用户土地缓存系统， IO性能跟踪和度量统计 ...

2024-04-27 已阅读: n次

ahdp

ahdp是用于与hadoop框架集成的模块的ansible库，它提供了一种使用ansible的简单语法以非常简单和灵活的方式与不同hadoop服务交互的方法。本项目的目的是为devops和平台管理员提 ...

2024-04-27 已阅读: n次

jupyter-hdfscm

hdfs的jupyterContentsManager。有关详细信息，请参见the documentation 信息。许可证新的疯牛病。请参阅License File。 ...

2024-04-27 已阅读: n次

hops

快速启动要安装： >>> pip install hops 示例用法： >>> from hops import ex ...

2024-04-27 已阅读: n次

snakebite

纯python hdfs客户端此包Python名称：snakebite 目前版本： snakebite 2.11.0 最后维护时间 ...

2024-04-27 已阅读: n次

importable

允许按url导入压缩的zip python包。下载远程压缩的python包，解压并添加到python中路径。退出时将删除所有临时文件，除非Python进程为结束。注意：import应该在调 ...

2024-04-27 已阅读: n次

hdfs3

该项目尚未开发 pyarrow的jnihdfs interface是成熟和稳定的。它也有更少的问题配置和各种安全设置，不需要复杂的 libhdfs3的构建过程。因此，所有有HDFS3问题的用户 ...

2024-04-27 已阅读: n次

pysparkling

闪烁 pysparkling为开发程序提供了一种更快、更灵敏的方法为了Pyspark。它使Spark应用程序的代码能够执行完全在python中，不会引起初始化和通过jvm和hadoop传递数 ...

2024-04-27 已阅读: n次

hdfs

hdfscli hdfs的api和命令行接口。 $ hdfscli --alias=dev Welcome to the interactive HDFS python shell. The HDF ...

2024-04-27 已阅读: n次

omniduct

omniduct提供统一接口，用于连接到各种（可能是远程）数据存储（包括hdfs、hive、presto、mysql等）并从中提取数据。文档：http://omniduct.readthedocs ...

2024-04-27 已阅读: n次

srcd_smart_open

什么？ smart_open是一个python 2&python; 3库，用于从/到s3、hdfs、webhdfs、http或本地（压缩）文件的高效流式处理。它是python内置的open()的替 ...

2024-04-27 已阅读: n次