使用多线程和多处理的pandas下载数据。

ConcurrentPandas的Python项目详细描述


concurrent pandas是一个python库,允许您使用pandas和/或quandl使用线程或进程同时下载大容量数据。并发对您有什么好处?同时下载数据而不是一次只下载一个密钥,并发panda会根据计算机上可用的进程数自动生成最佳数量的进程或线程。

注意:并发熊猫与quandl或python熊猫没有关联,它只允许您更快地访问它们。

--
解包以插入密钥**
-传递一个或多个:
-列出
-设置
-deques
-继承自抽象基类*container*的任何其他数据结构,前提是它不同时继承自python*basestring*并允许迭代。
-**如果下载失败或多次,则自动重新尝试out**
-重试次数增加了每次连续失败后重试的时间
-**支持的数据源种类**
-quandl
-美联储经济数据
-谷歌金融
-雅虎金融
-即将推出更多!
-**数据在快速查找的哈希映射中返回**(*o(1)average case*)
-哈希映射键是快速查找输入的字符串,存储桶包含您的熊猫数据帧




>
——
-
使用方便
`````

``` `

定义您的键
yahoo键=[“aapl”,“xom”,“msft”,“googg”,“googg”,“googg”,“brk-b实例化并发pandas
fast\u panda=concurrentpandas.concurrentpandas()
现在,熊猫对象包含了一个结果的dict,现在
mymap=fast\panda.return\map()
;方便地从地图中提取数据进行研究
print(mymap[“aapl”].head)
````

>
>--
注意:只在linux上测试了



安装说明

>注意:只在linux上测试安装执行:

>
br/>PIP安装ConcurrentPanda现在需要美化组4,熊猫0.16或更新版本。

--



[1]:https://github.com/briwilcox
[2]:http://brian m wilcox.com/
[3]:https://twitter.com/brian_m_wilcox




作者

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java在搜索二进制搜索树时遇到问题   当try block中的多行抛出异常时,java使用TryWithResources而不是finally block   java什么时候需要动态多态性(与静态多态性相比)?   从对象类型的角度来看,java的子类是否与racine类等价?   JavaSpring数据JDBConetomany关系会导致大量日志警告   Java:无法更改响应标头中的“ContentDisposition”属性   Java:我可以直接初始化函数而不将其转换为变量吗?   java do,而游标仅从数组返回3个值   java StoredProcedureQuery多输出类型   java ForLoops最大和最小数   如何在java中的任何机器上读取文本文件   java从嵌套标记中获取XML字符串中包含的值   java如何解决Spring批处理作业运行期间的连接重置异常?   我在运行时创建的java Swing组件没有显示在JPanel中   Apache Jena:Error:“java.lang.NoClassDefFoundError:org/Apache/Jena/riot/RDFDataMgr”   java访问嵌套接口数据变量   java如果CopyOnWriteArrayList中的项目被不同的线程更新和读取,我需要同步它们吗?   在Java数组中不断迭代   java组织。贾维斯。常见的例外JaversException:NOT_INSTANCE_OF:无法为EntityType创建InstanceId