使用多线程和多处理的pandas下载数据。
ConcurrentPandas的Python项目详细描述
concurrent pandas是一个python库,允许您使用pandas和/或quandl使用线程或进程同时下载大容量数据。并发对您有什么好处?同时下载数据而不是一次只下载一个密钥,并发panda会根据计算机上可用的进程数自动生成最佳数量的进程或线程。
注意:并发熊猫与quandl或python熊猫没有关联,它只允许您更快地访问它们。
--
解包以插入密钥**
-传递一个或多个:
-列出
-设置
-deques
-继承自抽象基类*container*的任何其他数据结构,前提是它不同时继承自python*basestring*并允许迭代。
-**如果下载失败或多次,则自动重新尝试out**
-重试次数增加了每次连续失败后重试的时间
-**支持的数据源种类**
-quandl
-美联储经济数据
-谷歌金融
-雅虎金融
-即将推出更多!
-**数据在快速查找的哈希映射中返回**(*o(1)average case*)
-哈希映射键是快速查找输入的字符串,存储桶包含您的熊猫数据帧
>
——
-
使用方便
`````
``` `
定义您的键
yahoo键=[“aapl”,“xom”,“msft”,“googg”,“googg”,“googg”,“brk-b实例化并发pandas
fast\u panda=concurrentpandas.concurrentpandas()
现在,熊猫对象包含了一个结果的dict,现在
mymap=fast\panda.return\map()
;方便地从地图中提取数据进行研究
print(mymap[“aapl”].head)
````
>
>--
注意:只在linux上测试了
安装说明
>注意:只在linux上测试安装执行:
>
br/>PIP安装ConcurrentPanda现在需要美化组4,熊猫0.16或更新版本。
--
[1]:https://github.com/briwilcox
[2]:http://brian m wilcox.com/
[3]:https://twitter.com/brian_m_wilcox
作者
注意:并发熊猫与quandl或python熊猫没有关联,它只允许您更快地访问它们。
--
解包以插入密钥**
-传递一个或多个:
-列出
-设置
-deques
-继承自抽象基类*container*的任何其他数据结构,前提是它不同时继承自python*basestring*并允许迭代。
-**如果下载失败或多次,则自动重新尝试out**
-重试次数增加了每次连续失败后重试的时间
-**支持的数据源种类**
-quandl
-美联储经济数据
-谷歌金融
-雅虎金融
-即将推出更多!
-**数据在快速查找的哈希映射中返回**(*o(1)average case*)
-哈希映射键是快速查找输入的字符串,存储桶包含您的熊猫数据帧
>
——
-
使用方便
`````
``` `
定义您的键
yahoo键=[“aapl”,“xom”,“msft”,“googg”,“googg”,“googg”,“brk-b实例化并发pandas
fast\u panda=concurrentpandas.concurrentpandas()
现在,熊猫对象包含了一个结果的dict,现在
mymap=fast\panda.return\map()
;方便地从地图中提取数据进行研究
print(mymap[“aapl”].head)
````
>
>--
注意:只在linux上测试了
安装说明
>注意:只在linux上测试安装执行:
>
br/>PIP安装ConcurrentPanda现在需要美化组4,熊猫0.16或更新版本。
--
[1]:https://github.com/briwilcox
[2]:http://brian m wilcox.com/
[3]:https://twitter.com/brian_m_wilcox
作者