快速获取多个页面

mucri的Python项目详细描述


穆克里

使用pythonasyncio快速获取许多页面/api。

安装

Only python 3.6+

pip isntall mucri

用法

fetch_pages接受两个参数:

links:要获取的链接列表(下面的示例) concurrency:一次要发送多少请求(默认为20)

frommucriimportfetch_pages# links can be a single string or a dict with specific instructionslinks=["http://meain.github.io",# Can be just a url{"url":"http://somelink"},# or a dict with url key{# for more complex stuff"url":"http://fakelink","action":"get",# get | post"data":{},"headers":{},"resp_type":"text",# text | json | image}]results=fetch_pages(links)# fetches all of them asynchronously

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
如何使用运行时从JAVA运行openssl命令?   不使用线程安全类(如AtomicInteger和SynchronizedList)的java ProducerConsumer问题   匹配字符串的java模式   在java中使用泛型接口作为返回类型   java将可能具有序列化JSON值的hashmap作为节点添加到JSON字符串中   Eclipse无法从Java8流推断正确的类型   java无法了解标准JButton的大小   java我能用一个循环优化这个函数吗(在第一种方法中)?   Apache CXF中基于WebSocket的java SOAP?   java想要运行奇偶和求和三步   矩阵上随机元素的java集值   java布尔相等:0==a,操作数顺序重要吗?   java Eclipse不会退出我的插件   java如何在spring的SOAP拦截器中获取HttpServletRequest和HttpServletResponse