卡维顿io
qaviton-io的Python项目详细描述
卡维顿IO
Qaviton IO
是一个具有简单API的包，利用python的异步和多处理
使许多异步操作能够快速执行。在
安装
pip install qaviton-io -U
要求
- Python 6.3+
特点
- 异步任务管理器
- 流程任务管理器
- 任务记录器
使用
异步管理器 ^{pr2}$流程经理：
"""make sure your tasks are defined at the module level,so they can be pickled by multiprocessing"""fromtimeimporttimefromrequestsimportgetfromqaviton_io.typesimportTasksfromqaviton_ioimportProcessManager,taskfromtracebackimportformat_exc# now we make some tasks# this is a nested task# we don't want to handle any exceptions# so in case of failure the parent will not proceed@task()deftask1(url):r=get(url)r.raise_for_status()# this is the prent task# we want to handle all exceptions# so in case of failure the next task will execute@task(exceptions=Exception)defmulti_task():forurlin["https://qaviton.com","https://qaviton.co.il",# make sure you enter a valid address"https://qaviton.com1",# make sure you enter a valid address]:task1(url)# let's create a function to execute tasksdefexecute_tasks(tasks:Tasks,timeout):manager=ProcessManager()t=time()try:manager.run_until_complete(tasks,timeout=timeout)timed_out=NoneexceptTimeoutError:timed_out=format_exc()t=time()-tmanager.report()print(f'took {round(t,3)}s\n')manager.log.clear()returntimed_out# now all that's left is to run the tasksif__name__=="__main__":timeouts=[execute_tasks([multi_taskfor_inrange(1)],timeout=3),execute_tasks([multi_taskfor_inrange(20)],timeout=6),execute_tasks([multi_taskfor_inrange(80)],timeout=9),]fortimeoutintimeouts:iftimeout:print(timeout)
注意事项：
- 在
性能好、使用方便
在
您可能应该坚持使用AsyncManager - 在
ProcessManager使用异步操作和多处理。
在
它跨CPU分配任务，并使用AsyncManager执行这些任务
如果您想要最大的效率，您应该考虑使用ProcessManager - 在
ProcessManager使用多处理模块
在
并应相应地处理其限制和限制 - 在
ProcessManager很容易卡住，
在
使用时一定要使用超时
- 项目
标签：
欢迎加入QQ群-->： 979659372
