打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Python 网络爬虫程序 多任务异步协同模板
userphoto

2022.10.19 浙江

关注
import asyncio #导入协同函数库import timeasync def fun1(): print('func1 start') await asyncio.sleep(10) print('func1 start')async def fun2(): print('func2 start') await asyncio.sleep(3) print('func2 start')async def fun3(): print('func3 start') await asyncio.sleep(4) print('func3 start')async def main():#创建协同任务 tasks=[ asyncio.create_task(fun1()), asyncio.create_task(fun2()), asyncio.create_task(fun3()) ] await asyncio.wait(tasks)if __name__ == '__main__': t1=time.time() asyncio.run(main()) t2=time.time() print(t2-t1)

运行结果

#网络爬虫异步协同程序模板import asyncio #导入协同函数库import timeasync def download(url):    print('正在下载')    await asyncio.sleep(1)    print('下载完成')async def main():    urls = [        'www.baidu.com',        'www.qq.com',        'www.126.com'    ]    task = []    for url in urls:        d = asyncio.create_task(download(url))        task.append(d)    await asyncio.wait(task)if __name__ == '__main__':    t1 = time.time()    asyncio.run(main())    t2 = time.time()    print(t2 - t1)

运行结果(单线程需要3秒多)

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
《源码探秘 CPython》90. 剖析 Python 的协程
python协程系列(五)——asyncio的核心概念与基本架构
python 异步 async/await -1.一文理解什么是协程
Python编程学习:这会是你见过讲得最清楚的「异步爬虫指南」
小白学 Python 爬虫(32):异步请求库 AIOHTTP 基础入门
强大的异步爬虫 with aiohttp
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服