打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Python 爬虫如何实现自我维护和自我判断事件情况(一):自我恢复

看到很多人都在写怎么去用python做爬虫,大部分都是说个大概,没有详细的各种环境案例。

在日常工作当中,用python做爬虫去爬取数据,无疑是非常便利和快捷的。

譬如,要舒服点的,加载requests库,requests.get(url)一句代码就可以爬取数据了

但是在现实工作当中,并不是这么理想的场景,网络可能会中断、网站对方可能会拉黑你等待。。

如果直接双击运行py程序,就会弹出DOS窗口自动运行

在现实的场景当中,如果出现网络受阻或者其它编码问题,那么窗口会弹出错误信息,然后退出。

当这个时候,写的爬虫就变成死蛇了,又或者你需要长时间值守在屏幕前面,写个爬虫出来坑自己就是这么个意思。

一个优秀(懒惰)的运维应该具备的思想,其实应该是怎么通过程序去偷懒。

那么我其实是其中的一个。

怎么解决这个不定时遇到bug的问题呢,想到了么????

其实就是杀毒软件或者病毒的构思,守护进程或者双进程。

思路:通过设立一个守护程序,来监督另外一个程序,又或者可以相互监督

通过一个可休眠的看门狗脚本监督爬虫,而爬虫又反过来同时监督这个可休眠的看门狗脚本

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
python爬虫入门:什么是爬虫,怎么玩爬虫?
python零基础入门书籍和python入门到各个方向的介绍,都是干货
Python爬虫
python爬虫详解
有趣的一行 Python 代码
Python爬虫程序获取百度搜索结果的标题、描述、url。
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服