打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

Scrapy我想很多的小伙伴多多少少都有听过这个框架的大名吧!本以为他是最适合的爬虫用的框架,今天看到一篇居然会比Scrapy还吊?简直不敢置信,大家看看,希望给我点建议哈!

接下来我们在浏览器中打开 http://localhost:8000/,就可以看到 Gerapy 的主界面了:

我们可以点击项目页面的右上角的创建按钮,增加一个可配置化爬虫,接着我们便可以在此处添加提取实体、爬取规则、抽取规则了,例如这里的解析器,我们可以配置解析成为哪个实体,每个字段使用怎样的解析方式,如 XPath 或 CSS 解析器、直接获取属性、直接添加值等多重方式,另外还可以指定处理器进行数据清洗,或直接指定正则表达式进行解析等等,通过这些流程我们可以做到任何字段的解析。

生成代码之后,我们只需要像上述流程一样,把项目进行部署、启动就好了,不需要我们写任何一行代码,即可完成爬虫的编写、部署、控制、监测。

谢谢阅读!!!


本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
跟繁琐的命令行说拜拜!Gerapy分布式爬虫管理框架来袭!
Python网络数据采集有了Gerapy,让你的代码飞起来(一)
Scrapy分布式爬虫可视化调度框架Gerapy升级django版本自用
网络爬虫框架Scrapy
手把手教你用Scrapy+Gerapy部署网络爬虫
Python爬虫与Web开发库总结
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服