打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
别再手敲了,这个工具可以自动生成python爬虫代码
userphoto

2022.05.16 广东

关注

我们在写爬虫代码时,尝尝需要各种分析调试,而且每次直接用代码调试都很麻烦

所以今天给大家分享一个工具,不仅能方便模拟发送各种http请求,还能轻松调试,最重要的是,可以将调试最终结果自动转换成爬虫代码,它就是——Postman

postman以前是Chrome的插件,经过逐步演变,现在具备很好的夸平台性,完美支持MAC,Windows,Linux三大操作系统.不管你是哪种操作系统的用户,你都可以享受到Postman带来的便利

它还可以发送几乎所有类型的HTTP请求,可以在Postman界面里选择要发送的请求类型,接口地址,请求头信息以及向接口发送的入参.Postman完全是界面化的操作,非常直观.

当我们爬一些动态网页,或者测试一些接口时,只需勾选一些参数,就能测试出哪些参数是必须的,哪些参数是可以舍弃的

最后,我们可以将调试好的结果直接转换成我们需要的爬虫代码

测试完毕后,点击code

选择你需要的编程语言

以python为例,发现爬虫代码已自动生成,直接复制即可:

import requestsurl = 'http://map.amap.com/service/subway'querystring = {'_1599997789354':'','srhdata':'1100_drw_beijing.json'}payload = ''headers = { 'cache-control': 'no-cache', 'Postman-Token': '74188fdc-2156-4fbf-a300-39c94c0b6a67'    }response = requests.request('GET', url, data=payload, headers=headers, params=querystring)print(response.text)
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
Python爬虫偷懒神器——一键构造请求头
前后端分离有什么了不起,手把手教你用Python爬下来!
认识爬虫:如何使用 requests 模块模拟浏览器请求爬取网页信息?
python爬虫时爬取的html代码显示“请开启JavaScript并刷新该页”
Python爬虫破解有道翻译
Python翻页抓取:数据挖掘与分析
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服