【Python爬虫】：使用动态IP代理进行反反爬虫

一.为什么要动态IP代理？

当我们有时使用爬虫的时候，如果频繁对某一个界面请求过太多的次数，那么有些网站就会因为反爬虫的措施发现同一个IP地址对它请求了太多的次数，因此对我们的爬虫进行了禁止，你必须要登录这个网站才能够继续进行爬虫。这个时候呢，如果我们能够直接在请求网页的时候不断更换自己的IP地址，就不会被系统检查出来。因此，这也是我们需要使用动态IP代理的缘故。

二.常用的动态IP代理网站

一般常见的有;

1.快代理

2.西祠代理

3.www.goubanjia.com

 

代理IP的类型：

http:应用到http协议的url当中
https:应用到https协议的url当中

 

代理IP的匿名度：
-透明：服务器知道该次请求使用了代理，也知道本次请求的真实IP

-匿名：知道使用了代理，但是不知道真实的IP

-高匿：服务器不知道使用了代理，也不知道使用了假的IP

三.如何使用动态IP代理？

假设我们对百度进行请求，就能够知道自己当前请求的IP地址是多少了，如下所示：

import requests

url='https://www.baidu.com/s?wd=ip'
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
}

#使用post请求得到响应的数据
response=requests.get(url=url,headers=headers,proxies={'https':'https://61.145.48.46:9999'}).text
#获取json响应数据

with open('proxy_ip.html','w',encoding='utf-8') as fp:
    fp.write(response)
print(response)