Python小程序自动爬取站酷网首页的照片

本帖最后由 撩月 于 2017-1-16 21:40 编辑

大家好，我是小无奈，最近这几天沉迷于做爬虫无法自拔，终于做出来了一个属于自己的爬虫。

对于一个没什么基础的人来说，做一个爬虫 也算是个艰难的过程，从下载 Pycharm  到学习字典 列表，正则表达式，以及一定的网页分析 本宝宝一步一步走过来了。有兴趣的可以玩一下爬虫，爬取一些数据，分析数据是很有用的。接下来就是开始数据分析，高端系统学习 Python 了，加油  共勉。

另外  代码仅供参考  ，如果进行非法行为  ，概不负责。

1. # coding = utf-8
   
2. import urllib
   
3. import re
   
4. #加载基础模块
   
5. url='http://www.zcool.com.cn'
   
6. 
   
7. def getHtml(url):'''下载网页‘’‘
   
8.     page = urllib.urlopen(url)
   
9.     html = page.read()
   
10.     return html
    
11. 
    
12. html=getHtml(url)’‘’下载照片‘’‘
    
13. def getimg(html):
    
14.     reg = 'href='(.+?\s.html)'\sst_t='click''’‘’正则表达式‘’‘
    
15.     imgre = re.compile(reg)
    
16.     imglist = re.findall(imgre, html)
    
17.     url=[]
    
18.     imglist=list(set(imglist))’‘’去除重复数组‘’‘
    
19.     for k in imglist:
    
20.         k1=str(k)
    
21.         ki=k1[:41]
    
22.         web='.html'
    
23.         ki = ki+web
    
24.         url.append(ki)’‘’重建新的地址，站酷有意把地址添加一个\n \r 增加获取地址的难度   
    
25.     x=0
    
26.     for i in url:
    
27.         img2=getHtml(i)
    
28.         rex='src='(.+?.jpg)' '   ‘’‘正则’‘’
    
29.         rax=re.compile(rex)
    
30.         getimg3=re.findall(rax,img2)
    
31.         for i in getimg3:
    
32.             urllib.urlretrieve(i, '%s.jpg' % x)   ‘’‘下载照片’‘’
    
33.             x=x+1
    
34.     return imglist
    
35. imgkk=getimg(html)
    

复制代码