参考资料地址：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id28
获取个人简书首页的html页面，并写入一个html文件中：
说明：本来想用requests获取页面的html的，但是简书的反爬机制应该比较厉害，在headers中添加浏览器信息搞不定，所以选择了用selenium+phantomJS获取页面html。
如果想用requests可以试试如下方式：
前面已经将一个html页面以beautifulsoup对象的格式保存在了index.html中，接下来将用这个html文件用作示例练习（PS：这个时候就不要去访问网站了，直接读取保存好的文件）。
要掌握BeautifulSoup中对象操作，需要了解html的结构：http://www.runoob.com/html/html-elements.html。
1.标签 tag
获得link标签的结果：
2.标签Tag有很多属性，比如：name和attributes。
3.Name：每个Tag都有名字，通过.name获取，比如：a、p、title等都是名字
get_title = bsobj.titleprint(get_title)print(get_title.name)结果：
4.属性Attributes：一个标签会包含多个属性，属性在开始标签中，tag中属性的操作方法与字典的操作方法一样,并且支持增删改查
结果：
5.多值属性：tag中的属性支持多值属性，常见的多值属性是class，多值属性的返回结果是列表
结果：
6.可遍历的字符串：字符串包含在tag内，通过.string获取，字符串的内容不能被编辑，只能通过replace_with()进行替换。
结果：
遍历文档树可以获得文档中的子节点、父节点、兄弟节点等标签。
子节点：tag.name、tag.contents、tag.string、tag.strings、tag.stripped_strings等
父节点：tag.parent、tag.parents
兄弟节点：next_sibling、previous_sibling、next_siblings、previous_siblings
回退和前进：.next_elements、.previous_elements、next_element 和 .previous_element
要获取子节点，首先要分析子节点中的内容，一个tag标签中，通常会包含多个字符串或者多个其他的tag标签。由于字符串没有子节点，是不具备遍历属性的。
1）、获取所有的link标签：前面提到bsobj.link可以获取link标签信息，但是这种方式只能获取到第一条link信息，要获取文档中全部的link标签信息，可以用bsobj.find_all('link')，返回的结果是一个列表。
2）、获取.contents和.children属性：
.contents:获取一个标签中的所有内容，以列表的格式输出。当然，由于contents中可能包含子节点信息，则所有的子节点信息都会在列表中输出。
结果：
.children:这是一个迭代器，可以对tag标签的子节点进行循环获取。比如，contents是获取到一个标签之间的所有内容，同一层级的多个子节点在contents中算作列表中的一个元素。此时，可以通过.children将子节点中的同一层级的标签进行分割。
结果：
3）、.descendants:获取子节点和子孙节点
.children和.contents只会包含tag的直接子节点，对直接子节点中的子孙节点不会分离出来。.descendants返回的结果是一个生成器。
结果：首页这个内容，相当于是span的子节点，.descendants会把它当成子孙节点处理，其他子孙节点标签同理。
4）、.string：获取NavigableString 类型子节点
当一个tag只有一个NavigableString 类型子节点时，可以采用.string获取，但是当有多个子节点时，.string无法得知获取哪一个，会直接返回None。
5）、.strings 和 stripped_strings：获取一组NavigableString 类型子节点
.strings获取的信息中，包含空行，stripped_strings可以去除前后所有的空行以及为空的内容
get_title = bsobj.body.div
for sting in get_title.stripped_strings:
print(sting)结果：
写文章
注册
登录
夜间模式
开
关
...每个tag都会包含父节点，比如前面采用bsobj.body.div获取节点信息，body就是div的一个父节点。
1）、parent
get_title = bsobj.body.div.ul
print(get_title.parent)
print(get_title.parent.name)结果：
<div class="collapse navbar-collapse" id="menu">
<ul class="nav navbar-nav">
<li class="tab ">
<a href="/">....
</li>
</ul>
</div>
div2）、parents：通过元素的 .parents 属性可以递归得到元素的所有父辈节点
get_title = bsobj.body.div.ul
for parent in get_title.parents:
if parent is None:
print(parent)
else:
print(parent.name)结果：
div
div
div
nav
body
html
[document]标签处于同一层的节点，他们的父节点是同一个，这样的节点称为兄弟节点。
1）、.next_sibling 和 .previous_sibling 属性来查询兄弟节点，实际文档中的tag的 .next_sibling 和 .previous_sibling 属性通常是字符串或空白。
get_title = bsobj.head.meta
print(get_title)
print(get_title.previous_sibling)
print(get_title.next_sibling)2）、.next_siblings 和 .previous_siblings：通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出。
get_title = bsobj.head.meta
for sibling in get_title.next_siblings:
print(repr(sibling))结果：
'\n'<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>'\n'<meta content="width=device-width, initial-scale=1.0,user-scalable=no" .../>
...让解析的属性指向上一个被解析对象或下一个被解析对象。
1）、.next_element 和 .previous_element：.next_element 属性指向解析过程中下一个被解析的对象(字符串或tag),结果可能与 .next_sibling 相同,但通常是不一样的。
get_title = bsobj.body.div.ul.li.span
print(get_title)
print(get_title.nex_sibling)
print(get_title.next_element)结果：
<span class="menu-text">
首页 </span>None
首页2）、.next_elements 和 .previous_elements：通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容,就好像文档正在被解析一样
get_title = bsobj.body.div.ul.li.span
for element in get_title.next_elements:
print(repr(element))本节学习了beautifulsoup的tag对象、遍历文档树的使用
通过查找子节点、父节点等信息，可以获取到想要的标签信息
通过获取标签信息的.name、.attrs等，可以获取精确的信息
后续继续学习搜索文档树
作者：乐大爷L
链接：https://www.jianshu.com/p/a0ff9f70e9a7
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。
联系客服
