Python爬虫之Beautiful Soup模块
模块安装 pip3 install beautifulsoup4 模块导入 from bs4 import beautifulsoup 示例html内容 获取html内容代码 import requestsheaders = { user-agent: mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/62.0.3202.94 safari/537.36 115browser/9.0.0}response = requests.get(https://www.xbiquge6.com/xbqgph.html,headers=headers)response.encoding = utf-8html = response.textprint(html) 获取的html内容 新笔趣阁
首页 永久书架 玄幻奇幻 武侠仙侠 都市言情 历史军事 科幻灵异 网游竞技 女频频道 完本小说 排行榜单 临时书架
小说排行榜列表 作品分类作品名称最新章节作者更新时间状态 [都市言情]我本港岛电影人今天有更再来一盘菇凉2019-11-16连载中 [玄幻奇幻]艾泽拉斯新秩序第一百三十六章 卡拉赞的收获想静静的顿河2019-11-16连载中 [都市言情]超级狂婿第654章：他不够格我本幸运2019-11-16连载中 [都市言情]我在都市修个仙完本感言一剑荡清风2019-11-16连载中 [都市言情]都市超级医圣第2613章 战后处理断桥残雪2019-11-16连载中 [都市言情]祖传土豪系统第二百零五章 我能试试吗第九倾城2019-11-16连载中 [都市言情]都市红粉图鉴第1510章 我，才是坐馆龙头！秋江独钓2019-11-16连载中 [武侠仙侠]胜天传奇第三百八十章 游历天宫骑牛者2019-11-16连载中 [都市言情]总裁爸比从天降第1748章 奈何自己是婆婆一碟茴香豆2019-11-16连载中 [玄幻奇幻]太古魔帝第一千三百二十四章 魂帝草根2019-11-16连载中
构建beautifulsoup对象 常用四种解释器
解释器 标识 特点
python标准库 html.parser python内置，执行速度中
lxml的html解释器 lxml 速度快
lxml的xml解释器 xml 唯一支持xml解析
html5lib html5lib 容错性最好，以浏览器方式解析
soup = beautifulsoup(html, 'html.parser') 还可以解析本地html文件
soup1 = beautifulsoup(open('index.html')) .prettify()格式化输出节点 略
通过 . 获取节点title = soup.head.titleprint(type(title))print(title)结果是 对于名称唯一的节点，可以省略层级
title = soup.titleprint(type(title))print(title)结果同样是 名称不唯一的节点，直接获取只会获取第一个匹配的节点
li = soup.liprint(li)结果是 首页 find_all根据条件获取节点find_all( name , attrs , recursive , text , **kwargs )name ：查找所有名字为 name 的tag,字符串对象会被自动忽略掉；attrs：根据属性查询，使用字典类型；text ：可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, true ；recursive：调用tag的 find_all() 方法时,beautiful soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=false ；limit：find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与sql中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果；class_ ：通过 class_ 参数搜索有指定css类名的tag，class_ 参数同样接受不同类型的 过滤器 ,字符串,正则表达式,方法或 true。 根据标签名字lis = soup.find_all(nam)for item in lis: print(item)结果是 首页 永久书架 玄幻奇幻 武侠仙侠 都市言情 历史军事 科幻灵异 网游竞技 女频频道 完本小说 排行榜单 临时书架 作品分类作品名称最新章节作者更新时间状态 [都市言情]我能举报万物第九十六章 巡抚视察【第三更】必火2019-11-16连载中 [科幻灵异]女战神的黑包群第3046章 恶毒女配，在线提刀45二谦2019-11-16连载中 [玄幻奇幻]花岗岩之怒第一百五十二章 意外到来的断剑咱的小刀2019-11-16连载中 [网游竞技]超神机械师1090 韭菜的自觉齐佩甲2019-11-16连载中 [武侠仙侠]无量真途第六百三十二章 突然出现的神智燕十千2019-11-16连载中 [科幻灵异]我的细胞监狱第四百五十九章 白雾穿黄衣的阿肥2019-11-16连载中 [武侠仙侠]前任无双第三百章 事急速办跃千愁2019-11-16连载中 [武侠仙侠]元阳道君第四十章 洞开剑扼虚空2019-11-16连载中 [历史军事]逆成长巨星655：不是办法的办法葛洛夫街兄弟2019-11-16连载中 [历史军事]承包大明第一百九十三章 真会玩南希北庆2019-11-16连载中 根据标签属性 属性和值以字典形式传入
lis = soup.find_all(attrs={class:s2})for item in lis: print(item)结果是作品名称我能举报万物女战神的黑包群花岗岩之怒超神机械师无量真途我的细胞监狱前任无双元阳道君逆成长巨星承包大明 限制搜索范围 find_all 方法会搜索当前标签的所有子孙节点,如果只想搜索直接子节点,可以使用参数 recursive=false
遍历获取子节点 .contents获取所有子节点 以列表形式返回所有子节点，要注意，列表里面还会掺杂 '/n'
ul = soup.ulprint(ul)print(ul.contents)结果是 首页 永久书架 玄幻奇幻 武侠仙侠 都市言情 历史军事 科幻灵异 网游竞技 女频频道 完本小说 排行榜单 临时书架['/n', 首页 , '/n', 永久书架 , '/n', 玄幻奇幻 , '/n', 武侠仙侠 , '/n', 都市言情 , '/n', 历史军事 , '/n', 科幻灵异 , '/n', 网游竞技 , '/n', 女频频道 , '/n', 完本小说 , '/n', 排行榜单 , '/n', 临时书架 , '/n'] .children获取所有子节点 返回一个list生成器对象
ul = soup.ulprint(ul.children)print(list(ul.children))结果是['/n', 首页 , '/n', 永久书架 , '/n', 玄幻奇幻 , '/n', 武侠仙侠 , '/n', 都市言情 , '/n', 历史军事 , '/n', 科幻灵异 , '/n', 网游竞技 , '/n', 女频频道 , '/n', 完本小说 , '/n', 排行榜单 , '/n', 临时书架 , '/n'] .descendants遍历所有子孙节点ul = soup.ulfor item in ul.descendants: print(item)结果是（中间很多'/n'空行我删掉了） 首页首页 首页 永久书架永久书架 永久书架 玄幻奇幻玄幻奇幻 玄幻奇幻 武侠仙侠武侠仙侠 武侠仙侠 都市言情都市言情 都市言情 历史军事历史军事 历史军事 科幻灵异科幻灵异 科幻灵异 网游竞技网游竞技 网游竞技 女频频道女频频道 女频频道 完本小说完本小说 完本小说 排行榜单排行榜单 排行榜单 临时书架临时书架 临时书架 获取其父节点a = soup.li.aprint(a)p = a.parentprint(p)结果是首页 首页 提取节点信息 节点名称 感觉没什么用
title = soup.titleprint(title.name)结果是title 节点属性a = soup.li.aprint(a)print(a.attrs) # 获取所有属性，返回字典形式print(a['href'])# 获取a节点的href属性值结果是首页{'href': '/'}/ 节点文本a = soup.li.aprint(type(a.string)) # 节点内文本的类型print(a.string) # 获取节点内的文本内容print(a.get_text()) # 也是获取节点内的文本内容结果是首页 注意！！！如果节点内文本是注释，则用string取出文本时会自动去除注释标记
注释的类型：，可以通过类型判断
遍历获取所有子孙节点中的文本for string in soup.stripped_strings: # 去除多余空白内容 print(repr(string)) 想进一步了解编程开发相关知识，与我一同成长进步，请关注我的公众号“松果仓库”，共同分享宅&程序员的各类资源，谢谢！！！
Mini LED COB和MIP关键设备能力再进阶
15年免维护！全球领先的气体传感器厂商推出新一代冷媒检测传感器！
LM31-00000F-150PG液位传感器优缺点详细解读
亚马逊升级Alexa语音，更好的通过问题预测用户意图
后摩尔定律时代，国产EDA如何“从0到1”做创新？
Python爬虫之Beautiful Soup模块
大型回流焊的特点都有哪些
《5G和6G应用的低损耗材料-2022版》
芯片生产厂家有哪些
钛度召唤师TKM320机械键盘评测 没有浮夸的设计只有朴实的体验
石墨烯到底是什么？解析现代睡眠新科技“石墨烯”，于睡眠有什么神秘效果？
汽车领域的被动器件应用和市场
ASC宣布与PCB制造商Sunstone合并
74ls164驱动4位数码管_74ls164驱动数码管电路
DC/DC脉冲宽度调制控制器LM5033的性能特点及应用优势
iSuppli：2013年太阳能电池板薄膜技术份额将翻倍
javascript的变量中可以包含
定了！工信部划分6GHz频谱，Wi-Fi 7还有机会吗？
湖北移动打造首个5G智慧航道
Cat.1应用 | 智能音箱抢市场，你需要一个好方案
首页 永久书架 玄幻奇幻 武侠仙侠 都市言情 历史军事 科幻灵异 网游竞技 女频频道 完本小说 排行榜单 临时书架
小说排行榜列表 作品分类作品名称最新章节作者更新时间状态 [都市言情]我本港岛电影人今天有更再来一盘菇凉2019-11-16连载中 [玄幻奇幻]艾泽拉斯新秩序第一百三十六章 卡拉赞的收获想静静的顿河2019-11-16连载中 [都市言情]超级狂婿第654章：他不够格我本幸运2019-11-16连载中 [都市言情]我在都市修个仙完本感言一剑荡清风2019-11-16连载中 [都市言情]都市超级医圣第2613章 战后处理断桥残雪2019-11-16连载中 [都市言情]祖传土豪系统第二百零五章 我能试试吗第九倾城2019-11-16连载中 [都市言情]都市红粉图鉴第1510章 我，才是坐馆龙头！秋江独钓2019-11-16连载中 [武侠仙侠]胜天传奇第三百八十章 游历天宫骑牛者2019-11-16连载中 [都市言情]总裁爸比从天降第1748章 奈何自己是婆婆一碟茴香豆2019-11-16连载中 [玄幻奇幻]太古魔帝第一千三百二十四章 魂帝草根2019-11-16连载中
构建beautifulsoup对象 常用四种解释器
解释器 标识 特点
python标准库 html.parser python内置，执行速度中
lxml的html解释器 lxml 速度快
lxml的xml解释器 xml 唯一支持xml解析
html5lib html5lib 容错性最好，以浏览器方式解析
soup = beautifulsoup(html, 'html.parser') 还可以解析本地html文件
soup1 = beautifulsoup(open('index.html')) .prettify()格式化输出节点 略
通过 . 获取节点title = soup.head.titleprint(type(title))print(title)结果是 对于名称唯一的节点，可以省略层级
title = soup.titleprint(type(title))print(title)结果同样是 名称不唯一的节点，直接获取只会获取第一个匹配的节点
li = soup.liprint(li)结果是 首页 find_all根据条件获取节点find_all( name , attrs , recursive , text , **kwargs )name ：查找所有名字为 name 的tag,字符串对象会被自动忽略掉；attrs：根据属性查询，使用字典类型；text ：可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, true ；recursive：调用tag的 find_all() 方法时,beautiful soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=false ；limit：find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与sql中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果；class_ ：通过 class_ 参数搜索有指定css类名的tag，class_ 参数同样接受不同类型的 过滤器 ,字符串,正则表达式,方法或 true。 根据标签名字lis = soup.find_all(nam)for item in lis: print(item)结果是 首页 永久书架 玄幻奇幻 武侠仙侠 都市言情 历史军事 科幻灵异 网游竞技 女频频道 完本小说 排行榜单 临时书架 作品分类作品名称最新章节作者更新时间状态 [都市言情]我能举报万物第九十六章 巡抚视察【第三更】必火2019-11-16连载中 [科幻灵异]女战神的黑包群第3046章 恶毒女配，在线提刀45二谦2019-11-16连载中 [玄幻奇幻]花岗岩之怒第一百五十二章 意外到来的断剑咱的小刀2019-11-16连载中 [网游竞技]超神机械师1090 韭菜的自觉齐佩甲2019-11-16连载中 [武侠仙侠]无量真途第六百三十二章 突然出现的神智燕十千2019-11-16连载中 [科幻灵异]我的细胞监狱第四百五十九章 白雾穿黄衣的阿肥2019-11-16连载中 [武侠仙侠]前任无双第三百章 事急速办跃千愁2019-11-16连载中 [武侠仙侠]元阳道君第四十章 洞开剑扼虚空2019-11-16连载中 [历史军事]逆成长巨星655：不是办法的办法葛洛夫街兄弟2019-11-16连载中 [历史军事]承包大明第一百九十三章 真会玩南希北庆2019-11-16连载中 根据标签属性 属性和值以字典形式传入
lis = soup.find_all(attrs={class:s2})for item in lis: print(item)结果是作品名称我能举报万物女战神的黑包群花岗岩之怒超神机械师无量真途我的细胞监狱前任无双元阳道君逆成长巨星承包大明 限制搜索范围 find_all 方法会搜索当前标签的所有子孙节点,如果只想搜索直接子节点,可以使用参数 recursive=false
遍历获取子节点 .contents获取所有子节点 以列表形式返回所有子节点，要注意，列表里面还会掺杂 '/n'
ul = soup.ulprint(ul)print(ul.contents)结果是 首页 永久书架 玄幻奇幻 武侠仙侠 都市言情 历史军事 科幻灵异 网游竞技 女频频道 完本小说 排行榜单 临时书架['/n', 首页 , '/n', 永久书架 , '/n', 玄幻奇幻 , '/n', 武侠仙侠 , '/n', 都市言情 , '/n', 历史军事 , '/n', 科幻灵异 , '/n', 网游竞技 , '/n', 女频频道 , '/n', 完本小说 , '/n', 排行榜单 , '/n', 临时书架 , '/n'] .children获取所有子节点 返回一个list生成器对象
ul = soup.ulprint(ul.children)print(list(ul.children))结果是['/n', 首页 , '/n', 永久书架 , '/n', 玄幻奇幻 , '/n', 武侠仙侠 , '/n', 都市言情 , '/n', 历史军事 , '/n', 科幻灵异 , '/n', 网游竞技 , '/n', 女频频道 , '/n', 完本小说 , '/n', 排行榜单 , '/n', 临时书架 , '/n'] .descendants遍历所有子孙节点ul = soup.ulfor item in ul.descendants: print(item)结果是（中间很多'/n'空行我删掉了） 首页首页 首页 永久书架永久书架 永久书架 玄幻奇幻玄幻奇幻 玄幻奇幻 武侠仙侠武侠仙侠 武侠仙侠 都市言情都市言情 都市言情 历史军事历史军事 历史军事 科幻灵异科幻灵异 科幻灵异 网游竞技网游竞技 网游竞技 女频频道女频频道 女频频道 完本小说完本小说 完本小说 排行榜单排行榜单 排行榜单 临时书架临时书架 临时书架 获取其父节点a = soup.li.aprint(a)p = a.parentprint(p)结果是首页 首页 提取节点信息 节点名称 感觉没什么用
title = soup.titleprint(title.name)结果是title 节点属性a = soup.li.aprint(a)print(a.attrs) # 获取所有属性，返回字典形式print(a['href'])# 获取a节点的href属性值结果是首页{'href': '/'}/ 节点文本a = soup.li.aprint(type(a.string)) # 节点内文本的类型print(a.string) # 获取节点内的文本内容print(a.get_text()) # 也是获取节点内的文本内容结果是首页 注意！！！如果节点内文本是注释，则用string取出文本时会自动去除注释标记
注释的类型：，可以通过类型判断
遍历获取所有子孙节点中的文本for string in soup.stripped_strings: # 去除多余空白内容 print(repr(string)) 想进一步了解编程开发相关知识，与我一同成长进步，请关注我的公众号“松果仓库”，共同分享宅&程序员的各类资源，谢谢！！！
Mini LED COB和MIP关键设备能力再进阶
15年免维护！全球领先的气体传感器厂商推出新一代冷媒检测传感器！
LM31-00000F-150PG液位传感器优缺点详细解读
亚马逊升级Alexa语音，更好的通过问题预测用户意图
后摩尔定律时代，国产EDA如何“从0到1”做创新？
Python爬虫之Beautiful Soup模块
大型回流焊的特点都有哪些
《5G和6G应用的低损耗材料-2022版》
芯片生产厂家有哪些
钛度召唤师TKM320机械键盘评测 没有浮夸的设计只有朴实的体验
石墨烯到底是什么？解析现代睡眠新科技“石墨烯”，于睡眠有什么神秘效果？
汽车领域的被动器件应用和市场
ASC宣布与PCB制造商Sunstone合并
74ls164驱动4位数码管_74ls164驱动数码管电路
DC/DC脉冲宽度调制控制器LM5033的性能特点及应用优势
iSuppli：2013年太阳能电池板薄膜技术份额将翻倍
javascript的变量中可以包含
定了！工信部划分6GHz频谱，Wi-Fi 7还有机会吗？
湖北移动打造首个5G智慧航道
Cat.1应用 | 智能音箱抢市场，你需要一个好方案