用Python写网络爬虫
;
副标题:无;
作者: [德] 凯瑟琳•雅姆尔(Katharine Jarmul) [澳] 理查德•劳森(Richard Lawson);
内容简介:
本书讲解了如何使用Python来编写网络爬虫程序,内容包括网络爬虫简介,从页面中抓取数据的3种方法,提取缓存中的数据,使用多个线程和进程进行并发抓取,抓取动态页面中的内容,与表单进行交互,处理页面中的验证码问题,以及使用Scarpy和Portia进行数据抓取,并在最后介绍了使用本书讲解的数据抓取技术对几个真实的网站进行抓取的实例,旨在帮助读者活学活用书中介绍的技术。 本书适合有一定Python编程经验而且对爬虫技术感兴趣的读者阅读。
目录预览:
用Python写网络爬虫(第2版)
版权信息
版权
版权声明
内容提要
关于作者
关于审稿人
前言
资源与支持
第1章 网络爬虫简介
1.1 网络爬虫何时有用
1.2 网络爬虫是否合法
1.3 Python 3
1.4 背景调研
1.4.1 检查robots.txt
1.4.2 检查网站地图
1.4.3 估算网站大小
1.4.4 识别网站所用技术
1.4.5 寻找网站所有者
1.5 编写第一个网络爬虫
1.5.1 抓取与爬取的对比
1.5.2 下载网页
1.5.3 网站地图爬虫
1.5.4 ID遍历爬虫
1.5.5 链接爬虫
1.5.6 使用requests库
1.6 本章小结
第2章 数据抓取
2.1 分析网页
2.2 3种网页抓取方法
2.2.1 正则表达式
2.2.2 Beautiful Soup
2.2.3 Lxml
2.3 CSS选择器和浏览器控制台
2.4 XPath选择器
........