- 需要有python基础
- 官方中文文档：docs.python.org/zh-cn/3/
- 入门的话看菜鸟教程就好
- python爬虫相关网络请求包
- urllib库
- requests库
- 两者区别：urllib出来比较早，比较原生，而requests在urllib基础上封装的，一些方法更好用。两者可以实现的功能差不多相同。
- curl简单去学习curl，在模拟请求的时候可以用curl去调试
- chrome浏览器：一般的web的抓取，用chrome的调试工具调试即可，大部分问题可以解决（包括抓包、调试js代码），切记熟练使用chrome调试工具。
- 火狐浏览器：当chrome隐藏了一些请求头信息的时候，可以使用火狐浏览器去抓包，火狐中可以看到。
- 抓包工具charles（Mac os）和fiddler（windows）必须熟悉其中一种。抓app数据包时必须用得到。
- 爬虫框架：scrapy
- scrapy中文文档：scrapy-chs.readthedocs.io/zh_CN/lates…
- 解析常用python包
- 一些不规则数据：用正则—>re模块
- dom树结构（html网页）：xpath
- xpath有语法规则：上菜鸟教程上搜索，这个xpath常用语法必须熟练
- 某些网站做反扒做的很严重，需要调用浏览器来抓取了
- selenium + headless（chromedriver、phantomjs）
总结
上面这些应付web端爬虫目前是可以了，app端抓取可能会使用到一些其他技术，比如说anyproxy等。