专注于 JetBrains IDEA 全家桶,永久激活,教程
持续更新 PyCharm,IDEA,WebStorm,PhpStorm,DataGrip,RubyMine,CLion,AppCode 永久激活教程

爬虫复习

不想误导,若有错误,希望各位不吝指教!!

代理:proxies参数

格式:

 proxies = {
   "http": "http://12.34.56.79:9527",
   "https": "http://12.34.56.79:9527",
 }

私密代理:

 # 如果代理需要使用HTTP Basic Auth,可以使用下面这种格式:
 proxy = { "http": "xx:xx@xx:xx" }
 proxy = { "http": "mr_mao_hacker:sffqry9r@61.158.163.130:16816" }

拿cookies参数:

原理:

Cookie名字(Name)
Cookie的值(Value)
Cookie的过期时间(Expires/Max-Age)
Cookie作用路径(Path)
Cookie所在域名(Domain),
使用Cookie进行安全连接(Secure)。
​
前两个参数是Cookie应用的必要条件,另外,还包括Cookie大小(Size,不同浏览器对Cookie个数及大小限制是有差异的)。

格式:

 # 7\. 返回CookieJar对象:
 cookiejar = response.cookies
 ​
 # 8\. 将CookieJar转为字典:
 cookiedict = requests.utils.dict_from_cookiejar(cookiejar)

session:

 requests.session()
 # 4\. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
 ssion.post("http://www.renren.com/PLogin.do", data = data)
 ​
 # 5\. ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
 response = ssion.get("http://www.renren.com/410043129/profile")

处理HTTPS请求 SSL证书验证:

如果SSL证书验证不通过,或者不信任服务器的安全证书,则会报出SSLError

跳过 12306 的证书验证,把 verify 设置为 False 就可以正常请求了

 1.r = requests.get("https://www.12306.cn/mormhweb/", verify = False)
 2.
 # 1. 导入Python SSL处理模块
 import ssl
 ​
 # 2. 表示忽略未经核实的SSL证书认证
 context = ssl._create_unverified_context()
 r = requests.get("https://www.12306.cn/mormhweb/", context = context)

随机/添加获取User-Agent:

 #也可以通过调用Request.add_header() 添加/修改一个特定的header
 request.add_header("Connection", "keep-alive")
 ​
 ​
 ua_list = [
     "Mozilla/5.0 (Windows NT 6.1; ) Apple.... ",
     "Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ",
     "Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ",
     "Mozilla/5.0 (Macintosh; Intel Mac OS... "
 ]
 ​
 user_agent = random.choice(ua_list)
 其他:

1.Handler处理器 和 自定义Opener

2.ProxyHandler处理器(代理设置)

3.cookiejar库 和 HTTPCookieProcessor处理器

文章永久链接:https://tech.souyunku.com/20711

未经允许不得转载:搜云库技术团队 » 爬虫复习

JetBrains 全家桶,激活、破解、教程

提供 JetBrains 全家桶激活码、注册码、破解补丁下载及详细激活教程,支持 IntelliJ IDEA、PyCharm、WebStorm 等工具的永久激活。无论是破解教程,还是最新激活码,均可免费获得,帮助开发者解决常见激活问题,确保轻松破解并快速使用 JetBrains 软件。获取免费的破解补丁和激活码,快速解决激活难题,全面覆盖 2024/2025 版本!

联系我们联系我们