专注于 JetBrains IDEA 全家桶,永久激活,教程
持续更新 PyCharm,IDEA,WebStorm,PhpStorm,DataGrip,RubyMine,CLion,AppCode 永久激活教程

Python网络爬虫项目:使用requests获取网页,通过BeautifulSoup提取数据

本次讲解通过requests获取某一个网站,网址:http://www.gxccedu.com/sp2017/zli/index.html

然后使用正则表达式提取页面中的“专利名称”。

72_1.png

步骤:

1、使用pycharm新建项目,新建的时候记得勾选“Inherit global site-packages”否则可能找不到requests类库

2、编写代码,我们看到网页上的数据量是101行,如下所示:

72_2.png

代码如下:

项目结构(不重要):

72_3.png

程序代码:

Beautiful Soup可以将HTML文档转换为Tag树形结构,如果BeautifulSoup对象是soup,则我们可以通过soup.td获取页面里面的第一个td元素,通过soup.find_all(‘td’)获取所有的td元素。也就是find_all()返回来的是一个数组元素,那么我们可以通过下标来获取对应的内容,如下:

72_4.png

我们可以看到,第一个专利的名称的下标是7,第二个是13,第三个是19,依次类推,所以我们可以通过间隔获取的方式来达到效果。

代码如下,另外要记得最后获取的是text属性,否则获取的就是是

XXX

的内容:

72_5.png

运行效果:

72_6.png

文章永久链接:https://tech.souyunku.com/25150

未经允许不得转载:搜云库技术团队 » Python网络爬虫项目:使用requests获取网页,通过BeautifulSoup提取数据

JetBrains 全家桶,激活、破解、教程

提供 JetBrains 全家桶激活码、注册码、破解补丁下载及详细激活教程,支持 IntelliJ IDEA、PyCharm、WebStorm 等工具的永久激活。无论是破解教程,还是最新激活码,均可免费获得,帮助开发者解决常见激活问题,确保轻松破解并快速使用 JetBrains 软件。获取免费的破解补丁和激活码,快速解决激活难题,全面覆盖 2024/2025 版本!

联系我们联系我们