本次讲解通过requests获取某一个网站,网址:http://www.gxccedu.com/sp2017/zli/index.html
然后使用正则表达式提取页面中的“专利名称”。
步骤:
1、使用pycharm新建项目,新建的时候记得勾选“Inherit global site-packages”否则可能找不到requests类库
2、编写代码,我们看到网页上的数据量是101行,如下所示:
代码如下:
项目结构(不重要):
程序代码:
Beautiful Soup可以将HTML文档转换为Tag树形结构,如果BeautifulSoup对象是soup,则我们可以通过soup.td获取页面里面的第一个td元素,通过soup.find_all(‘td’)获取所有的td元素。也就是find_all()返回来的是一个数组元素,那么我们可以通过下标来获取对应的内容,如下:
我们可以看到,第一个专利的名称的下标是7,第二个是13,第三个是19,依次类推,所以我们可以通过间隔获取的方式来达到效果。
代码如下,另外要记得最后获取的是text属性,否则获取的就是是
的内容:
运行效果: