优质文章 第32页

一、Nginx 简介与安装 1、Nginx 简介 Nginx是一个高性能WEB服务器，除它之外Apache、Tomcat、Jetty、IIS，它们都是Web服务器，或者叫做WWW（World Wide Web）服务器，相应地也都具备Web服...

赞(0)站长2020-08-03阅读(582)

在写爬虫之前，还是需要了解一些爬虫的基础知识，如 HTTP 原理、网页的基础知识、爬虫的基本原理、Cookies 基本原理等。 网络蜘蛛是一个很形象的名字。如果把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通...

赞(0)站长2020-08-03阅读(549)

1、网络爬虫：自动从互联网中定向（有目标、过滤无关信息）或不定向（随机）地采集信息的一种程序。常用的类型有：通用网络爬虫（不定向）、聚焦网络爬虫（定向设置过滤规则）。 2、网络爬虫的应用：①搜索引擎②采集金融数据③采集商品数据④自动过滤广告...

赞(0)站长2020-08-03阅读(629)

动态ip地址指的是在需要的时候才进行动态ip地址分配的方式。动态ip地址和静态ip地址是对应的。所谓动态就是指当你每一次上网时，运营商会随机分配一个动态ip地址，静态指的是固定分配一个动态ip地址，每次都用这一个地址。 对于动态IP来说，需...

赞(0)站长2020-08-03阅读(646)

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取 使用代理流程 代...

赞(0)站长2020-08-03阅读(576)

Scrapy-Splash渲染 splash是一个JavaScript渲染服务。它是一个实现了HTTP API的轻量级浏览器，splash使用python实现的，同时使用Twisted和QT. scrapy-splash 是为了方便scra...

赞(0)站长2020-08-03阅读(568)

网络爬虫 网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。 此时，我们可以使用网络爬虫对数据信息进行自动...

赞(0)站长2020-08-03阅读(521)

之前提到过，有些网站是防爬虫的。其实事实是，凡是有一定规模的网站，大公司的网站，或是盈利性质比较强的网站，都是有高级的防爬措施的。总的来说有两种反爬策略，要么验证身份，把虫子踩死在门口；要么在网站植入各种反爬机制，让爬虫知难而退。 降低主I...

赞(0)站长2020-08-03阅读(555)

Scrapy 框架 Scrapy实例 下载安装 pip install scrapy Hello World 创建工程 在 cmd 下切换到想创建 scrapy 项目的地方，然后使用命名 scrapy startproject tutori...

赞(0)站长2020-08-03阅读(570)

代理IP从何而来？ 刚自学爬虫的时候没有代理IP就去西刺有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代理接口也可以自己接入例如（亿牛云代理） 免费代理的采集也很简单，无非就是：访问页面页面 —> 正则/xpath提取 —>...

赞(0)站长2020-08-03阅读(551)