搜云库技术团队

爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？ 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序 反爬虫：使用技术手段防止爬虫程序爬取数据 误伤：反爬虫技术将普通用户识别为爬虫，这种情况多出现在封ip...

赞(0)站长2020-07-30Python汇总 阅读(1165)

按照上一篇文章中我们将代码放到远程主机是通过拷贝或者git的方式，但是如果考虑到我们又多台远程主机的情况，这种方式就比较麻烦，那有没有好用的方法呢？这里其实可以通过scrapyd,下面是这个scrapyd的github地址：https://...

赞(0)站长2020-07-30Python汇总 阅读(1120)

关于Scrapy工作流程回顾 Scrapy单机架构 上图的架构其实就是一种单机架构，只在本机维护一个爬取队列，Scheduler进行调度，而要实现多态服务器共同爬取数据关键就是共享爬取队列。 分布式架构 我将上图进行再次更改 这里重要的就是...

赞(0)站长2020-07-30Python汇总 阅读(1044)

Python3.3以上的版本通过venv模块原生支持虚拟环境，可以代替Python之前的virtualenv。 该venv模块提供了创建轻量级“虚拟环境”，提供与系统Python的隔离支持。每一个虚拟环境都有其自己的Python二进制（允许...

赞(0)站长2020-07-30Python汇总 阅读(1100)

常见的登录方式有以下两种： 1、 查看登录页面，csrf,cookie;授权；cookie 2、 直接发送post请求,获取cookie 上面只是简单的描述，下面是详细的针对两种登录方式的时候爬虫的处理方法 第一种情况 这种例子其实也比较多...

赞(0)站长2020-07-30Python汇总 阅读(1118)

爬取的思路 首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息，然后爬取被关注人的账号信息和被关注信息的关注列表，爬取这些用户...

赞(0)站长2020-07-30Python汇总 阅读(1115)

关于cookie和session估计很多程序员面试的时候都会被问到，这两个概念在写web以及爬虫中都会涉及，并且两者可能很多人直接回答也不好说的特别清楚，所以整理这样一篇文章，也帮助自己加深理解 什么是Cookie 其实简单的说就是当用户通...

赞(0)站长2020-07-30Python汇总 阅读(1053)

这篇文章中写了常用的下载中间件的用法和例子。 Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候，所以从这里我们可以知道下载中间件是介于Sc...

赞(0)站长2020-07-30Python汇总 阅读(1046)

当Item 在Spider中被收集之后，就会被传递到Item Pipeline中进行处理 每个item pipeline组件是实现了简单的方法的python类，负责接收到item并通过它执行一些行为，同时也决定此Item是否继续通过pipe...

赞(0)站长2020-07-30Python汇总 阅读(1073)

Spider类定义了如何爬去某个网站，包括爬取的动作以及如何从网页内容中提取结构化的数据，总的来说spider就是定义爬取的动作以及分析某个网页 工作流程分析 1、 以初始的URL初始化Request，并设置回调函数，当该request下载...

赞(0)站长2020-07-30Python汇总 阅读(1125)