搜云库技术团队

常用用法 t.is_alive() Python中线程会在一个单独的系统级别线程中执行（比如一个POSIX线程或者一个Windows线程） 这些线程将由操作系统来全权管理。线程一旦启动，将独立执行直到目标函数返回。可以通过查询 一个...

赞(0)站长2020-07-30Python汇总 阅读(766)

从语法上来看，协程和生成器类似，都是定义体中包含yield关键字的函数。 yield在协程中的用法： 在协程中yield通常出现在表达式的右边，例如：datum = yield,可以产出值，也可以不产出–如果yield关键字后面...

赞(0)站长2020-07-30Python汇总 阅读(868)

所有的生成器都是迭代器 关于迭代器和生成器的一种定义：迭代器用于从集合中取出元素；生成器用于凭空生成元素。 Python中，所有的集合都是可以迭代的，在Python语言内部，迭代器用于支持： for 循环 构建和扩展集合类型 逐行遍历文本文...

赞(0)站长2020-07-30Python汇总 阅读(915)

Gevent官网文档地址：http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协同的例程，一般我们都简称为协程。 在...

赞(0)站长2020-07-30Python汇总 阅读(829)

pycharm是一个非常强大的python开发工具，现在很多代码最终在线上跑的环境都是linux，而开发环境可能还是windows下开发，这就需要经常在linux上进行调试，或者在linux对代码进行编写，而pycharm提供了非常便捷的方...

赞(0)站长2020-07-30Python汇总 阅读(819)

因为现在很多网站为了限制爬虫，设置了为只有登录才能看更多的内容，不登录只能看到部分内容，这也是一种反爬虫的手段，所以这个文章通过模拟登录知乎来作为例子，演示如何通过scrapy登录知乎 在通过scrapy登录知乎之前，我们先通过reques...

赞(0)站长2020-07-30Python汇总 阅读(1011)

总架构理解Middleware 通过scrapy官网最新的架构图来理解： 这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以设置中间件，两者是双向的，并且是可以设...

赞(0)站长2020-07-30Python汇总 阅读(817)

爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？ 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序 反爬虫：使用技术手段防止爬虫程序爬取数据 误伤：反爬虫技术将普通用户识别为爬虫，这种情况多出现在封ip...

赞(0)站长2020-07-30Python汇总 阅读(857)

按照上一篇文章中我们将代码放到远程主机是通过拷贝或者git的方式，但是如果考虑到我们又多台远程主机的情况，这种方式就比较麻烦，那有没有好用的方法呢？这里其实可以通过scrapyd,下面是这个scrapyd的github地址：https://...

赞(0)站长2020-07-30Python汇总 阅读(839)

关于Scrapy工作流程回顾 Scrapy单机架构 上图的架构其实就是一种单机架构，只在本机维护一个爬取队列，Scheduler进行调度，而要实现多态服务器共同爬取数据关键就是共享爬取队列。 分布式架构 我将上图进行再次更改 这里重要的就是...

赞(0)站长2020-07-30Python汇总 阅读(757)