Python汇总 第3页

在看闭包问题之前先来看看关于python中作用域的问题 变量作用域 对于上述代码中出现错误，肯定没什么疑问了，毕竟b并没有定义和赋值，当我们把代码更改如下后： 再看一个例子： 首先这个错误已经非常明显：说在赋值之前引用了局部变量b 可能很多...

赞(0)站长2020-07-30阅读(574)

future初识 通过下面脚本来对future进行一个初步了解： 例子1：普通通过循环的方式 import os import time import sys import requests POP20_CC = ( "CN IN US I...

赞(0)站长2020-07-30阅读(561)

常用用法 t.is_alive() Python中线程会在一个单独的系统级别线程中执行（比如一个POSIX线程或者一个Windows线程） 这些线程将由操作系统来全权管理。线程一旦启动，将独立执行直到目标函数返回。可以通过查询 一个...

赞(0)站长2020-07-30阅读(527)

从语法上来看，协程和生成器类似，都是定义体中包含yield关键字的函数。 yield在协程中的用法： 在协程中yield通常出现在表达式的右边，例如：datum = yield,可以产出值，也可以不产出–如果yield关键字后面...

赞(0)站长2020-07-30阅读(622)

所有的生成器都是迭代器 关于迭代器和生成器的一种定义：迭代器用于从集合中取出元素；生成器用于凭空生成元素。 Python中，所有的集合都是可以迭代的，在Python语言内部，迭代器用于支持： for 循环 构建和扩展集合类型 逐行遍历文本文...

赞(0)站长2020-07-30阅读(679)

Gevent官网文档地址：http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协同的例程，一般我们都简称为协程。 在...

赞(0)站长2020-07-30阅读(587)

pycharm是一个非常强大的python开发工具，现在很多代码最终在线上跑的环境都是linux，而开发环境可能还是windows下开发，这就需要经常在linux上进行调试，或者在linux对代码进行编写，而pycharm提供了非常便捷的方...

赞(0)站长2020-07-30阅读(585)

因为现在很多网站为了限制爬虫，设置了为只有登录才能看更多的内容，不登录只能看到部分内容，这也是一种反爬虫的手段，所以这个文章通过模拟登录知乎来作为例子，演示如何通过scrapy登录知乎 在通过scrapy登录知乎之前，我们先通过reques...

赞(0)站长2020-07-30阅读(772)

总架构理解Middleware 通过scrapy官网最新的架构图来理解： 这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以设置中间件，两者是双向的，并且是可以设...

赞(0)站长2020-07-30阅读(567)

爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？ 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序 反爬虫：使用技术手段防止爬虫程序爬取数据 误伤：反爬虫技术将普通用户识别为爬虫，这种情况多出现在封ip...

赞(0)站长2020-07-30阅读(618)