Skip to content

Latest commit

 

History

History
176 lines (124 loc) · 8.94 KB

Python Handbook.md

File metadata and controls

176 lines (124 loc) · 8.94 KB

Python


什么是 Python 生成器?

generator,有两种产生生成器对象的方式:一种是列表生成式加括号:

g1 = (x for x in range(10))

一种是在函数定义中包含yield关键字:

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        yield b
        a, b = b, a + b
        n = n + 1
    return 'done'

g2 = fib(8)

对于generator对象g1和g2,可以通过next(g1)不断获得下一个元素的值,如果没有更多的元素,就会报错StopIteration

也可以通过for循环获得元素的值。

生成器的好处是不用占用很多内存,只需要在用的时候计算元素的值就行了。

什么是 Python 迭代器?

Python中可以用于for循环的,叫做可迭代Iterable,包括list/set/tuple/str/dict等数据结构以及生成器;可以用以下语句判断一个对象是否是可迭代的:

from collections import Iterable
isinstance(x, Iterable)

迭代器Iterator,是指可以被next()函数调用并不断返回下一个值,直到StopIteration;生成器都是Iterator,而列表等数据结构不是;可以通过以下语句将list变为Iterator:

iter([1,2,3,4,5])

生成器都是Iterator,但迭代器不一定是生成器。

list 和 tuple 有什么区别?

  • list 长度可变,tuple不可变;
  • list 中元素的值可以改变,tuple 不能改变;
  • list 支持append; insert; remove; pop等方法,tuple 都不支持

Python 中的 list 和 dict 是怎么实现的?

Python 中使用多线程可以达到多核CPU一起使用吗?

Python中有一个被称为Global Interpreter Lock(GIL)的东西,它会确保任何时候你的多个线程中,只有一个被执行。线程的执行速度非常之快,会让你误以为线程是并行执行的,但是实际上都是轮流执行。经过GIL这一道关卡处理,会增加执行的开销。

可以通过多进程实现多核任务。

GIL(Global Interpreter Lock)

全局解释器锁

全局解释器锁(Global Interpreter Lock)是计算机程序设计语言解释器用于同步线程的一种机制,它使得任何时刻仅有一个线程在执行。即便在多核处理器上,使用 GIL 的解释器也只允许同一时间执行一个线程,常见的使用 GIL 的解释器有CPython与Ruby MRI。可以看到GIL并不是Python独有的特性,是解释型语言处理多线程问题的一种机制而非语言特性。

GIL的设计初衷?

展开 单核时代高效利用CPU, 针对解释器级别的数据安全(不是thread-safe 线程安全)。 首先需要明确的是GIL并不是Python的特性,它是在实现Python解析器(CPython)时所引入的一个概念。当Python虚拟机的线程想要调用C的原生线程需要知道线程的上下文,因为没有办法控制C的原生线程的执行,所以只能把上下文关系传给原生线程,同理获取结果也是线 程在python虚拟机这边等待。那么要执行一次计算操作,就必须让执行程序的线程组串行执行。

为什么要加在解释器,而不是在其他层?

展开 GIL锁加在解释器一层,也就是说Python调用的Cython解释器上加了GIL锁,因为你python调用的所有线程都是原生线程。原生线程是通过C语言提供原生接口,相当于C语言的一个函数。你一调它,你就控制不了了它了,就必须等它给你返回结果。只要已通过python虚拟机 ,再往下就不受python控制了,就是C语言自己控制了。加在Python虚拟机以下加不上去,只能加在Python解释器这一层。

GIL的实现是线程不安全?为什么?

展开 是不安全的,具体情况要分类讨论。

单核情况下:

单核情况下——线程不安全

解释:

  1. 到第5步的时候,可能这个时候python正好切换了一次GIL(据说python2.7中,每100条指令会切换一次GIL),执行的时间到了,被要求释放GIL,这个时候thead 1的count=0并没有得到执行,而是挂起状态,count=0这个上下文关系被存到寄存器中.
  2. 然后到第6步,这个时候thead 2开始执行,然后就变成了count = 1,返回给count,这个时候count=1.
  3. 然后再回到thead 1,这个时候由于上下文关系,thead 1拿到的寄存器中的count = 0,经过计算,得到count = 1,经过第13步的操作就覆盖了原来的count = 1的值,所以这个时候count依然是count = 1,所以这个数据并没有保护起来。

python2.x和3.x都是在执行IO操作的时候,强制释放GIL,使其他线程有机会执行程序。

Python2.x Python使用计数器ticks计算字节码,当执行100个字节码的时候强制释放GIL,其他线程获取GIL继续执行。ticks可以看作是Python自己的计数器,专门作用于GIL,释放后归零,技术可以调整。

Python3.x Python使用计时器,执行时间达到阈值后,当前线程释放GIL。总体来说比Python3.x对CPU密集型任务更好,但是依然没有解决问题。

多核情况下:

多个CPU情况下,单个CPU释放GIL锁,其他CPU上的线程也会竞争,但是CPU-A可能又马上拿到了GIL,这样其他CPU上的线程只能继续等待,直到重新回到待调度状态。造成多线程在多核CPU情况下,效率反而会下降,出现了大量的资源浪费。

什么是装饰器?

Python 中的垃圾回收机制?

Python垃圾回收机制--完美讲解!

什么是 lambda 表达式?

简单来说,lambda表达式通常是当你需要使用一个函数,但是又不想费脑袋去命名一个函数的时候使用,也就是通常所说的匿名函数。

lambda表达式一般的形式是:关键词lambda后面紧接一个或多个参数,紧接一个冒号“:”,紧接一个表达式

什么是深拷贝和浅拷贝?

赋值(=),就是创建了对象的一个新的引用,修改其中任意一个变量都会影响到另一个。

浅拷贝 copy.copy:创建一个新的对象,但它包含的是对原始对象中包含项的引用(如果用引用的方式修改其中一个对象,另外一个也会修改改变)

深拷贝:创建一个新的对象,并且递归的复制它所包含的对象(修改其中一个,另外一个不会改变){copy模块的deep.deepcopy()函数}

双等于和 is 有什么区别?

==比较的是两个变量的 value,只要值相等就会返回True

is比较的是两个变量的 id,即id(a) == id(b),只有两个变量指向同一个对象的时候,才会返回True

但是需要注意的是,比如以下代码:

a = 2
b = 2
print(a is b)

按照上面的解释,应该会输出False,但是事实上会输出True,这是因为Python中对小数据有缓存机制,-5~256之间的数据都会被缓存。


其它 Python 知识点

类型转换

  • list(x)
  • str(x)
  • set(x)
  • int(x)
  • tuple(x)

try...except

list

  • lst[a:b]:左闭右开
  • lst.append(value):在末尾添加元素,复杂度O(1)
  • lst.pop():弹出列表末尾元素,复杂度O(1)
  • lst.pop(index):弹出任意位置元素,将后面的元素前移,复杂度O(n)
  • lst.insert(index, value):插入元素,后面的元素后移,复杂度O(n)
  • lst.remove(value):移除等于value的第一个元素,后面的元素前移,复杂度O(n)
  • lst.count(value):计数值为value的元素个数
  • lst.sort(reverse = False):排序,默认升序

参考