python可迭代对象、迭代器和生成器

python可迭代对象、迭代器和生成器

一、简介

1、关于迭代器和生成器

关于python的迭代器和生成器这两个概念&＃xff0c;大多数程序员都认为其在功能上是类似的&＃xff0c;在python官方文档中也有时认为迭代器就是生成器&＃xff0c;其实这两种还是有一定的区别。

使用内置函数iter()可以生成迭代器&＃xff0c;使用内置函数next()可以获得迭代器中的值。

第一点&＃xff0c;从概念上&＃xff1a;
在典型的迭代器设计模式中&＃xff0c;迭代器用于遍历集合&＃xff0c;从中产出元素&＃xff0c;迭代器不能修改数据源中的值&＃xff0c;只能原封不动地产出&＃xff0c;而生成器可能无需遍历就能生成值。

第二点&＃xff0c;从接口方面&＃xff1a;
python的迭代器协议定义了两个方法__iter__和__next__&＃xff0c;生成器实现了这两个方法&＃xff0c;因此从这方面来看&＃xff0c;所有的生成器都是迭代器。

第三点、从实现方面&＃xff1a;
生成器这种python语言结构可以使用两种方式编写&＃xff1a;1、含有yield关键字的函数&＃xff0c;称之为生成器函数。2、使用生成器表达式。

2、关于可迭代对象

为什么是可迭代的&＃xff1f;

在介绍可迭代对象之前&＃xff0c;我们先了解一下python中序列可迭代的原因&＃xff0c;序列之所以可以迭代是因为iter()内置函数&＃xff0c;iter()内置函数有以下作用&＃xff1a;

(1) 检查对象是否实现了__iter__方法&＃xff0c;如果实现了就调用它&＃xff0c;获取一个迭代器

(2) 如果没有实现__iter__方法&＃xff0c;但是实现了__getitem__方法&＃xff0c;python会创建一个迭代器&＃xff0c;尝试按照顺序&＃xff08;从索引0&＃xff09;开始获取元素。

(3) 如果上述尝试均失败&＃xff0c;python会抛出TypeError异常

什么是可迭代对象&＃xff1f;

按照上面python序列可迭代的原因来看&＃xff0c;Python中任意的对象&＃xff0c;只要它定义了可以返回一个迭代器的 __iter__ 方法&＃xff0c;或者定义了可以支持下标索引的 __getitem__ 方法&＃xff0c;那么它就是一个可迭代对象。简单说&＃xff0c;可迭代对象就是能提供迭代器的任意对象。

二、可迭代对象

可迭代对象可以使用内置iter()函数获取迭代器的对象&＃xff0c;如果对象实现了能返回迭代器的__iter__方法&＃xff0c;那么对象就是可以迭代的。序列都可以迭代&＃xff1b;实现了__getitem__方法&＃xff0c;而且其参数是从零开始的索引&＃xff0c;这种对象也可以迭代。

按照上面我们对可迭代对象的定义&＃xff0c;我们进行如下代码实验

import re
import reprlibRE_WORD &＃61; re.compile(&＃39;\w&＃43;&＃39;)class Sentence(object):def __init__(self, text):self.text &＃61; textself.words &＃61; RE_WORD.findall(text) # re.findall函数返回一个字符串列表&＃xff0c;得到匹配的单词# 我们只实现了__getitem__方法def __getitem__(self, index):return self.words[index]def __repr__(self):return &＃39;Sentence(%s)&＃39; % reprlib.repr(self.text)s &＃61; Sentence(&＃39;My favorite language is python !&＃39;)
print(s)
# 我们迭代打印s中的值&＃xff0c;打印成功则Sentence类是可以迭代的
for word in s: print(word)


Sentence(&＃39;My favorite ...e is python !&＃39;)
My
favorite
language
is
python


在上述代码实验中&＃xff0c;我们并没有重载__itet__方法&＃xff0c;而是重载了__getitem__方法&＃xff0c;我们自定义的Sentence类仍然是可以迭代的&＃xff0c;说明我们之前对可迭代对象的定义正确。

我们来验证是否能够使用iter()内置函数来直接获取对象的迭代器&＃xff0c;

s1 &＃61; Sentence(&＃39;Hi Python&＃39;)
it &＃61; iter(s1) # 获取序列的迭代器对象
print(next(it))
print(next(it))


Hi
Python


结果表明&＃xff0c;我能确实能够获得序列对象的迭代器。

三、迭代器

标准的迭代器需要实现的方法:

(1) __next__ 返回下一个可用的元素&＃xff0c;如果没有元素&＃xff0c;抛出StopIteration异常。

(2) __iter__ 返回self&＃xff0c;以便在应该使用可迭代对象的地方使用迭代器&＃xff0c;例如for循环中。

现在我们按照迭代的标准写法&＃xff0c;来改写前一个列子的代码。

import re
import reprlibRE_WORD &＃61; re.compile(&＃39;\w&＃43;&＃39;)class Sentence(object): # 可迭代对象实现__iter__def __init__(self, text):self.text &＃61; textself.words &＃61; RE_WORD.findall(text)def __repr__(self):return "Sentence(%s)" % reprlib.repr(self.text)def __iter__(self):return SentenceIterator(self.words)class SentenceIterator(object): # 迭代器实现__next__和__iter__def __init__(self, words):self.words &＃61; wordsself.index &＃61; 0def __next__(self):try:word &＃61; self.words[self.index]except IndexError:raise StopIterationself.index &＃43;&＃61; 1return worddef __iter__(self):return selfs1 &＃61; Sentence(&＃39;My favorite language is Python!&＃39;)
print(s1)
print(&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;)for word in s1: print(word)it &＃61; iter(s1)
print(&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;)
print(next(it))
print(next(it))

Sentence(&＃39;My favorite ...ge is Python!&＃39;)
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
My
favorite
language
is
Python
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
My
favorite


在构建迭代器对象和迭代器时经常会出现错误&＃xff0c;原因是混淆了两者&＃xff0c;要知道&＃xff0c;可迭代的对象有一个__iter__方法&＃xff0c;每次都实例化一个新的迭代器&＃xff1b;而迭代器要实现__next__方法&＃xff0c;返回单个元素&＃xff0c;此外还要实现__iter__方法&＃xff0c;返回迭代器本身。

小结&＃xff1a;
可迭代的对象一定不能是自身的迭代器&＃xff0c;也就是说&＃xff0c;可迭代的对象必须实现__iter__方法&＃xff0c;但是不能实现__next__方法。
另一方面&＃xff0c;迭代器应该可以一直迭代&＃xff0c;迭代器的__iter__方法应该返回自身。

四、生成器与生成器函数

1、生成器函数

先介绍什么是生成器函数&＃xff0c;在普通函数定义中&＃xff0c;不需要return&＃xff0c;而是采用yield关键字来“产生”值&＃xff0c;该函数就是生成器函数。调用生成器函数时&＃xff0c;会返回一个生成器对象&＃xff0c;也就是说生成器函数是生成器工厂。

定义一个简单的生成器函数&＃xff1a;

def gen_123():for i in [1,2,3]:yield iit &＃61; gen_123()
print(next(it))
print(next(it))
print(next(it))


1
2
3


上述代码中&＃xff0c;为了实现相同的功能&＃xff0c;符合python编程风格的做法是&＃xff0c;用生成器函数来代替SentenceIterator类。

import re
import reprlibRE_WORD &＃61; re.compile(&＃39;\w&＃43;&＃39;)class Sentence(object): # 可迭代对象实现__iter__def __init__(self, text):self.text &＃61; textself.words &＃61; RE_WORD.findall(text)def __repr__(self):return "Sentence(%s)" % reprlib.repr(self.text)def __iter__(self): # 替换成生成器函数for word in self.words:yield words2 &＃61; Sentence(&＃39;My favorite language is Pythooooon!&＃39;)
print(s2)
print(&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;)for word in s2: print(word)
print(&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;)it &＃61; iter(s2)
print(next(it))
print(next(it))


Sentence(&＃39;My favorite ...s Pythooooon!&＃39;)
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
My
favorite
language
is
Pythooooon
&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
My
favorite


注意我们在此&＃xff0c;并没有定义迭代器类&＃xff0c;而是使用生成器函数来代替迭代器的类&＃xff0c;更加pythonic

2、生成器表达式

生成器表达式&＃xff0c;和列表生成式字典生成式等类似&＃xff0c;只不过将[ ]替换成( )

it &＃61; (x for x in [1,2,3,4])
print(type(it))
print(next(it))
print(next(it))
print(next(it))
print(next(it))


<class &＃39;generator&＃39;>
1
2
3
4


五、Reference

https://www.liaoxuefeng.com/wiki/1016959663602400/1017318207388128
https://www.runoob.com/python3/python3-iterator-generator.html
https://py.eastlakeside.cn/book/DataStructures/generators.html
《FluentPython》