Python多线程与单线程处理大文件的性能差异【附图】

1 import os
2 import threading
3 from time import ctime
4 def loop(loops,list):#list存放着每个线程需要处理的文本文件名
5 print &＃39;线程%d处理的文件列表%s\n&＃39;%(loops&＃43;1,list)
6 list_len&＃61;len(list)
7 for i in range(list_len):
8 f&＃61;open(list[i])
9 rows&＃61;len(f.readlines())#此处&＃xff0c;我直接将整个文件读入&＃xff0c;所以会比较卡&＃xff0c;可以在此设置每次读入的大小
10 f.close()
11 print &＃39;文件%s__%d行\n&＃39;%(list[i],rows)
12
13 def main():
14 print &＃39;all start at:&＃39;,ctime()
15 cwd&＃61;os.getcwd()
16 dir_list&＃61;os.listdir(cwd)
17 file_list&＃61;[] #该列表用来存放当前目录下的所有txt文件
18 print &＃39;当前文件夹下的所有txt文件:&＃39;
19 for l in dir_list:
20 if l.rfind(&＃39;txt&＃39;)>&＃61;0:
21 print &＃39; &＃39;,l
22 file_list.append(l)
23 threads&＃61;[]
24 threads_num&＃61;4 #线程数 在此处修改下线程数就可以比较多线程与单线程处理文件的速度差异
25 print &＃39;共有线程数:%d个&＃39;%threads_num
26 per_thread&＃61;len(file_list)/threads_num #每个线程处理的文本数量
27 print per_thread
28 for i in range(threads_num):
29 if threads_num-i&＃61;&＃61;1: #最后一个线程&＃xff0c;分担余下的所有工作量
30 t&＃61;threading.Thread(target&＃61;loop,args&＃61;(i,file_list[i*per_thread:]))
31 else:
32 t&＃61;threading.Thread(target&＃61;loop,args&＃61;(i,file_list[i*per_thread:i*per_thread&＃43;per_thread]))
33 threads.append(t)
34 for i in range(threads_num):
35 threads[i].start()
36 for i in range(threads_num):#等待所有的线程结束
37 threads[i].join()
38 print &＃39;all end at:&＃39;,ctime()
39 if __name__&＃61;&＃61;&＃39;__main__&＃39;:
40 main()