热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

pythonday33

今日内容进程池与线程池开进程和开线程都需要消耗资源,只不过两者比较的情况线程消耗的资源比进程要少在计算机能够承受范围之内最大限度的利用计算机什么是池?在保证计算机硬件安全的情况下最

今日内容


进程池与线程池

开进程和开线程都需要消耗资源,只不过两者比较的情况线程消耗的资源比进程要少

在计算机能够承受范围之内最大限度的利用计算机

什么是池?

  • 在保证计算机硬件安全的情况下最大限度的利用计算机
  • 池其实是降低了程序的运行效率,但是保证了计算机的硬件的安全(硬件的发展跟不上软件的发展速度)

线程池

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time
import os

pool
= ThreadPoolExecutor(5) # 括号内可以传参数指定线程内的线程个数,也可以不传,不传默认是当前所在计算机的cpu个数乘5
pool = ProcessPoolExecutor(5)

def task(n):print(n)time.sleep(2)return n**2

t_list
= []
for i in range(20):res = pool.submit(task,1) # 朝线程池中提交任务,异步提交print(res.result()) # 原地等待任务的返回结果,将并发变为串行
t_list.append()

pool.shutdown()
# 关闭池子,等待池子中所有的任务执行完毕后,才会往下运行代码
for p in t_list:print('>>>:',p.result())

进程池

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time

pool
= ProcessPoolExecutor() # 不传值时默认是当前计算机cpu的个数

def task(n):print(n,os.getpid()) # 查看当前进程号time.sleep(2)return n**2

if __name__ == '__main__':t_list = []for i in range(20):res = pool.submit(task,1) # 朝线程池中提交任务,异步提交print(res.result()) # 原地等待任务的返回结果,将并发变为串行
t_list.append()
​pool.shutdown()
# 关闭池子,等待池子中所有的任务执行完毕后,才会往下运行代码for p in t_list:print('>>>:',p.result())

总结:

  • 池子中创建的进程/线程,创建一次就不会再创建了,至始至终都是用的最初的那几个,这样做节省了反复开辟进程/线程的资源

异步回调机制:当异步提交的任务有返回结果时,会自动触发回调函数的执行

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time

pool
= ProcessPoolExecutor(5)

def task(n):print(n,os.getpid()) # 查看当前进程号time.sleep(2)return n**2

def callback(n):print('拿到了异步提交任务的返回结果:',n)

if __name__ == '__main__':t_list = []for i in range(20):res = pool.submit(task,1).add_done_callback(call_back) # 提交任务时,绑定一个回调函数,一旦任务有结果,立刻执行对应的回调函数t_list.append(res)

提交任务的方式:

  • 同步:提交任务后,原地等待任务的返回结果,期间不做任何事
  • 异步:提交任务后,不等待任务的返回结果(异步的结果怎么拿),直接执行下一行代码

协程

进程:资源单位

线程:执行单位

协程:

  • 单线程下实现并发
  • 完全是程序员自己意淫出来的名词
  • 并发:切换+保存状态
  • PS:看起来像同时执行的,就可以称之为并发

实现并发的条件

  • 多道技术
    • 空间上的复用
    • 时间上的复用
  • 切换+保存状态

实现原理:

  • 程序员自己通过代码检测程序中的IO,一旦遇到IO,自己通过代码切换,给操作系统的感觉时你这个线程没有任何的IO
  • PS:欺骗操作系统,让它误认为你这个程序一直没有IO,从而保证程序在运行态和就绪态来回切换,提升代码的运行效率

切换+保存状态就一定能够提升效率吗?

  • 当你的任务就io密集型的情况下,则提升效率
  • 如果你的任务是计算密集型的,则降低效率

注意:yield保存上一次的结果

# 基于yield并发执行 切换+保存状态 效率反而降低了
import time

def func1():while True:10000000+1yielddef func2():g = func1()for i in range(10000000):time.sleep(100) # 模拟IO,yield并不会捕捉到自动切换i+1next(g)start = time.time()
func2()
stop
= time.time()
print(stop-start)

需要找到一个能够识别IO的工具(gevent模块)

注意:gevent模块无法自动识别time.sleep等IO情况,需要手动再配置一个参数(monkey.patch_all())

from gevent import monkey;monkey.patch_all() # 由于该模块经常被使用,所以建议写成一行
from gevent import spawn
import time

def heng():print('')time.slepp(2)print('')def ha():print('')time.sleep(3)print('')start = time.time()
g1
= spawn(heng)
g2
= spawn(ha) # spawn会监测所有的任务
g1.join()
g2.join()
print(time.time() - start)
'''


3.002878...秒
'''

总结:

  • 多进程下开多线程
  • 多线程下再开协程

TCP单线程实现并发

客户端

import socket
from Thread import Thread,current_thread

def client():client = socket.socket()client.connect(('127.0.0.1',8080))n = 0while True:data = '%s %s'%(current_thread().name,n)client.send(data.encode('utf--8'))res = client.recv(1024)print(res.decode('utf-8'))n += 1for i in range(400):t = Thread(target=client)t.start()

服务端

import socket
from gevent import monkey;monkey.patch_all()行
from gevent import spawn

server
= socket.socket()
server.bind((
'127.0.0.1',8080))
server.listen(
5)

def talk(conn):while True:try:data = conn.recv(1024)if len(data) == 0:breakprint(data.decode('utf-8'))conn.send(data.upper())except ConnectResetError as e:print(e)breakconn.close()

def server_run():while True:conn,addr = server.accept()spawn(talk,conn)if __name__ == '__main__':g1 = spawn(server_run)g1.join()


IO模型

https://www.cnblogs.com/Dominic-Ji/articles/10929396.html


转载于:https://www.cnblogs.com/zhukaijian/p/11359435.html


推荐阅读
  • Jquery 跨域问题
    为什么80%的码农都做不了架构师?JQuery1.2后getJSON方法支持跨域读取json数据,原理是利用一个叫做jsonp的概念。当然 ... [详细]
  • 本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
  • BugDescriptionWhencategoricalvariablehas ... [详细]
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • 阿,里,云,物,联网,net,core,客户端,czgl,aliiotclient, ... [详细]
  • eclipse学习(第三章:ssh中的Hibernate)——11.Hibernate的缓存(2级缓存,get和load)
    本文介绍了eclipse学习中的第三章内容,主要讲解了ssh中的Hibernate的缓存,包括2级缓存和get方法、load方法的区别。文章还涉及了项目实践和相关知识点的讲解。 ... [详细]
  • 个人学习使用:谨慎参考1Client类importcom.thoughtworks.gauge.Step;importcom.thoughtworks.gauge.T ... [详细]
  • 本文介绍了Python爬虫技术基础篇面向对象高级编程(中)中的多重继承概念。通过继承,子类可以扩展父类的功能。文章以动物类层次的设计为例,讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例,以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。 ... [详细]
  • 预备知识可参考我整理的博客Windows编程之线程:https:www.cnblogs.comZhuSenlinp16662075.htmlWindows编程之线程同步:https ... [详细]
  • python3 nmap函数简介及使用方法
    本文介绍了python3 nmap函数的简介及使用方法,python-nmap是一个使用nmap进行端口扫描的python库,它可以生成nmap扫描报告,并帮助系统管理员进行自动化扫描任务和生成报告。同时,它也支持nmap脚本输出。文章详细介绍了python-nmap的几个py文件的功能和用途,包括__init__.py、nmap.py和test.py。__init__.py主要导入基本信息,nmap.py用于调用nmap的功能进行扫描,test.py用于测试是否可以利用nmap的扫描功能。 ... [详细]
  • linux进阶50——无锁CAS
    1.概念比较并交换(compareandswap,CAS),是原⼦操作的⼀种,可⽤于在多线程编程中实现不被打断的数据交换操作࿰ ... [详细]
  • 1简介本文结合数字信号处理课程和Matlab程序设计课程的相关知识,给出了基于Matlab的音乐播放器的总体设计方案,介绍了播放器主要模块的功能,设计与实现方法.我们将该设 ... [详细]
  • 第七课主要内容:多进程多线程FIFO,LIFO,优先队列线程局部变量进程与线程的选择线程池异步IO概念及twisted案例股票数据抓取 ... [详细]
  • java线程池的实现原理源码分析
    这篇文章主要介绍“java线程池的实现原理源码分析”,在日常操作中,相信很多人在java线程池的实现原理源码分析问题上存在疑惑,小编查阅了各式资 ... [详细]
  • 使用Flutternewintegration_test进行示例集成测试?回答首先在dev下的p ... [详细]
author-avatar
海峰2502853427
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有