热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:面试官:如何实现一个连接池,我当场懵了

篇首语:本文由编程笔记#小编为大家整理,主要介绍了面试官:如何实现一个连接池,我当场懵了相关的知识,希望对你有一定的参考价值。 设为“星标”,好文章不错过!

篇首语:本文由编程笔记#小编为大家整理,主要介绍了面试官:如何实现一个连接池,我当场懵了相关的知识,希望对你有一定的参考价值。









设为“星标”,好文章不错过!







什么是连接池?




























结构










连接池对外提供如下接口:



  • 获得连接


  • 归还连接


暴露最小空闲连接数、最大连接数等客户端可配置的参数

对内则实现如下功能:



  • 连接建立


  • 连接心跳保持


  • 连接管理


  • 空闲连接回收


  • 连接可用性检测







面试官:如何实现一个连接池,我当场懵了


连接池结构示意图




面试官:如何实现一个连接池,我当场懵了



面试官:如何实现一个连接池,我当场懵了







若客户端SDK没有使用连接池,而直接是TCP连接,就需要考虑每次建立TCP连接的开销。因为TCP基于字节流,多线程下对同一连接操作有线程安全隐患。












TCP连接的客户端SDK,对外提供API方式



























连接池和连接分离式






面试官:如何实现一个连接池,我当场懵了




有一个XXXPool类负责连接池实现:



  1. 先从其获得连接XXXConnection


  2. 再用所获连接请求服务端


  3. 完成后归还连接


XXXPool必须是线程安全的,可并发获取和归还连接,而XXXConnection是非线程安全的。
对应到连接池结构示意图,XXXPool就是右边连接池那个框,左边客户端是我们自己的代码。






面试官:如何实现一个连接池,我当场懵了


最佳实践




面试官:如何实现一个连接池,我当场懵了




连接池本身一般是线程安全的,可复用。每次使用需要从连接池获取连接,使用后归还,归还的工作由使用者负责。


















内置连接池






面试官:如何实现一个连接池,我当场懵了




对外提供一个XXXClient类,通过该类可直接请求服务端。该类内部维护了连接池,SDK使用者无需考虑连接的获取和归还问题。
XXXClient是线程安全的。对应到连接池结构示意图中,整个API就是蓝框。






面试官:如何实现一个连接池,我当场懵了


最佳实践




面试官:如何实现一个连接池,我当场懵了




大多数中间件、数据库的客户端SDK都会支持连接池,SDK负责连接的获取和归还,使用的时候直接复用客户端。


















非连接池






面试官:如何实现一个连接池,我当场懵了




一般命名为XXXConnection,以区分其是基于连接池or单连接,而不建议命名为XXXClient。直接连接方式的API基于单一连接,每次使用都需要创建和断开连接,性能一般,且通常不是线程安全的。对应到连接池的结构示意图中,这种形式相当于没有右边连接池那个框,客户端直接连接服务端创建连接。






面试官:如何实现一个连接池,我当场懵了


最佳实践




面试官:如何实现一个连接池,我当场懵了




那通常不是线程安全的,而且短连接的方式性能不会很高,使用的时候需要考虑是否自己封装一个连接池。







Jedis属于哪种呢?











多线程环境下复用一个连接会发生什么?

首先,向Redis初始化2组数据,Key=a、Value=1,Key=b、Value=2:





















@PostConstructpublic void init() { try (Jedis jedis = new Jedis("127.0.0.1", 6379)) { Assert.isTrue("OK".equals(jedis.set("a", "1")), "set a = 1 return OK"); Assert.isTrue("OK".equals(jedis.set("b", "2")), "set b = 2 return OK"); }}



然后,启动两个线程,共享操作同一个Jedis实例,每一个线程循环1000次,分别读取Key为a和b的Value,判断是否分别为1和2:


































Jedis jedis = new Jedis("127.0.0.1", 6379);new Thread(() -> { for (int i = 0; i <1000; i++) { String result = jedis.get("a"); if (!result.equals("1")) { log.warn("Expect a to be 1 but found {}", result); return; } }}).start();new Thread(() -> { for (int i = 0; i <1000; i++) { String result = jedis.get("b"); if (!result.equals("2")) { log.warn("Expect b to be 2 but found {}", result); return; } }}).start();TimeUnit.SECONDS.sleep(5);



执行多次,发现日志各种异常都有:






































//错误1[14:56:19.069] [Thread-28] [WARN ] [.t.c.c.redis.JedisMisreuseController:45 ] - Expect b to be 2 but found 1//错误2redis.clients.jedis.exceptions.JedisConnectionException: Unexpected end of stream. at redis.clients.jedis.util.RedisInputStream.ensureFill(RedisInputStream.java:202) at redis.clients.jedis.util.RedisInputStream.readLine(RedisInputStream.java:50) at redis.clients.jedis.Protocol.processError(Protocol.java:114) at redis.clients.jedis.Protocol.process(Protocol.java:166) at redis.clients.jedis.Protocol.read(Protocol.java:220) at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:318) at redis.clients.jedis.Connection.getBinaryBulkReply(Connection.java:255) at redis.clients.jedis.Connection.getBulkReply(Connection.java:245) at redis.clients.jedis.Jedis.get(Jedis.java:181) at org.geekbang.time.commonmistakes.connectionpool.redis.JedisMisreuseController.lambda$wrong$1(JedisMisreuseController.java:43) at java.lang.Thread.run(Thread.java:748)//错误3java.io.IOException: Socket Closed at java.net.AbstractPlainSocketImpl.getOutputStream(AbstractPlainSocketImpl.java:440) at java.net.Socket$3.run(Socket.java:954) at java.net.Socket$3.run(Socket.java:952) at java.security.AccessController.doPrivileged(Native Method) at java.net.Socket.getOutputStream(Socket.java:951) at redis.clients.jedis.Connection.connect(Connection.java:200) ... 7 more



让我们分析一下Jedis类的源码,搞清楚其中缘由吧。
面试官:如何实现一个连接池,我当场懵了
面试官:如何实现一个连接池,我当场懵了
面试官:如何实现一个连接池,我当场懵了
面试官:如何实现一个连接池,我当场懵了
面试官:如何实现一个连接池,我当场懵了

面试官:如何实现一个连接池,我当场懵了
BinaryClient封装了各种Redis命令
面试官:如何实现一个连接池,我当场懵了
都是调用其父类Connection方法,使用Protocol类发送命令
面试官:如何实现一个连接池,我当场懵了
Protocol类的sendCommand方法
面试官:如何实现一个连接池,我当场懵了
发送命令时是直接操作RedisOutputStream写字节。

在多线程环境下复用Jedis对象,其实就是在复用RedisOutputStream。如果多个线程在执行操作,那么既无法确保整条命令以一个原子操作写入Socket,也无法确保写入后、读取前没有其他数据写到远端。
这就能解释了为何多线程下使用Jedis对象操作Redis会出现各种问题:



  • 写操作互相干扰,多条命令交织,必然是非法的Redis命令,则Redis会关闭客户端连接,导致连接断开


  • 线程1和2先后写入get a和get b请求,Redis也返回了值1和2,但是线程2先读取了数据1就会出现数据错乱的问题。




















修复






面试官:如何实现一个连接池,我当场懵了




使用Jedis提供的线程安全的类JedisPool来获得Jedis的实例。JedisPool作为连接池,可以声明为static 被多线程共享。注意使用try-with-resources模式。
这样使用后代码不再有线程安全问题。最好再通过shutdownhook,在程序退出之前关闭JedisPool:




















@PostConstructpublic void init() { Runtime.getRuntime().addShutdownHook(new Thread(() -> { jedisPool.close(); }));}




















Jedis#close






面试官:如何实现一个连接池,我当场懵了




若Jedis是从连接池获取的话,则close方法会调用连接池的return方法归还连接:
面试官:如何实现一个连接池,我当场懵了

如果不是,则直接关闭连接,其最终调用Connection类的disconnect方法来关闭TCP连接:
面试官:如何实现一个连接池,我当场懵了
可见Jedis可独立使用,也可配合连接池(JedisPool)







JedisPool











面试官:如何实现一个连接池,我当场懵了

面试官:如何实现一个连接池,我当场懵了
面试官:如何实现一个连接池,我当场懵了
面试官:如何实现一个连接池,我当场懵了

JedisPool继承JedisPoolAbstract又继承抽象类Pool,Pool内部持有Apache Common的GenericObjectPool。
面试官:如何实现一个连接池,我当场懵了


所以JedisPool的连接池其实就是直接复用的GenericObjectPool,并没有自己实现一套池子。

综上,Jedis API属于连接池和连接分离的API,JedisPool是线程安全的连接池,Jedis是非线程安全的单一连接。








往期推荐









































喜欢文章,点个“在看、点赞、分享”素质三连支持一下~


推荐阅读
  • 个人学习使用:谨慎参考1Client类importcom.thoughtworks.gauge.Step;importcom.thoughtworks.gauge.T ... [详细]
  • Imtryingtofigureoutawaytogeneratetorrentfilesfromabucket,usingtheAWSSDKforGo.我正 ... [详细]
  • 基于Socket的多个客户端之间的聊天功能实现方法
    本文介绍了基于Socket的多个客户端之间实现聊天功能的方法,包括服务器端的实现和客户端的实现。服务器端通过每个用户的输出流向特定用户发送消息,而客户端通过输入流接收消息。同时,还介绍了相关的实体类和Socket的基本概念。 ... [详细]
  • 纠正网上的错误:自定义一个类叫java.lang.System/String的方法
    本文纠正了网上关于自定义一个类叫java.lang.System/String的错误答案,并详细解释了为什么这种方法是错误的。作者指出,虽然双亲委托机制确实可以阻止自定义的System类被加载,但通过自定义一个特殊的类加载器,可以绕过双亲委托机制,达到自定义System类的目的。作者呼吁读者对网上的内容持怀疑态度,并带着问题来阅读文章。 ... [详细]
  • 如何自行分析定位SAP BSP错误
    The“BSPtag”Imentionedintheblogtitlemeansforexamplethetagchtmlb:configCelleratorbelowwhichi ... [详细]
  • 向QTextEdit拖放文件的方法及实现步骤
    本文介绍了在使用QTextEdit时如何实现拖放文件的功能,包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数,并结合QMimeData和QUrl等类,可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]
  • Java容器中的compareto方法排序原理解析
    本文从源码解析Java容器中的compareto方法的排序原理,讲解了在使用数组存储数据时的限制以及存储效率的问题。同时提到了Redis的五大数据结构和list、set等知识点,回忆了作者大学时代的Java学习经历。文章以作者做的思维导图作为目录,展示了整个讲解过程。 ... [详细]
  • 本文主要解析了Open judge C16H问题中涉及到的Magical Balls的快速幂和逆元算法,并给出了问题的解析和解决方法。详细介绍了问题的背景和规则,并给出了相应的算法解析和实现步骤。通过本文的解析,读者可以更好地理解和解决Open judge C16H问题中的Magical Balls部分。 ... [详细]
  • Mac OS 升级到11.2.2 Eclipse打不开了,报错Failed to create the Java Virtual Machine
    本文介绍了在Mac OS升级到11.2.2版本后,使用Eclipse打开时出现报错Failed to create the Java Virtual Machine的问题,并提供了解决方法。 ... [详细]
  • eclipse学习(第三章:ssh中的Hibernate)——11.Hibernate的缓存(2级缓存,get和load)
    本文介绍了eclipse学习中的第三章内容,主要讲解了ssh中的Hibernate的缓存,包括2级缓存和get方法、load方法的区别。文章还涉及了项目实践和相关知识点的讲解。 ... [详细]
  • 1,关于死锁的理解死锁,我们可以简单的理解为是两个线程同时使用同一资源,两个线程又得不到相应的资源而造成永无相互等待的情况。 2,模拟死锁背景介绍:我们创建一个朋友 ... [详细]
  • 本文介绍了Java高并发程序设计中线程安全的概念与synchronized关键字的使用。通过一个计数器的例子,演示了多线程同时对变量进行累加操作时可能出现的问题。最终值会小于预期的原因是因为两个线程同时对变量进行写入时,其中一个线程的结果会覆盖另一个线程的结果。为了解决这个问题,可以使用synchronized关键字来保证线程安全。 ... [详细]
  • 开发笔记:实验7的文件读写操作
    本文介绍了使用C++的ofstream和ifstream类进行文件读写操作的方法,包括创建文件、写入文件和读取文件的过程。同时还介绍了如何判断文件是否成功打开和关闭文件的方法。通过本文的学习,读者可以了解如何在C++中进行文件读写操作。 ... [详细]
  • 本文介绍了Python爬虫技术基础篇面向对象高级编程(中)中的多重继承概念。通过继承,子类可以扩展父类的功能。文章以动物类层次的设计为例,讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例,以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。 ... [详细]
  • 本文介绍了Swing组件的用法,重点讲解了图标接口的定义和创建方法。图标接口用来将图标与各种组件相关联,可以是简单的绘画或使用磁盘上的GIF格式图像。文章详细介绍了图标接口的属性和绘制方法,并给出了一个菱形图标的实现示例。该示例可以配置图标的尺寸、颜色和填充状态。 ... [详细]
author-avatar
mobiledu2502863807
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有