热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

SpringAOP实现Redis缓存数据库查询源码

这篇文章主要介绍了SpringAOP实现Redis缓存数据库查询的相关内容,源码部分还是不错的,需要的朋友可以参考下。

应用场景

我们希望能够将数据库查询结果缓存到Redis中,这样在第二次做同样的查询时便可以直接从redis取结果,从而减少数据库读写次数。

需要解决的问题

操作缓存的代码写在哪?必须要做到与业务逻辑代码完全分离。

如何避免脏读? 从缓存中读出的数据必须与数据库中的数据一致。

如何为一个数据库查询结果生成一个唯一的标识?即通过该标识(Redis中为Key),能唯一确定一个查询结果,同一个查询结果,一定能映射到同一个key。只有这样才能保证缓存内容的正确性

如何序列化查询结果?查询结果可能是单个实体对象,也可能是一个List。

解决方案

避免脏读

我们缓存了查询结果,那么一旦数据库中的数据发生变化,缓存的结果就不可用了。为了实现这一保证,可以在执行相关表的更新查询(update, delete, insert)查询前,让相关的缓存过期。这样下一次查询时程序就会重新从数据库中读取新数据缓存到redis中。那么问题来了,在执行一条insert前我怎么知道应该让哪些缓存过期呢?对于Redis,我们可以使用Hash Set数据结构,让一张表对应一个Hash Set,所有在这张表上的查询都保存到该Set下。这样当表数据发生变动时,直接让Set过期即可。我们可以自定义一个注解,在数据库查询方法上通过注解的属性注明这个操作与哪些表相关,这样在执行过期操作时,就能直接从注解中得知应该让哪些Set过期了。

为查询生成唯一标识

对于MyBatis,我们可以直接使用SQL字符串做为key。但是这样就必须编写基于MyBatis的拦截器,从而使你的缓存代码与MyBatis紧紧耦合在一起。如果哪天更换了持久层的框架,你的缓存代码就白写了,所以这个方案并不完美。

仔细想一想,其实如果两次查询调用的类名、方法名和参数值相同,我们就可以确定这两次查询结果一定是相同的(在数据没有变动的前提下)。因此,我们可以将这三个元素组合成一个字符串做为key, 就解决了标识问题。

序列化查询结果

最方便的序列化方式就是使用JDK自带的ObjectOutputStream和ObjectInputStream。优点是几乎任何一个对象,只要实现了Serializable接口,都用同一套代码能被序列化和反序列化。但缺点也很致命,那就是序列化的结果容量偏大,在redis中会消耗大量内存(是对应JSON格式的3倍左右)。那么我们只剩下JSON这一个选择了。

JSON的优点是结构紧凑,可读性强,但美中不足的是,反序列化对象时必须提供具体的类型参数(Class对象),如果是List对象,还必须提供List和List中的元素类型两种信息,才能被正确反序列化。这样就增加了代码的复杂度。不过这些困难都是可以克服的,所以我们还是选择JSON作为序列化存储方式。

代码写在哪

毫无疑问,该AOP上场了。在我们的例子中,持久化框架使用的是MyBatis,因此我们的任务就是拦截Mapper接口方法的调用,通过Around(环绕通知)编写以下逻辑:

方法被调用之前,根据类名、方法名和参数值生成Key

通过Key向Redis发起查询

如果缓存命中,则将缓存结果反序列化作为方法调用的返回值 ,并阻止被代理方法的调用。

如果缓存未命中,则执行代理方法,得到查询结果,序列化,用当前的Key将序列化结果放入redis中。

代码实现

因为我们要拦截的是Mapper接口方法,因此必须命令spring使用JDK的动态代理而不是cglib的代理。为此,我们需要做以下配置:




然后定义两个标注在接口方法上的注解,用于传递类型参数:

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
@Documented
public @interface RedisCache {
  Class type();
}
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface RedisEvict {
  Class type();
}

注解的使用方式如下:

// 表示该方法需要执行 (缓存是否命中 ? 返回缓存并阻止方法调用 : 执行方法并缓存结果)的缓存逻辑
@RedisCache(type = JobPostModel.class)
JobPostModel selectByPrimaryKey(Integer id);
// 表示该方法需要执行清除缓存逻辑
@RedisEvict(type = JobPostModel.class)
int deleteByPrimaryKey(Integer id);

AOP的代码如下:

@Aspect
@Component
public class RedisCacheAspect {
  public static final Logger infoLog = LogUtils.getInfoLogger();
  @Qualifier("redisTemplateForString")
  @Autowired
  StringRedisTemplate rt;
  /**
   * 方法调用前,先查询缓存。如果存在缓存,则返回缓存数据,阻止方法调用;
   * 如果没有缓存,则调用业务方法,然后将结果放到缓存中
   * @param jp
   * @return
   * @throws Throwable
   */
  @Around("execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.select*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.get*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.find*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.search*(..))")
  public Object cache(ProceedingJoinPoint jp) throws Throwable {
    // 得到类名、方法名和参数
    String clazzName = jp.getTarget().getClass().getName();
    String methodName = jp.getSignature().getName();
    Object[] args = jp.getArgs();

    // 根据类名,方法名和参数生成key
    String key = genKey(clazzName, methodName, args);
    if (infoLog.isDebugEnabled()) {
      infoLog.debug("生成key:{}", key);
    }
    // 得到被代理的方法
    Method me = ((MethodSignature) jp.getSignature()).getMethod();
    // 得到被代理的方法上的注解
    Class modelType = me.getAnnotation(RedisCache.class).type();

    // 检查redis中是否有缓存
    String value = (String)rt.opsForHash().get(modelType.getName(), key);
    // result是方法的最终返回结果
    Object result = null;
    if (null == value) {
      // 缓存未命中
      if (infoLog.isDebugEnabled()) {
        infoLog.debug("缓存未命中");
      }
      // 调用数据库查询方法
      result = jp.proceed(args);

      // 序列化查询结果
      String json = serialize(result);
      // 序列化结果放入缓存
      rt.opsForHash().put(modelType.getName(), key, json);
    } else {
      // 缓存命中
      if (infoLog.isDebugEnabled()) {
        infoLog.debug("缓存命中, value = {}", value);
      }
      // 得到被代理方法的返回值类型
      Class returnType = ((MethodSignature) jp.getSignature()).getReturnType();

      // 反序列化从缓存中拿到的json
      result = deserialize(value, returnType, modelType);

      if (infoLog.isDebugEnabled()) {
        infoLog.debug("反序列化结果 = {}", result);
      }
    }
    return result;
  }
  /**
   * 在方法调用前清除缓存,然后调用业务方法
   * @param jp
   * @return
   * @throws Throwable
   */
  @Around("execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.insert*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.update*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.delete*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.increase*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.decrease*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.complaint(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.set*(..))")
  public Object evictCache(ProceedingJoinPoint jp) throws Throwable {
    // 得到被代理的方法
    Method me = ((MethodSignature) jp.getSignature()).getMethod();
    // 得到被代理的方法上的注解
    Class modelType = me.getAnnotation(RedisEvict.class).type();
    if (infoLog.isDebugEnabled()) {
      infoLog.debug("清空缓存:{}", modelType.getName());
    }
    // 清除对应缓存
    rt.delete(modelType.getName());
    return jp.proceed(jp.getArgs());
  }
  /**
   * 根据类名、方法名和参数生成key
   * @param clazzName
   * @param methodName
   * @param args 方法参数
   * @return
   */
  protected String genKey(String clazzName, String methodName, Object[] args) {
    StringBuilder sb = new StringBuilder(clazzName);
    sb.append(Constants.DELIMITER);
    sb.append(methodName);
    sb.append(Constants.DELIMITER);

    for (Object obj : args) {
      sb.append(obj.toString());
      sb.append(Constants.DELIMITER);
    }
    return sb.toString();
  }
  protected String serialize(Object target) {
    return JSON.toJSONString(target);
  }
  protected Object deserialize(String jsonString, Class clazz, Class modelType) {
    // 序列化结果应该是List对象
    if (clazz.isAssignableFrom(List.class)) {
      return JSON.parseArray(jsonString, modelType);
    }
    // 序列化结果是普通对象
    return JSON.parseObject(jsonString, clazz);
  }
}

这样我们就完成了数据库查询缓存的实现。

UPDATE:

最好为Hash Set设置一个过期时间,这样即使缓存策略有误(导致读出脏数据),过期时间到了以后依然可以与数据库保持同步:

// 序列化结果放入缓存
      rt.execute(new RedisCallback() {
        @Override
        public Object doInRedis(RedisConnection redisConn) throws DataAccessException {
          // 配置文件中指定了这是一个String类型的连接
          // 所以这里向下强制转换一定是安全的
          StringRedisConnection cOnn= (StringRedisConnection) redisConn;
          // 判断hash名是否存在
          // 如果不存在,创建该hash并设置过期时间
          if (false == conn.exists(hashName) ){
            conn.hSet(hashName, key, json);
            conn.expire(hashName, Constants.HASH_EXPIRE_TIME);
          } else {
            conn.hSet(hashName, key, json);
          }
          return null;
        }
      });

总结

本文关于Spring AOP实现Redis缓存数据库查询源码的介绍就到这里,希望对大家有所帮助。感兴趣的朋友可以参阅本站其他相关专题,在此非常感谢大家对的支持!


推荐阅读
  • 单点登录原理及实现方案详解
    本文详细介绍了单点登录的原理及实现方案,其中包括共享Session的方式,以及基于Redis的Session共享方案。同时,还分享了作者在应用环境中所遇到的问题和经验,希望对读者有所帮助。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • t-io 2.0.0发布-法网天眼第一版的回顾和更新说明
    本文回顾了t-io 1.x版本的工程结构和性能数据,并介绍了t-io在码云上的成绩和用户反馈。同时,还提到了@openSeLi同学发布的t-io 30W长连接并发压力测试报告。最后,详细介绍了t-io 2.0.0版本的更新内容,包括更简洁的使用方式和内置的httpsession功能。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • Java String与StringBuffer的区别及其应用场景
    本文主要介绍了Java中String和StringBuffer的区别,String是不可变的,而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象,内存使用上要优于String类。因此,在需要频繁对字符串进行修改的情况下,使用StringBuffer更加适合。同时,文章还介绍了String和StringBuffer的应用场景。 ... [详细]
  • MyBatis错题分析解析及注意事项
    本文对MyBatis的错题进行了分析和解析,同时介绍了使用MyBatis时需要注意的一些事项,如resultMap的使用、SqlSession和SqlSessionFactory的获取方式、动态SQL中的else元素和when元素的使用、resource属性和url属性的配置方式、typeAliases的使用方法等。同时还指出了在属性名与查询字段名不一致时需要使用resultMap进行结果映射,而不能使用resultType。 ... [详细]
  • 本文介绍了Redis中RDB文件和AOF文件的保存和还原机制。RDB文件用于保存和还原Redis服务器所有数据库中的键值对数据,SAVE命令和BGSAVE命令分别用于阻塞服务器和由子进程执行保存操作。同时执行SAVE命令和BGSAVE命令,以及同时执行两个BGSAVE命令都会产生竞争条件。服务器会保存所有用save选项设置的保存条件,当满足任意一个保存条件时,服务器会自动执行BGSAVE命令。此外,还介绍了RDB文件和AOF文件在操作方面的冲突以及同时执行大量磁盘写入操作的不良影响。 ... [详细]
  • SpringMVC接收请求参数的方式总结
    本文总结了在SpringMVC开发中处理控制器参数的各种方式,包括处理使用@RequestParam注解的参数、MultipartFile类型参数和Simple类型参数的RequestParamMethodArgumentResolver,处理@RequestBody注解的参数的RequestResponseBodyMethodProcessor,以及PathVariableMapMethodArgumentResol等子类。 ... [详细]
  • SpringBoot整合SpringSecurity+JWT实现单点登录
    SpringBoot整合SpringSecurity+JWT实现单点登录,Go语言社区,Golang程序员人脉社 ... [详细]
  • 篇首语:本文由编程笔记#小编为大家整理,主要介绍了软件测试知识点之数据库压力测试方法小结相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 本文介绍了关系型数据库和NoSQL数据库的概念和特点,列举了主流的关系型数据库和NoSQL数据库,同时描述了它们在新闻、电商抢购信息和微博热点信息等场景中的应用。此外,还提供了MySQL配置文件的相关内容。 ... [详细]
  • 本文介绍了如何使用JSONObiect和Gson相关方法实现json数据与kotlin对象的相互转换。首先解释了JSON的概念和数据格式,然后详细介绍了相关API,包括JSONObject和Gson的使用方法。接着讲解了如何将json格式的字符串转换为kotlin对象或List,以及如何将kotlin对象转换为json字符串。最后提到了使用Map封装json对象的特殊情况。文章还对JSON和XML进行了比较,指出了JSON的优势和缺点。 ... [详细]
  • Node.js学习笔记(一)package.json及cnpm
    本文介绍了Node.js中包的概念,以及如何使用包来统一管理具有相互依赖关系的模块。同时还介绍了NPM(Node Package Manager)的基本介绍和使用方法,以及如何通过NPM下载第三方模块。 ... [详细]
  • 本文介绍了Java后台Jsonp处理方法及其应用场景。首先解释了Jsonp是一个非官方的协议,它允许在服务器端通过Script tags返回至客户端,并通过javascript callback的形式实现跨域访问。然后介绍了JSON系统开发方法,它是一种面向数据结构的分析和设计方法,以活动为中心,将一连串的活动顺序组合成一个完整的工作进程。接着给出了一个客户端示例代码,使用了jQuery的ajax方法请求一个Jsonp数据。 ... [详细]
author-avatar
清雅竹gf_644
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有