热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

memcache构建简单的内存消息队列

memcache功能太简单了,只能setget和delete,只能保存key-value的数据,不能保存列表,当然也可以把一个列表给序列化了之后存进memcache,但是会存在并发的问题,...
memcache功能太简单了,只能 set get 和delete,只能保存key-value的数据,不能保存列表,当然也可以把一个列表给序列化了之后存进memcache,但是会存在并发的问题,每次保存数据,插队或者出队的时候都要给数据加锁,在高并发的情况下很难保证数据的一致性.

但是memcache 有一个 increment 的操作,为某一个键对应的值进行加1,实际上是加法运算,默认加1,这个操作是原子性的, 所以我们可以通过这个来维护一个自增的id来保证数据的唯一,再加上两个指针来维护起始键值,这样就构建了一个简单的但相队列.

代码如下:

queKeyPrefix = "MEMQUE_{$key}_";
        $this->startKey = "MEMQUE_SK_{$key}";
        $this->endKey = "MEMQUE_EK_{$key}";
    }
    /** 
     * 获取列表
     *  先拿到开始结束指针, 然后去拿数据
     *
     * @return array
     */
    public function getList() {
        $startP = $this->memcache->get($this->startKey);
        $endP = $this->memcache->get($this->endKey);
        empty($startP) && $startP = 0;
        empty($endP) && $endP = 0;
        $arr = array();
        for ($i = $startP; $i <$endP; ++$i) {
            $key = $this->queKeyPrefix . $i;
            $arr[] = $this->memcache->get($key);
        }
        return $arr;
    }
    /** 
     * 插入队列
     *   结束指针后移,拿到一个自增的id
     *   再把值存到指针指定的位置
     *
     *   @return void
     */
    public function in($value) {
        $index = $this->memcache->increment($this->endKey);
        $key = $this->queKeyPrefix . $index;
        $this->memcache->set($key, $value);
    }
    /** 
     * 出队
     *    很简单, 把开始值取出后开始指针后移
     * //开源代码phprm.com
     * @return mixed
     */
    public function out() {
        $result = $this->memcache->get($this->startKey);
        $this->memcache->increment($this->startKey);
        return $result;
    }
}
?>

关于memcached的一些事情

内存存储方式(slab allocator),memcached的数据存储方式为slab allocator即数据分片,在服务启动的时候先把内存分成不同大小的 chunk,当有数据过来的时候来存储到一个合适大小的chunk当中,之前版本是直接分配内存,导致内存碎片 随机查找等问题.

数据过期删除机制

memcached在数据过期之后,并不会去删除数据,但是不能访问过期的数据,过期数据占用的空间会被重复利用.

memcached采用lazy expiration,不会去主动扫描一个数据项是否过期,而是在数据get的时候判断是否已经过期.删除的算法是LRU(Least Recently Used),优先删除最近使用较少的数据.

memcached的分布式机制

虽说memcached是一个分布式的缓存,但是memcached本身并没有实现任何分布式的机制,分布式的功能主要是由客户端来实现的.

程序通过addserver增加多个memcahced服务到客户端(memcache扩展),在存取数据之前,客户端会先通过hash算法得到存储数据的节点,然后再去存取数据,当其中一台memcached服务器挂掉或者新增一台memcached服务器,hash算法得到的存储数据的节点就会变化,去新的服务器上去存取数据.


本文链接:

收藏随意^^请保留教程地址.

推荐阅读
  • 电信网为不能访问联通服务器的网站_老板说网站慢,我们总结了三大阶段提升性能...
    作者:李平来源:https:www.cnblogs.comleefreemanp3998757.html前言在前一篇随笔《大型网站系统架构的演化》中&# ... [详细]
  • 大厂首发!思源笔记docker
    JVMRedisJVM面试内存模型以及分区,需要详细到每个区放什么?GC的两种判定方法GC的三种收集方法:标记清除、标记整理、复制算法的 ... [详细]
  • 开发笔记:Memcached高性能内存对象缓存系统
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了Memcached高性能内存对象缓存系统相关的知识,希望对你有一定的参考价值。一、Memcached概述 ... [详细]
  • [翻译]微服务设计模式5. 服务发现服务端服务发现
    服务之间需要互相调用,在单体架构中,服务之间的互相调用直接通过编程语言层面的方法调用就搞定了。在传统的分布式应用的部署中,服务地 ... [详细]
  • Centos下安装memcached+memcached教程
    本文介绍了在Centos下安装memcached和使用memcached的教程,详细解释了memcached的工作原理,包括缓存数据和对象、减少数据库读取次数、提高网站速度等。同时,还对memcached的快速和高效率进行了解释,与传统的文件型数据库相比,memcached作为一个内存型数据库,具有更高的读取速度。 ... [详细]
  • 一,织梦后台后台设置进入系统后台,在[系统基本参数]下面的性能选项卡当中,关于memcache进行如下配置:cfg_memcache_enable:是否启用memcache缓存,如果为否(N) ... [详细]
  • 实战项目memcached+tomcat+session+nginx在工作中的应用和配置
    环境介绍:公司根据实际需要搭建一个购物网站,当用户购物时可以将不同商品,放到同一个购物车中进行同时付款。环境的搭建:外网用户IP地址:1.1.1.1主机名:fanxiaohui用户 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 计算机存储系统的层次结构及其优势
    本文介绍了计算机存储系统的层次结构,包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体,形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低,使得整体存储系统的平均价格降低。同时,高速缓存的存取速度可以和CPU的工作速度相匹配,进一步提高程序执行效率。 ... [详细]
  • 《数据结构》学习笔记3——串匹配算法性能评估
    本文主要讨论串匹配算法的性能评估,包括模式匹配、字符种类数量、算法复杂度等内容。通过借助C++中的头文件和库,可以实现对串的匹配操作。其中蛮力算法的复杂度为O(m*n),通过随机取出长度为m的子串作为模式P,在文本T中进行匹配,统计平均复杂度。对于成功和失败的匹配分别进行测试,分析其平均复杂度。详情请参考相关学习资源。 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • 本文介绍了OpenStack的逻辑概念以及其构成简介,包括了软件开源项目、基础设施资源管理平台、三大核心组件等内容。同时还介绍了Horizon(UI模块)等相关信息。 ... [详细]
  • 基于分布式锁的防止重复请求解决方案
    一、前言关于重复请求,指的是我们服务端接收到很短的时间内的多个相同内容的重复请求。而这样的重复请求如果是幂等的(每次请求的结果都相同,如查 ... [详细]
  • 对于WEB应用集群的技术实现而言,最大的难点就是如何能在集群中的多个节点之间保持数据的一致性,会话(Session)信息是这 ... [详细]
author-avatar
手机用户2502885997
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有