热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:PHP共享内存详解

使用场景监控汇总目前正在用的一个场景,针对某一台机器上的错误进行汇总并报警,我们把一分钟之内的相同报警合并

使用场景


监控汇总

目前正在用的一个场景,针对某一台机器上的错误进行汇总并报警,我们把一分钟之内的相同报警合并成一条,用共享内存来暂存,非常实用且高效。

php SESSION

如果你是单机的服务,且又启用了session,那么可以把session换成共享内存的来存储,会比文件要快上不少,这里还要强调是单机,这是最大的软肋,但就功能上来讲没有memcache方便。

什么是共享内存

共享内存是一种在同一台机器的不同进程(应用程序)之间交换数据的方式。一个进程可创建一个可供其他进程访问的内存段,并赋予它相应的权限。每个内存段拥有一个惟一的ID,我们通常称之为shmid,这个ID指向一个物理内存区域,其他进程可通过此ID来操作这块内存, 包扩读取、写入以及删除。

共享内存的使用是一种在进程之间交换数据的快速方法,主要因为在创建内存段之后传递数据,不会涉及内核。这种方法常常称为进程间通信 (IPC)。其他 IPC 方法包括管道、消息队列、RPC 和套接字。

PHP 中几种常见的共享内存使用方式

APC 可以缓存 PHP 的 opcode 提高应用的性能,可以在同个 PHP-FPM 进程池的进程间共享数据,常用功能如下:


  • apc_store

  • apc_fetch

  • apc_add

  • apc_delete

  • apcinc apcdec

  • apc_cas

  • apcclearcache

  • apcsmainfo


Shmop Unix 系统共享内存使用接口常用功能:



  • shmop_open

  • shmop_close

  • shmop_read

  • shmop_write

  • shmop_delete


ipcs -m 查看本机共享内存的状态和统计。

ipcrm -m shmid 或 ipcrm -M shmkey 清除共享内存中的数据。

SystemV Shm常用功能:



  • ftok

  • shm_attach

  • shm_detach

  • shmputvar

  • shmgetvar

  • shmremovevar


使用共享内存需要考虑操作的原子性和锁、并行和互斥。

sem 信号量相关函数: 
* semget * semremove * semacquire * semrelease

PHP 提供的 IPC 机制。



  • --enable-shmop 共享内存,只能按字节操作

  • --enable-sysvsem 信号量

  • --enable-sysvshm 共享内存,和 shmop 的差别是提供的操作函数不同,支持 key、value操作

  • --enable-sysvmsg 消息队列


本文主讲

如何使用 PHP shmop 创建和操作共享内存段,使用它们存储可供其他应用程序使用的数据。

1. 创建内存段

共享内存函数类似于文件操作函数,但无需处理一个流,您将处理一个共享内存访问 ID。第一个示例就是 shmopopen 函数,它允许您打开一个现有的内存段或创建一个新内存段。此函数非常类似于经典的 fopen 函数,后者打开用于文件操作的流,返回一个资源供其他希望读取或写入该打开的流的函数使用。让我们看看 shmopopen的用法:

$key = ftok(__FILE__, ‘h‘);
$mode = ‘c‘;
$permissiOns= 0644;
$size = 1024;
$shmid = shmop_open($key, $mode, $permissions, $size);
?>

第一个参数($key):

系统建立IPC通讯 (消息队列、信号量和共享内存) 时必须指定一个key值。通常情况下,该key值通过ftok函数得到, * *key是一个我们逻辑上表示共享内存段的标识。不同进程只要选择同一个Key值就可以共享同一段存储段。

第二个参数($mode):

访问模式,它类似于fopen的访问模式,有以下几种


  • 模式 “a”,它允许您访问只读内存段

  • 模式 “w”,它允许您访问可读写的内存段

  • 模式 “c”,它创建一个新内存段,或者如果该内存段已存在,尝试打开它进行读写 *模式 “n”,它创建一个新内存段,如果该内存段已存在,则会失败,返回 false,并伴随有warning: unable to attach or create shared memory segment


第三个参数($permissions):

内存段的权限。您必须在这里提供一个八进制值,它类似于UNIX操作系统文件和目录的操作权限。

第四个参数($size):

内存段大小,以字节为单位。在写入一个内存段之前,您必须在它之上分配适当的字节数。

返回结果:

此函数返回一个 ID 编号,其他函数可使用该 ID 编号操作该共享内存段。这个 ID 是共享内存访问 ID,与系统 ID 不同,它以参数的形式传递。请注意不要混淆这两者。如果失败,shmop_open 将返回 FALSE。

shmop_open成功后,使用ipcs -m, 可以查看到刚刚创建的内存段,注意 申请的内存段有严格的权限,比如用root用户申请的,普通用户就无权访问

2. 向内存段写入数据

使用 shmop_write 函数向共享内存块写入数据。此函数的使用很简单,它仅接受 3 个参数,如下所示。

//这里shmid可以延用上一段代码返回的shmid
$shmid = shmop_open(ftok(__FILE__,‘h‘), ‘c‘, 0644, 1024);
shmop_write($shmid, "Hello World!", 0);
?>

这个函数类似于 fwrite 函数, 在这里有三个参数。 * 第一个参数(shmid):是shmopopen返回的ID,它识别您操作的共享内存块。∗第二个参数(">shmidshmopopenIDshmid):是shmopopen返回的ID,它识别您操作的共享内存块。∗第二个参数(data):是您希望存储的数据。 * 第三个参数($offset):是您希望开始写入的位置。默认情况下,我们始终使用 0 来表示开始写入的位置。

返回结果:此函数在失败时会返回 FALSE,在成功时会返回写入的字节数。

3. 从内存段读取数据

从共享内存段读取数据很简单。您只需要一个打开的内存段和 shmop_read 函数,它接受三个参数,如下所示:

$shmid = shmop_open(ftok(\\__FILE_\\_,‘h‘), ‘c‘, 0644, 1024);
shmop_write($shmid, "Hello World\\!", 0);
var_dump(shmop_read($shmid, 0, 11));
?>


  • 第一个参数($shmid):是 shmop_open 返回的 ID,它识别您操作的共享内存块。

  • 第二个参数($start):是您希望从内存段读取的位置,这个参数可以始终为0, 表示数据的开头

  • 第三个参数(count):是您希望读取的字节数。一般情况下我们用shmopsize(">countshmopsize(count):是您希望读取的字节数。一般情况下我们用shmopsize(shmid),以便完整的读取它。


4. 删除内存段

shmop_delete 该函数只接收一个参数,如下所示:

$shmid = shmop_open(ftok(\\__FILE_\\_,‘h‘), ‘c‘, 0644, 1024);
shmop_delete($shmid);
?>

其实这个函数不会实际删除该内存段。它将该内存段标记为删除状态,因为共享内存段在有其他进程正在使用它时无法被删除。shmop_delete 函数将该内存段标记为删除,阻止任何其他进程打开它。要删除它,我们需要关闭该内存段。

5. 关闭内存段

打开一个共享内存段会 “附加” 到它。附加该内存段之后,我们可在其中进行读取和写入,但完成操作后,我们必须从它解除。

$shmid = shmop_open(ftok(\\__FILE_\\_,‘h‘), ‘c‘, 0644, 1024);
shmop_write($shmid, "Hello World\\!", 0);
shmop_delete($shmid); shmop_close($shmid);
?>

共享内存的原子操作 - 信号控制

针对共享内存的写操作本身不是原子性的,那么当我们大量并发进行读写的时候,怎么保证原子性呢,这里要引入信号量进行控制。

PHP 也提供了内置扩展 sysvsem ,其实我们在看sysvsem 提供的一系列sem*的方法的时候,就会想到,这和上面提到的shmop*有什么区别呢,我们来看官房文档中的这一个解释:PHP already had a shared memory extension (sysvshm) written by Christian Cartus [email protected], unfortunately this extension was designed with PHP only in mind and offers high level features which are extremely bothersome for basic SHM we had in mind.

也就是说:sysvshm 扩展提供的方法在存储之前对用户的数据进行serialize处理,这里就导致这个存储的数据是无法与其它语言共享的,这一系列方法是php only的方法。

引入信号控制之后的示例:

$key = ftok(_FILE_, ‘h‘) $mode = "c";
$permissiOns= 0755;
$size = 1024; // 内存段的大小,单位是字节
$semid = sem_get($key); # 请求信号控制权
if (sem_acquire($semid)) {
$shmid = shmop_open($key, ‘c‘, 0644, 1024); # 读取并写入数据
shmop_write($shmid, ‘13800138000‘, 0); # 关闭内存块
shmop_close($shmid); # 释放信号 sem_release($semid);
}

共享内存的操作是非常快的,在本地想要模拟实现写入冲突是非常困难的,但是本地想模拟实现写入冲突实际上是非常难的(考虑到计算机的执行速度)。在本地测试中,使用 for 循环操作时如果不使用shmop_close 关闭资源会出现无法打开共享内存的错误警告。这应该是因为正在共享内存被上一次操作占用中还没有释放导致。

共享内存,memcache,文件的读写速度对比。

以下是同时读写1k的数据读写100000次的时间对比:
























 读(s)写(s)
memcache7.88.11
file2.63.2
shm0.10.07


php

//$key = ftok(_FILE_, ‘h‘);
//$key = ftok(‘/tmp/‘, ‘h‘);

$key = 0xff4;
$permissions = 0755;
$size = 1024; // 内存段的大小,单位是字节
$semid = sem_get($key); # 请求信号控制权
if (sem_acquire($semid)) {
$content = file_get_contents(__FILE__);
$shmid = shmop_open($key, ‘c‘, 0644, strlen($content)); # 读取并写入数据
shmop_write($shmid, $content, 0); # 关闭内存块
shmop_close($shmid); # 释放信号 sem_release($semid);
}

 

php
/**
* @param $fn
*/
function profile(callable $fn)
{
$t = microtime(1);
$i = 0;
while ($i <999) {
$fn();
++$i;
}
var_dump(‘takes ‘, microtime(1) - $t);
}
$fnIO = function (){
file_get_contents(__DIR__."/chmop_create.php");
};
$fn = function (){
//$key = ftok(‘chmop‘, ‘h‘);
//$key = ftok(‘/tmp/‘, ‘h‘);

$key = 0xff4;
$permissions = 0755;
$size = 1024; // 内存段的大小,单位是字节
$semid = sem_get($key); # 请求信号控制权
if (sem_acquire($semid)) {
$shmid = shmop_open($key, ‘a‘, 0644, 1024); # 读取并写入数据
$out = shmop_read($shmid, 0, shmop_size($shmid)); # 关闭内存块
// var_dump($out);
// echo $out;

shmop_close($shmid); # 释放信号 sem_release($semid);
}
};
profile(
$fn);
profile(
$fnIO);

 这是Mac Pro 2014上的结果:

技术分享图片

 

这是ali ECS的结果 :

技术分享图片

 

可见,现代磁盘优化比咱们老观念中的性能要好些了~  

但利用内存依然是个不错的玩法~ 



推荐阅读
  • 项目需要将音视频文件上传服务器,考虑并发要求高,通过七牛来实现。直接上代码usingQiniu.IO;usingQiniu.IO.Resumable;usingQiniu.RPC; ... [详细]
  • 本文介绍了操作系统的定义和功能,包括操作系统的本质、用户界面以及系统调用的分类。同时还介绍了进程和线程的区别,包括进程和线程的定义和作用。 ... [详细]
  • Tomcat/Jetty为何选择扩展线程池而不是使用JDK原生线程池?
    本文探讨了Tomcat和Jetty选择扩展线程池而不是使用JDK原生线程池的原因。通过比较IO密集型任务和CPU密集型任务的特点,解释了为何Tomcat和Jetty需要扩展线程池来提高并发度和任务处理速度。同时,介绍了JDK原生线程池的工作流程。 ... [详细]
  • linux进阶50——无锁CAS
    1.概念比较并交换(compareandswap,CAS),是原⼦操作的⼀种,可⽤于在多线程编程中实现不被打断的数据交换操作࿰ ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • 本文介绍了Windows操作系统的版本及其特点,包括Windows 7系统的6个版本:Starter、Home Basic、Home Premium、Professional、Enterprise、Ultimate。Windows操作系统是微软公司研发的一套操作系统,具有人机操作性优异、支持的应用软件较多、对硬件支持良好等优点。Windows 7 Starter是功能最少的版本,缺乏Aero特效功能,没有64位支持,最初设计不能同时运行三个以上应用程序。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • Android工程师面试准备及设计模式使用场景
    本文介绍了Android工程师面试准备的经验,包括面试流程和重点准备内容。同时,还介绍了建造者模式的使用场景,以及在Android开发中的具体应用。 ... [详细]
  • 本文介绍了如何使用PHP代码将表格导出为UTF8格式的Excel文件。首先,需要连接到数据库并获取表格的列名。然后,设置文件名和文件指针,并将内容写入文件。最后,设置响应头部,将文件作为附件下载。 ... [详细]
  • MySQL数据库锁机制及其应用(数据库锁的概念)
    本文介绍了MySQL数据库锁机制及其应用。数据库锁是计算机协调多个进程或线程并发访问某一资源的机制,在数据库中,数据是一种供许多用户共享的资源,如何保证数据并发访问的一致性和有效性是数据库必须解决的问题。MySQL的锁机制相对简单,不同的存储引擎支持不同的锁机制,主要包括表级锁、行级锁和页面锁。本文详细介绍了MySQL表级锁的锁模式和特点,以及行级锁和页面锁的特点和应用场景。同时还讨论了锁冲突对数据库并发访问性能的影响。 ... [详细]
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • 使用这个技巧要达到的目标:一般来说,模型和控制器你都不会有相同的类名字。让我先创建一个取名为post的model。classPostextendsModel{}现在 ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • PHP连接MySQL的2种方法小结以及防止乱码【PHP】
    后端开发|php教程PHP,MySQL,乱码后端开发-php教程PHP的MySQL配置报错信息:ClassmysqlinotfoundinAnswer:1.在confphp.ini ... [详细]
  • php连接mysql显示数据,php连接mysql数据库的算法思想
    本文目录一览:1、怎么用php显示mysql数据表数据 ... [详细]
author-avatar
乐天派jiao2502901101
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有