当前位置:  首页  >  PHP资讯  >  业界资讯

使用mmap实现多进程对大文件拷贝

这篇文章主要介绍了使用mmap实现多进程对大文件拷贝,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

本文实例为大家分享了mmap实现文件多进程拷贝,供大家参考,具体内容如下

假设有一个超大文件,需对其完成拷贝工作。为提高效率,可采用多进程并行拷贝的方法来实现。假设文件大小为len,共有n个进程对该文件进行拷贝。那每个进程拷贝的字节数应为len/n。但未必一定能整除,我们可以选择让最后一个进程负责剩余部分拷贝工作。可使用len % (len/n)将剩余部分大小求出。

为降低实现复杂度,可选用mmap来实现源、目标文件的映射,通过指针操作内存地址,设置每个进程拷贝的起始、结束位置。借助MAP_SHARED选项将内存中所做的修改反映到物理磁盘上。

思路:

//1. 指定创建子进程的个数
//2. 打开源文件
//3. 打开目的文件, 不存在则创建
//4. 获取文件大小
//5. 根据文件大小拓展目标文件
//6. 为源文件创建映射
//7. 为目标文件创建映射
//8. 求出每个子进程该拷贝的字节数
//9. 创建N个子进程
//10. 子进程完成分块拷贝(注意最后一个子进程拷贝起始位置)
//11. 释放映射区

代码如下:

 #include #include #include  #include  #include  #include  #include #include #include  int main(int argc,char*argv[]) { int n; if(argc <3 || argc > 4) { printf("Enter like this : ./a.out file_src file_dst [proc_number]\n"); exit(1); } else if(argc == 3) //用户未指定,默认创建5个进程。 n = 5; else n = atoi(argv[3]); //2.打开源文件 int fd_src = open(argv[1],O_RDONLY); if(fd_src <0) { perror("open"); exit(2); } //3.打开目标文件,不存在就创建,存在则截断为0的大小。 int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664); if(fd_dst <0) { perror("open"); exit(3); } //4.获取源文件大小。 struct stat sbuf; int ret = fstat(fd_src,&sbuf); //fd_src所指向的文件信息保存到结构体sbuf中。 if(ret <0) { perror("fstat"); exit(4); } int flen = sbuf.st_size; //源文件大小。 if(flen  

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

内容推荐:免费高清PNG素材下载
吐了个 "CAO" !
扫码关注 PHP1 官方微信号
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved PHP1.CN 第一PHP社区 版权所有 京ICP备19059560号-4