热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何设计可离线工作的软件的同步功能

有很多软件在没有接入网络的情况下也可以运行,等到有网络时,会进行数据同步。这样在多个客户端间可以无缝所有。典型代表:有道云笔记、挖财记账本目前,我使用php开发一款软件的服务端,软件提供网页版和客户...
有很多软件在没有接入网络的情况下也可以运行,等到有网络时,会进行数据同步。这样在多个客户端间可以无缝所有。

典型代表:有道云笔记挖财记账本

目前,我使用php开发一款软件的服务端,软件提供网页版和客户端。在离线状态下,客户端主要功能也是可以使用的。

现在采用的方案是:
用C语言写了一个php的扩展,用于生成唯一int64值
需要同步的数据表,都添加了一个字段modify_num,存放唯一int64值,对数据记录进行增删改时,都改变modify_num。

客户端定时执行同步操作,每次同步包含2个原子操作:先是客户端给服务端自己最大的modify_num,服务端把大于该modify_num的数据都返回给客户端,简称为update;然后客户端处理完数据后,把客户端需要进行增删改的数据发送给服务端,服务端进行处理,简称为commit

补充:
1.为什么modify_num不直接使用时间戳,而是唯一数值:

我们没有直接采用时间戳是有原因的:操作时间间隔太短的时候,产生的时间戳会是相同的数值。如果不唯一会有这样的情况发生,在update时服务端返回了多条modify_num相同的数据给客户端,客户端每处理一条就修改自己的最大modify_num,万一客户端以为外因崩溃,多条数据没有处理完,下次启动时发送的最大modify_num给服务端,那么服务端返回的是大于这个值的数据,意味着那几条因为崩溃没有处理的数据都没有拿到。采用唯一数值就是为了避免这种情况发生。

2.关于冲突处理:

毕竟我们面对的是普通用户,不是程序员,不会像版本管理工具一样,有合并冲突的功能,冲突我们有自己的一套简单机制。基本原则是以modify_num大的优先,以最后操作优先。

大家有没有更好的方案或者有什么想法,都可以说说

回复内容:

有很多软件在没有接入网络的情况下也可以运行,等到有网络时,会进行数据同步。这样在多个客户端间可以无缝所有。

典型代表:有道云笔记挖财记账本

目前,我使用php开发一款软件的服务端,软件提供网页版和客户端。在离线状态下,客户端主要功能也是可以使用的。

现在采用的方案是:
用C语言写了一个php的扩展,用于生成唯一int64值
需要同步的数据表,都添加了一个字段modify_num,存放唯一int64值,对数据记录进行增删改时,都改变modify_num。

客户端定时执行同步操作,每次同步包含2个原子操作:先是客户端给服务端自己最大的modify_num,服务端把大于该modify_num的数据都返回给客户端,简称为update;然后客户端处理完数据后,把客户端需要进行增删改的数据发送给服务端,服务端进行处理,简称为commit

补充:
1.为什么modify_num不直接使用时间戳,而是唯一数值:

我们没有直接采用时间戳是有原因的:操作时间间隔太短的时候,产生的时间戳会是相同的数值。如果不唯一会有这样的情况发生,在update时服务端返回了多条modify_num相同的数据给客户端,客户端每处理一条就修改自己的最大modify_num,万一客户端以为外因崩溃,多条数据没有处理完,下次启动时发送的最大modify_num给服务端,那么服务端返回的是大于这个值的数据,意味着那几条因为崩溃没有处理的数据都没有拿到。采用唯一数值就是为了避免这种情况发生。

2.关于冲突处理:

毕竟我们面对的是普通用户,不是程序员,不会像版本管理工具一样,有合并冲突的功能,冲突我们有自己的一套简单机制。基本原则是以modify_num大的优先,以最后操作优先。

大家有没有更好的方案或者有什么想法,都可以说说

modify_num干脆改成last_modify比较直观,内容就是最后一次修改时间戳,这样同步的时候带上上次同步完的时间戳,服务器把上次同步之后所有更改发回。

两边都维护了一个num,冲突解决如何处理?
如果最初版本值为0,在网页端和离线客户端编辑,
同步时,服务器端和客户端的版本值都为1;
这就是涉及到冲突问题的解决,你说客户端先把大于
1的值更新,这时候服务器的值也是1,但是内容是变化了的;

可以考虑使用类似数据库的redo日志;
服务器和客户端数据修改前都记录日志(含精确的时间戳);
在客户端联网后,先将客户端离线期间的日志发送到服务器端,
服务器端按时间点插入日志(客户端服务端日志合并),redo日志;
然后,将数据同步到客户端;

应该参考git软件内部的实现,有冲突的时候分为可以自动合并和不可以自动合并

merge对于普通用户门槛太高 让用户选择一个版本基本就够了 其实最简单的方法就是让用户接受开机自启动 不知不觉完成同步,。,

推荐阅读
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • 如何用UE4制作2D游戏文档——计算篇
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了如何用UE4制作2D游戏文档——计算篇相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 本文介绍了使用PHP实现断点续传乱序合并文件的方法和源码。由于网络原因,文件需要分割成多个部分发送,因此无法按顺序接收。文章中提供了merge2.php的源码,通过使用shuffle函数打乱文件读取顺序,实现了乱序合并文件的功能。同时,还介绍了filesize、glob、unlink、fopen等相关函数的使用。阅读本文可以了解如何使用PHP实现断点续传乱序合并文件的具体步骤。 ... [详细]
  • 如何提高PHP编程技能及推荐高级教程
    本文介绍了如何提高PHP编程技能的方法,推荐了一些高级教程。学习任何一种编程语言都需要长期的坚持和不懈的努力,本文提醒读者要有足够的耐心和时间投入。通过实践操作学习,可以更好地理解和掌握PHP语言的特异性,特别是单引号和双引号的用法。同时,本文也指出了只走马观花看整体而不深入学习的学习方式无法真正掌握这门语言,建议读者要从整体来考虑局部,培养大局观。最后,本文提醒读者完成一个像模像样的网站需要付出更多的努力和实践。 ... [详细]
  • 2018年人工智能大数据的爆发,学Java还是Python?
    本文介绍了2018年人工智能大数据的爆发以及学习Java和Python的相关知识。在人工智能和大数据时代,Java和Python这两门编程语言都很优秀且火爆。选择学习哪门语言要根据个人兴趣爱好来决定。Python是一门拥有简洁语法的高级编程语言,容易上手。其特色之一是强制使用空白符作为语句缩进,使得新手可以快速上手。目前,Python在人工智能领域有着广泛的应用。如果对Java、Python或大数据感兴趣,欢迎加入qq群458345782。 ... [详细]
  • 本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容,主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]
  • 本文详细介绍了云服务器API接口的概念和作用,以及如何使用API接口管理云上资源和开发应用程序。通过创建实例API、调整实例配置API、关闭实例API和退还实例API等功能,可以实现云服务器的创建、配置修改和销毁等操作。对于想要学习云服务器API接口的人来说,本文提供了详细的入门指南和使用方法。如果想进一步了解相关知识或阅读更多相关文章,请关注编程笔记行业资讯频道。 ... [详细]
  • 本文介绍了OC学习笔记中的@property和@synthesize,包括属性的定义和合成的使用方法。通过示例代码详细讲解了@property和@synthesize的作用和用法。 ... [详细]
  • sklearn数据集库中的常用数据集类型介绍
    本文介绍了sklearn数据集库中常用的数据集类型,包括玩具数据集和样本生成器。其中详细介绍了波士顿房价数据集,包含了波士顿506处房屋的13种不同特征以及房屋价格,适用于回归任务。 ... [详细]
  • 闭包一直是Java社区中争论不断的话题,很多语言都支持闭包这个语言特性,闭包定义了一个依赖于外部环境的自由变量的函数,这个函数能够访问外部环境的变量。本文以JavaScript的一个闭包为例,介绍了闭包的定义和特性。 ... [详细]
  • Go GUIlxn/walk 学习3.菜单栏和工具栏的具体实现
    本文介绍了使用Go语言的GUI库lxn/walk实现菜单栏和工具栏的具体方法,包括消息窗口的产生、文件放置动作响应和提示框的应用。部分代码来自上一篇博客和lxn/walk官方示例。文章提供了学习GUI开发的实际案例和代码示例。 ... [详细]
  • 31.项目部署
    目录1一些概念1.1项目部署1.2WSGI1.3uWSGI1.4Nginx2安装环境与迁移项目2.1项目内容2.2项目配置2.2.1DEBUG2.2.2STAT ... [详细]
  • 海马s5近光灯能否直接更换为H7?
    本文主要介绍了海马s5车型的近光灯是否可以直接更换为H7灯泡,并提供了完整的教程下载地址。此外,还详细讲解了DSP功能函数中的数据拷贝、数据填充和浮点数转换为定点数的相关内容。 ... [详细]
  • 本文介绍了使用Python解析C语言结构体的方法,包括定义基本类型和结构体类型的字典,并提供了一个示例代码,展示了如何解析C语言结构体。 ... [详细]
  • MySQL中的MVVC多版本并发控制机制的应用及实现
    本文介绍了MySQL中MVCC的应用及实现机制。MVCC是一种提高并发性能的技术,通过对事务内读取的内存进行处理,避免写操作堵塞读操作的并发问题。与其他数据库系统的MVCC实现机制不尽相同,MySQL的MVCC是在undolog中实现的。通过undolog可以找回数据的历史版本,提供给用户读取或在回滚时覆盖数据页上的数据。MySQL的大多数事务型存储引擎都实现了MVCC,但各自的实现机制有所不同。 ... [详细]
author-avatar
ho世英雄
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有