热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

海量数据且更新频繁的列表该怎么优化

海量数据且更新频繁的列表该怎么优化:海量数据且更新频繁的列表该如何优化?现在网站数据特别多,而且更新频繁,这样的站内容列表页面该如何优化?目前我们是生成了静态,可数据越来越多,这样
海量数据且更新频繁的列表该如何优化?
现在网站数据特别多,而且更新频繁,这样的站内容列表页面该如何优化?目前我们是生成了静态,可数据越来越多,这样每次生成消耗的时间会很可怕。有谁知道那些大网站的列表是如何处理的吗?跪求方案。。。。

------解决方案--------------------
竟然是大网站就要做一些大网站的做法.比如硬件上的跟进等等
更新频繁的东西就不适合做静态了,为什么更新频繁的东西要做静态呢?
如果是构架问题那就得考虑重新构架才行

如何优化可以引入memcache等 多台服务器共享数据的方式来处理。
或者动态的读取变动的部分内容.
------解决方案--------------------
由于更新频繁,所以列表页只需更换最近的几页就可以了
比如每页50条,那么原来的第1页在新增50条后就变成第2页了,并且内容与原先的第一页一样

另外需要注意一个事实:极少有人会沿着分页条翻页10次以上。而多使用搜索功能
------解决方案--------------------
更新频繁不适合在用静态了。前一分钟刚生成了 下一分钟就又来更新,那不是。。。
------解决方案--------------------
探讨

更新频繁不适合在用静态了。前一分钟刚生成了 下一分钟就又来更新,那不是。。。

------解决方案--------------------
统计到底哪些地方人查的地多,例如电子商品前一百个,可以把这一百个生成个静态页,多用用户搜索功能,避免导致用户无效又浪费的操作,数据库要是查的慢,除了算法语句、索引等优化,还可把数据进行分表等,例如,把火爆的电子商品从商品里提出来,可以缓解部分压力,大网站架构才是核心
------解决方案--------------------
那还是得看他的频繁更新到底是有多频繁才行。使用缓存技术是必须的.方法有很多种,构架可能需要重新设计...
一旦涉及到大流量高并发的时候都需要硬件上不断的跟进.没有实际的环境,也都只能泛泛的给你扯一扯了..
------解决方案--------------------
探讨

那还是得看他的频繁更新到底是有多频繁才行。使用缓存技术是必须的.方法有很多种,构架可能需要重新设计...
一旦涉及到大流量高并发的时候都需要硬件上不断的跟进.没有实际的环境,也都只能泛泛的给你扯一扯了..

------解决方案--------------------
我是进来学习的

实在不行换数据库?
------解决方案--------------------
这个得学习一下。
------解决方案--------------------
探讨

引用:

由于更新频繁,所以列表页只需更换最近的几页就可以了
比如每页50条,那么原来的第1页在新增50条后就变成第2页了,并且内容与原先的第一页一样

另外需要注意一个事实:极少有人会沿着分页条翻页10次以上。而多使用搜索功能

更新每天有几百的样子,唠叨老大,按你说的,后续的页面采用动态?

------解决方案--------------------
探讨

引用:

由于更新频繁,所以列表页只需更换最近的几页就可以了
比如每页50条,那么原来的第1页在新增50条后就变成第2页了,并且内容与原先的第一页一样

另外需要注意一个事实:极少有人会沿着分页条翻页10次以上。而多使用搜索功能

更新每天有几百的样子,唠叨老大,按你说的,后续的页面采用动态?

------解决方案--------------------
静态又不是万能的……根本就不应该静态,关键的地方不同的缓存措施即可

为了所谓的降低压力,这个措施居然成了压力,不搞笑?
------解决方案--------------------
採用單頁用戶訪問触发的方式来产生静态就好了,这么做的好处是后台生成单页更新,对于不常常访问的页面不会因为频繁做无谓的生成浪费资源,而常常访问的页面会被频繁更新生成,原理是:
假如某页面上次产生静态的时间是11点,当12点的时候有用户访问,那么只需要通过调用js的方式触发一下重新生成该页面就好了,当下一个访客访问的时候实际上看到的就是12点更新的页面了,这样每次更新的只有一页而已,不会占用太久的时间,而且js触发后台生成也不会影响到前台的访问.
如果你担心访客太多频繁更新的话,可以用php获取这个需要更新的页面上次的更新时间,如果更新时间距现在的时间小于半个小时则忽略更新,如果超过了半个小时,那么就重新生成新的静态页就好了.

我以前做的一个大型门户网站就是用这个方式来做自动更新的,完全不需要后台人工生成,不但不浪费人力而且效果也很棒.
------解决方案--------------------
探讨

静态又不是万能的……根本就不应该静态,关键的地方不同的缓存措施即可

为了所谓的降低压力,这个措施居然成了压力,不搞笑?

------解决方案--------------------
定时服务,自动生成页面,然后push过去就好啦
------解决方案--------------------
探讨
引用:

更新频繁不适合在用静态了。前一分钟刚生成了 下一分钟就又来更新,那不是。。。

不然!
假设每分钟有 100 人访问
生成一个静态页面只要操作一次
而动态需要操作100次

况且,更新列表页只是在有数据提交时才做的

------解决方案--------------------
推荐阅读
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • 本文介绍了操作系统的定义和功能,包括操作系统的本质、用户界面以及系统调用的分类。同时还介绍了进程和线程的区别,包括进程和线程的定义和作用。 ... [详细]
  • 本文详细介绍了SQL日志收缩的方法,包括截断日志和删除不需要的旧日志记录。通过备份日志和使用DBCC SHRINKFILE命令可以实现日志的收缩。同时,还介绍了截断日志的原理和注意事项,包括不能截断事务日志的活动部分和MinLSN的确定方法。通过本文的方法,可以有效减小逻辑日志的大小,提高数据库的性能。 ... [详细]
  • 知识图谱——机器大脑中的知识库
    本文介绍了知识图谱在机器大脑中的应用,以及搜索引擎在知识图谱方面的发展。以谷歌知识图谱为例,说明了知识图谱的智能化特点。通过搜索引擎用户可以获取更加智能化的答案,如搜索关键词"Marie Curie",会得到居里夫人的详细信息以及与之相关的历史人物。知识图谱的出现引起了搜索引擎行业的变革,不仅美国的微软必应,中国的百度、搜狗等搜索引擎公司也纷纷推出了自己的知识图谱。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面,并总结了项目存在的问题,如前后端未分离、代码混乱等。作者表示希望通过记录和规划,能够理清思路,进一步完善该平台。 ... [详细]
  • 本文介绍了在Oracle数据库中创建序列时如何选择cache或nocache参数。cache参数可以提高序列的存取速度,但可能会导致序列丢失;nocache参数可以避免序列丢失,但在高并发访问时可能导致性能问题。文章详细解释了两者的区别和使用场景。 ... [详细]
  • 本文介绍了Redis中RDB文件和AOF文件的保存和还原机制。RDB文件用于保存和还原Redis服务器所有数据库中的键值对数据,SAVE命令和BGSAVE命令分别用于阻塞服务器和由子进程执行保存操作。同时执行SAVE命令和BGSAVE命令,以及同时执行两个BGSAVE命令都会产生竞争条件。服务器会保存所有用save选项设置的保存条件,当满足任意一个保存条件时,服务器会自动执行BGSAVE命令。此外,还介绍了RDB文件和AOF文件在操作方面的冲突以及同时执行大量磁盘写入操作的不良影响。 ... [详细]
  • 本文介绍了OkHttp3的基本使用和特性,包括支持HTTP/2、连接池、GZIP压缩、缓存等功能。同时还提到了OkHttp3的适用平台和源码阅读计划。文章还介绍了OkHttp3的请求/响应API的设计和使用方式,包括阻塞式的同步请求和带回调的异步请求。 ... [详细]
  • 本文介绍了lua语言中闭包的特性及其在模式匹配、日期处理、编译和模块化等方面的应用。lua中的闭包是严格遵循词法定界的第一类值,函数可以作为变量自由传递,也可以作为参数传递给其他函数。这些特性使得lua语言具有极大的灵活性,为程序开发带来了便利。 ... [详细]
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • JVM 学习总结(三)——对象存活判定算法的两种实现
    本文介绍了垃圾收集器在回收堆内存前确定对象存活的两种算法:引用计数算法和可达性分析算法。引用计数算法通过计数器判定对象是否存活,虽然简单高效,但无法解决循环引用的问题;可达性分析算法通过判断对象是否可达来确定存活对象,是主流的Java虚拟机内存管理算法。 ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
  • 开发笔记:计网局域网:NAT 是如何工作的?
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了计网-局域网:NAT是如何工作的?相关的知识,希望对你有一定的参考价值。 ... [详细]
author-avatar
思恋相依相惜
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有