当前位置:  首页  >  数据库  >  MySql  >  MySQL基础

关于数据优化的详细介绍

最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息,极不方便做统计和分析。所以我需要创建一张新表,把旧表中的数据一条一条取出来优化后放回新表;一.清除冗余数据,优化字段结构2000W数据中,能作为查询条件的字段我们是预知的。所以将这部分数据单独创建新的字...
最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息,极不方便做统计和分析。所以我需要创建一张新表,把旧表中的数据一条一条取出来优化后放回新表;一. 清除冗余数据,优化字段结构2000W数据中,能作为查询条件的字段我们是预知的。所以将这部分数据单独创建新的字段,对于有规则的数据合理改变字段结构,比如身份证就是varchar(18)。对于不重要的数据我们合并后存在一个结构为text的字段。对于一些有关联的数据我们需要计算,常见的比如身份证种能获取到准确的性别,出生地、生日、年龄。二. 数据迁移我们从数据库中取出一条旧数据,再通过计算处理后得到想要的新数据,最后将新数据插入新表。不过在获取新数据时遇到如下问题。数据量太大,无法一次获取(2000W数据扔到

1. 怎样将MySQL中两千万数据进行优化与迁移

简介:最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量...

4. Thinkphp where() 方法的 查找数据优化

简介:第一种方式 {代码...} 第二种方式 {代码...} 这两种方法都可以实现我想要的操作但是 第一种方法是否会对服务器或数据库造成压力 第二种是可以多写这一行代码 {代码...} 纠结中(⊙﹏⊙)

5. 为某XXX手机公司删除重复数据优化一例

简介:这是他们一个开发写的SQL,目的是删除重复数据,且id是最小值的行不删除:deletefromjd_chapterawherea.`id`in(select`id`fromjd_chaptergroup&nbs..

6. Oracle 优化统计数据之直方图(histograms)

简介:直方图是一种按数据出现的频率来进行分类存储的方法.在oracle中直方图是用来描述表中列数据的分布情况.每一个sql在被执行前都要经

7. 如何借助HTML5微数据优化网页?

8. mysql 数据库-mysql问题:从三个表查询数据优化

简介:我有三个表,三个表的数据全部查询出来再排序,三个表的数据都很大,如何查询才能最节省资源,最优。

9. mysql-MySql 数据统计Update Select优化

简介:请教下各位大神,mysq update数据优化 遇到的问题是这样的。 表a有2个字段,ready_count,download_count 表b是统计表,有type,id 两个表的储存引擎都是MYISAM 需要把表b的数据count(1) group by(type)之后update到表a的那两个字段中。 我现在的SQL是这样的: update a _t1 set _t1.ready_count = ( SELECT count(1) FROM b _t2 WHERE _t2.tid = ...

10. MySQL写入插入数据优化配置_MySQL

简介:MySQL写入插入数据优化配置

【相关问答推荐】:

mysql 比较两个表数据优化问题

Thinkphp where() 方法的 查找数据优化

以上就是关于数据优化的详细介绍的详细内容,更多请关注 第一PHP社区 其它相关文章!

吐了个 "CAO" !
扫码关注 PHP1 官方微信号
PHP1.CN | 中国最专业的PHP中文社区 | PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | PHP问答
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved PHP1.CN 第一PHP社区 版权所有