传统数据库

上篇文章&＃xff1a;聊聊数据库~开篇 https://www.cnblogs.com/dotnetcrazy/p/9690466.html

本来准备直接开讲NoSQL的&＃xff08;当时开篇就是说的NoSQL&＃xff09;考虑到有些同志可能连MySQL系都没接触过&＃xff0c;所以我们2019说数据系的时候预计从MySQL&＃xff08;穿插MSSQL&＃xff09;开始&＃xff0c;这篇文章就当试水篇&＃xff0c;效果好就继续往下写~&＃xff08;这篇偏理论和运维&＃xff09;

1.1.MariaDB and MySQL

官方文档&＃xff1a;https://mariadb.com/kb/zh-cn/mariadb

目前主流&＃xff1a;MySQL 5.7 or MariaDB 5.5.x&＃xff08;推荐&＃xff09;

多一句嘴&＃xff0c;MySQL当年被Oracle收购后&＃xff0c;MySQL之父觉得靠Oracle维护MySQL很不靠谱&＃xff0c;然后就跳槽弄了个MariaDB&＃xff08;很多Oracle竞争对手扶持着&＃xff09;&＃xff0c;目前MariaDB是发展最快的MySQL分支版本&＃xff08;PS&＃xff1a;MySQL现在是双协议了&＃xff0c;大部分公司用的版本都是<&＃61;5.7&＃xff09;

然后得说下迁移问题&＃xff1a;MySQL 5.x到 MariaDB 5.x基本上是无缝的&＃xff0c;MariaDB最新稳定版为&＃xff1a;MariaDB 5.5

PS&＃xff1a;MariaDB有两个分支&＃xff0c;而10.x分支是不兼容MySQL的

MariaDB与MySQL兼容性可以查看&＃xff1a;

https://mariadb.com/kb/zh-cn/mariadb-vs-mysql-compatibility/

PS&＃xff1a;国内比较火的还有阿里的MySQL分支&＃xff1a;https://github.com/alibaba/AliSQL

不谈其他的&＃xff0c;咱们看看它们开发的积极程度就知道为什么MariaDB是主流了

使用概括&＃xff08;推荐&＃xff09;

如果想要使用MariaDB10.x的同志可以考虑MySQL8.x&＃xff08;社区完善&＃xff09;

如果想要使用MySQL5.x的同志可以考虑MariaDB5.5.x&＃xff08;高性能且兼容&＃xff09;

1.2.MariaDB部署

网络配置如果不会可以看我以前写的文章&＃xff1a;https://www.cnblogs.com/dunitian/p/6658578.html

1.环境配置和初始化

安装很简单&＃xff0c;以CentOS为例&＃xff1a;

systemctl start mariadb.service # 启动MariaDB
systemctl enable mariadb.service # 设置开机启动systemctl stop mariadb.service # 停止MariaDB
systemctl restart mariadb.service # 重启MariaDB

PS&＃xff1a;Win安装注意这一步&＃xff1a;

执行文件简单说明&＃xff1a;有时候我们 ps aux | grep mysql 的时候&＃xff0c;发现运行的并不是/usr/bin/下的mysqld而是mysqld_safe&＃xff0c;那这个mysqld_safe是啥呢&＃xff1f;&＃61;&＃61;> 线程安全的实例

MariaDB的程序组成&＃xff1a;ls /usr/bin | grep mysql

1. Client&＃xff1a;
   • mysql 命令行客户端
   • mysqldump 数据库备份用
   • mysqladmin 远程管理工具
   • mysqlbinlog 二进制日志管理工具
   • ...
2. Server&＃xff1a;
   • mysqld_safe 线程安全的实例
   • mysqld_multi 多实例
   • mysqld
   • mysql_secure_installation 安全初始化工具(记得先启动数据库哦)
   • ...

mysql的账号由两部分组成&＃xff1a;username&＃64;host&＃xff0c;MySQL客户端连接参数&＃xff1a;

• -u用户名&＃xff1a;--user&＃xff0c;默认为root
• -h服务器主机&＃xff1a;--host&＃xff0c;默认为localhost
  • host用于限制用户可以通过哪些主机连接
  • 支持通配符&＃xff1a;
    • %匹配任意长度的任意字符&＃xff1a;172.16.0.0/16 &＃61;&＃61;> 172.16.%.%
    • _匹配任意单个字符
• -p密码&＃xff1a;--password&＃xff0c;默认为空
  • 安装完成后运行mysql_secure_installation来设置密码并初始化
• other&＃xff1a;
  • -P&＃xff1a;--port&＃xff0c;指定端口
  • -D&＃xff1a;--database&＃xff0c;指定数据库
  • -C&＃xff1a;--compress&＃xff0c;连接数据库的时候对传输的数据压缩
  • -S&＃xff1a;--socket&＃xff0c;指定socket文件
• MySQL专用&＃xff1a;-e "SQL语句"&＃xff0c;直接执行SQL语句
  • mysql -e "show databases"&＃xff08;脚本直接运行&＃xff09;

很多人安装完成后是这样设置密码的&＃xff1a;(不推荐)

正确打开方式&＃xff1a;mysql_secure_installation

如果允许root远程登录&＃xff1a;Disallow root login remotely? [Y/n] n

安全初始化后登录图示&＃xff1a;

2.配置文件

以MariaDB 5.5.60为例&＃xff1a;

1. Linux&＃xff1a;配置文件查找顺序(找不到就往下继续)
   • /etc/my.cnf --> /etc/mysql/conf.d/*.cnf --> ~/.my.cnf
2. Windows&＃xff1a;MariaDB安装目录/data/my.ini

PS&＃xff1a;一般配置文件都会设置这3个

[mysqld]
# 独立表空间: 每一个表都有一个.frm表描述文件&＃xff0c;还有一个.ibd文件
innodb_file_per_table&＃61;on
# 不对连接进行DNS解析(省时)
skip_name_resolve&＃61;on
# 配置sql_mode
sql_mode&＃61;&＃39;strict_trans_tables&＃39;# 指定数据库文件存放路径
# datadir&＃61;/mysql/data
# socket&＃61;/mysql/data/mysql.sock # 与之对应

其他配置MariaDB提供了样本&＃xff1a;

[dnt&＃64;localhost ~] ls /usr/share/mysql/ | grep .cnf
my-huge.cnf # 超大内存配置参考
my-innodb-heavy-4G.cnf # 4G内存配置参考
my-large.cnf # 大内存配置
my-medium.cnf # 中等内存配置
my-small.cnf # 小内存配置

PS&＃xff1a;thread_concurrency&＃61;CPU数*2最佳&＃xff0c;修改配置后记得重启数据库

3.远程访问

1.之前安全初始化的时候把root禁止远程登录了&＃xff0c;现在我们创建一个其他用户

2.给用户权限

3.防火墙放行指定端口

4.远程客户端测试一下

Code如下&＃xff1a;

# root账户登录
mysql -uroot -p# 新增用户
insert into mysql.user(user,host,password) values("用户名","%",password("密码"));# 刷新设置
flush privileges;# 分配权限
grant all privileges on 数据库.* to 用户名&＃64;"%" identified by "密码";# 刷新设置
flush privileges;# 显示服务状态
systemctl status firewalld# 添加 --permanent永久生效(没有此参数重启后失效)
firewall-cmd --zone&＃61;public --add-port&＃61;3306/tcp --permanent# 重新载入
firewall-cmd --reload# 查看
firewall-cmd --zone&＃61; public --query-port&＃61;3306/tcp
# 删除
firewall-cmd --zone&＃61; public --remove-port&＃61;3306/tcp --permanent

SQLServer远程连接&＃xff1a;https://www.cnblogs.com/dunitian/p/5474501.html

扩展&＃xff1a;为用户添加新数据库的权限

PS&＃xff1a;先使用root创建数据库&＃xff0c;然后再授权grant all privileges on 数据库.* to 用户名&＃64;"%" identified by "密码";并刷新flush privileges;

查看权限&＃xff1a;show grants for dnt;

效果&＃xff1a;

1.3.MySQL部署

之前有园友说&＃xff0c;为啥不顺便说说UbuntuServer的部署呢&＃xff1f;呃。。。一般来说公司服务器都是CentOS的占大多数&＃xff0c;然后UbuntuServer更多的是个人云服务比较多&＃xff08;推荐初创公司使用&＃xff09;&＃xff0c;毕竟它们两个系统追求的不太一样&＃xff0c;一个是追求稳&＃xff08;部署麻烦&＃xff09;&＃xff0c;一个是追求软件尽量新的情况下稳定&＃xff08;更新太快&＃xff09;

那么长话短说&＃xff0c;步入正轨&＃xff1a;

1.Ubuntu最常见的包问题

Ubuntu不得不说的就是这个apt出问题的处理 &＃xff1a;&＃xff08;换源就不说了/etc/apt/sources.list&＃xff09;

# 一般删除这几个锁文件&＃xff0c;然后再重新配置下就可以了
sudo rm /var/lib/dpkg/lock
sudo rm /var/lib/dpkg/lock-frontend
sudo rm /var/lib/apt/lists/lock
sudo rm /var/cache/apt/archives/lock
# 简写&＃xff08;千万注意空格&＃xff0c;不然你就是rm -rf / &＃43; 跑路了&＃xff09;
# sudo rm /var/lib/apt/lists/lock /var/cache/apt/archives/lock /var/lib/dpkg/lock /var/lib/dpkg/lock-frontend# 重新配置下
sudo dpkg --configure -a

2.安装注意&＃xff08;Ubuntu的特点就是使用起来简单&＃xff09;

Ubuntu推荐使用MySQL&＃xff08;毕竟同是5.x用起来基本上差不多&＃xff0c;安装过程和之前说的CentOS 下 MariaDB差不多&＃xff0c;所有命令前加个sudo&＃xff09;

1.安装比较简单&＃xff1a;sudo apt install mysql-server -y

2.允许远程连接&＃xff1a;注释掉 bind-address&＃61;127.0.0.1(/etc/mysql/mysql.conf.d/mysqld.cnf)

PS&＃xff1a;常用配置&＃xff08;/etc/mysql/mysql.conf.d/mysqld.cnf&＃xff09;

3.关于为什么是这个路径的说明&＃xff1a;sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

4.所有配置修改都需要重新启动下&＃xff1a;sudo systemctl restart mysql

5.第一次初始化和MariaDB不太一样&＃xff1a;sudo mysql_secure_installation&＃xff08;其他一路y即可&＃xff09;

需要选下你设置root密码的复杂度&＃xff1a;&＃xff08;一般1就可以了&＃xff0c;就算设置再复杂&＃xff0c;入了系统也是虚的&＃xff09;

PS&＃xff1a;可以看看拓展文章&＃xff1a;Ubuntu16安装mysql5.7未提示输入密码&＃xff0c;安装后修改mysql默认密码 和 【不推荐】修改mysql密码策略

6.然后输入密码你就可以登录了sudo mysql -uroot -p&＃xff08;PS&＃xff1a;你直接sudo mysql也可以直接登录&＃xff09;

这边我就不像上节课一步步演示了&＃xff0c;直接授权和创建一步走了grant all privileges on 数据库.* to "用户名"&＃64;"%" identified by "复杂密码";

7.记得flush privileges;刷新一下系统表

课后拓展&＃xff1a;

MySQL5.7.26 忘记Root密码小计&＃xff1a;https://www.cnblogs.com/dotnetcrazy/p/11027732.html

浅析MySQL 8忘记密码处理方式
https://www.cnblogs.com/wangjiming/p/10363357.htmlMySQL5.6更改datadir数据存储目录
https://www.cnblogs.com/ding2016/p/7644675.html

扩展&＃xff1a;CentOS7安装MySQL8

CentOS7安装MySQL8.0安装小计&＃xff1a;https://mp.weixin.qq.com/s/Su3Ivuy5IMeAwYBXaka0ag

MySQL军规&＃xff08;58&＃xff09;

文章结尾贴一节58的MySQL军规&＃xff1a;&＃xff08;适用于并发量大&＃xff0c;数据量大的典型互联网业务&＃xff09;

1.基础规范

1. 表存储引擎必须使用InnoDB
2. 表字符集默认使用utf8&＃xff0c;必要时候使用utf8mb4
   • utf8通用&＃xff0c;无乱码风险&＃xff0c;汉字3字节&＃xff0c;英文1字节
   • utf8mb4是utf8的超集&＃xff0c;存储4字节时使用&＃xff08;eg&＃xff1a;表情符号&＃xff09;
3. 禁止使用存储过程&＃xff0c;视图&＃xff0c;触发器&＃xff0c;Event
   • 调试&＃xff0c;排错&＃xff0c;迁移都比较困难&＃xff0c;扩展性较差
   • 对数据库性能影响较大&＃xff0c;互联网业务&＃xff0c;能让站点层和服务层干的事情&＃xff0c;不要交到数据库层
4. 禁止在数据库中存储大文件&＃xff08;eg&＃xff1a;照片&＃xff09;
   • 可以将大文件存储在对象存储系统&＃xff0c;数据库中存储路径
5. 禁止在线上环境做数据库压力测试
   • 测试&＃xff0c;开发&＃xff0c;线上数据库环境必须隔离

2.命名规范

1. 库名&＃xff0c;表名&＃xff0c;列名必须用小写&＃xff0c;采用下划线分隔
   • abc&＃xff0c;Abc&＃xff0c;ABC都是给自己埋坑
2. 库名&＃xff0c;表名&＃xff0c;列名必须见名知义&＃xff0c;长度不要超过32字符
   • tmp&＃xff0c;wushan谁TM知道这些库是干嘛的
3. 库备份必须以bak为前缀&＃xff0c;以日期为后缀
   • 从库必须以-s为后缀
   • 备库必须以-ss为后缀

3.表设计规范

1. 单实例表个数必须控制在2000个以内
2. 单表分表个数必须控制在1024个以内
3. 表必须有主键&＃xff0c;推荐使用unsigned整数为主键
   • 潜在坑&＃xff1a;删除无主键的表&＃xff0c;如果是row模式的主从架构&＃xff0c;从库会挂住
4. 禁止使用外键&＃xff0c;如果要保证完整性&＃xff0c;应由应用程式实现
   • 外键使得表之间相互耦合&＃xff0c;影响update/delete等SQL性能
   • 有可能造成死锁&＃xff0c;高并发情况下容易成为数据库瓶颈
5. 建议将大字段&＃xff0c;访问频度低的字段拆分到单独的表中存储&＃xff0c;分离冷热数据
   • 垂直拆分的依据&＃xff0c;尽量把长度较短&＃xff0c;访问频率较高的属性放在主表里
   • 流量大数据量大时&＃xff0c;数据访问要有service层&＃xff0c;并且service层不要通过join来获取主表和扩展表的属性
   • 具体可以参考沈剑大牛写的《如何实施数据库垂直拆分》

4.列设计规范

1. 根据业务区分使用tinyint/int/bigint&＃xff0c;分别会占用1/4/8字节
2. 根据业务区分使用char/varchar&＃xff08;PS&＃xff1a;没有MSSQL里的nvarchar&＃xff09;
   • 字段长度固定&＃xff0c;或者长度近似的业务场景&＃xff0c;适合使用char&＃xff0c;能够减少碎片&＃xff0c;查询性能高
   • 字段长度相差较大&＃xff0c;或者更新较少的业务场景&＃xff0c;适合使用varchar&＃xff0c;能够减少空间
3. 根据业务区分使用datetime/timestamp
   • datetime占用5个字节&＃xff0c;timestamp占用4个字节
   • 存储年使用year&＃xff0c;存储日期使用date&＃xff0c;存储时间使用datetime
4. 必须把字段定义为NOT NULL并设默认值
   • NULL需要更多的存储空间
   • NULL的列使用索引&＃xff0c;索引统计&＃xff0c;值都更加复杂&＃xff0c;MySQL更难优化
   • NULL只能采用IS NULL或者IS NOT NULL&＃xff0c;而在&＃61;/!&＃61;/in/not in时有大坑
5. 使用int unsigned存储IPv4&＃xff0c;不要用char(15)
6. 使用varchar(20)存储手机号&＃xff0c;不要使用整数
   • 手机号不会用来做数学运算
   • varchar可以模糊查询(eg&＃xff1a;like ‘138%’)
   • 牵扯到国家代号&＃xff0c;可能出现&＃43;、-、()等字符&＃xff0c;eg&＃xff1a;&＃43;86
7. 使用tinyint来代替enum
   • enum增加新值要进行DDL操作

5.索引规范&＃xff08;常用&＃xff09;

1. 唯一索引使用uniq_字段名来命名&＃xff08;uq_表名_字段名&＃xff09;
2. 非唯一索引使用idx_字段名来命名&＃xff08;ix_表名_字段名&＃xff09;
3. 单张表索引数量建议控制在5个以内
   • 互联网高并发业务&＃xff0c;太多索引会影响写性能
   • 异常复杂的查询需求&＃xff0c;可以选择ES等更为适合的方式存储
   • 生成执行计划时&＃xff0c;如果索引太多&＃xff0c;会降低性能&＃xff0c;并可能导致MySQL选择不到最优索引
4. 组合索引字段数不建议超过5个
   • 如果5个字段还不能极大缩小row范围&＃xff0c;八成是设计有问题
5. 不建议在频繁更新的字段上建立索引
6. 尽量不要join查询&＃xff0c;如果要进行join查询&＃xff0c;被join的字段必须类型相同&＃xff0c;并建立索引
   • join字段类型不一致容易导致全表扫描
7. 理解组合索引最左前缀原则&＃xff0c;避免重复建设索引
   • 如果建立了(a,b,c)&＃xff0c;相当于建立了(a), (a,b), (a,b,c)

6.SQL规范&＃xff08;常用&＃xff09;

1. 禁止使用select *&＃xff0c;只获取必要字段
   • 指定字段能有效利用索引覆盖
   • select *会增加cpu/io/内存/带宽的消耗
   • 指定字段查询&＃xff0c;在表结构变更时&＃xff0c;能保证对应用程序无影响
2. insert必须指定字段&＃xff0c;禁止使用insert into T values()
   • 指定字段插入&＃xff0c;在表结构变更时&＃xff0c;能保证对应用程序无影响
3. 隐式类型转换会使索引失效&＃xff0c;导致全表扫描&＃xff08;很重要&＃xff09;
4. 禁止在where条件列使用函数或者表达式
   • 导致不能命中索引&＃xff0c;全表扫描
5. 禁止负向查询以及%开头的模糊查询
   • 导致不能命中索引&＃xff0c;全表扫描
6. 禁止大表join和子查询
7. 同一个字段上的or必须改写为in&＃xff0c;in的值必须少于50个
8. 应用程序必须捕获SQL异常&＃xff08;方便定位线上问题&＃xff09;

课后思考&＃xff1a;为什么select uid from user where phone&＃61;13811223344不能命中phone索引&＃xff1f;

课后拓展&＃xff1a;

MyISAM与InnoDB两者之间区别与选择
https://www.cnblogs.com/y-rong/p/5309392.html
https://www.cnblogs.com/y-rong/p/8110596.html了解下Mysql的间隙锁及产生的原因
https://www.cnblogs.com/wt645631686/p/8324671.htmlgrant授权和revoke回收权限
https://www.cnblogs.com/kevingrace/p/5719536.htmlcentos7自带数据库MariaDB重启和修改密码
https://blog.csdn.net/shachao888/article/details/50341857MySQL添加用户、删除用户与授权
https://www.cnblogs.com/wanghetao/p/3806888.html深度认识 Sharding-JDBC&＃xff1a;做最轻量级的数据库中间层
https://my.oschina.net/editorial-story/blog/888650