数据库 on Even - A super concise theme for Hugo

数据库的索引设计

Sun, 12 Jan 2025 00:00:00 +0000

参考链接

https://tech.meituan.com/2014/06/30/mysql-index.html

索引设计基本认识

Mysql执行计划

官网链接： https://dev.mysql.com/doc/refman/8.4/en/explain-output.html

执行计划适用范围

并非所有操作都可用执行计划分析，执行计划一般支持这些操作：SELECT, INSERT, DELETE, UPDATE, REPLACE

执行计划的顺序

执行计划会列出涉及每张表的执行计划，并且按照解析顺序依次在执行计划中列出。也就是查询优化器认为应该最先扫描的表（一般根据表结构、大小、索引信息分析）会放在第一行，以此类推。执行计划的每行对应的是一张表的分析。

Mysql之多版本并发控制-MVCC

Thu, 19 Sep 2024 00:00:00 +0000

多版本并发控制（MVCC, Multi-Version Concurrency Control） 是一种用于管理数据库并发访问的技术。它允许多个事务并发地读取和写入数据库，而不会相互干扰，从而提高了数据库的并发性能和一致性。只有写写会相互阻塞。

Mysql进阶学习

Thu, 19 Sep 2024 00:00:00 +0000

mysql之备份

备份方式	定义	工具/方法	优点	缺点
物理备份	直接复制数据库的数据文件和日志文件。	`mysqldump`（不推荐），文件系统级别复制	备份速度快，恢复迅速；可以备份整个数据库。	需要停机或使用锁定机制；备份文件较大，恢复可能较复杂。
逻辑备份	导出数据库的数据和结构为文本文件（如 SQL 文件）。	`mysqldump`、`mysqlpump`	备份文件易于管理和恢复；支持选择性备份特定表或数据。	备份和恢复速度较慢；大数据量备份文件可能非常大。
增量备份	仅备份自上次备份以来发生更改的数据。	`mysqlbinlog`（解析二进制日志）	节省存储空间和备份时间；备份体积小。	需要定期进行全备份；恢复过程复杂。
差异备份	备份自上次全备份以来发生更改的数据。	`mysqlbinlog`（结合全备份使用）	恢复时只需最后一个全备份和最近的差异备份；备份文件较小。	差异备份文件逐渐增大；恢复过程可能较复杂。
快照备份	利用操作系统或存储系统提供的快照功能记录数据库状态。	LVM 快照、ZFS 快照、存储设备快照	快速备份和恢复；无需停机；支持恢复到快照创建时的状态。	快照管理可能复杂；可能需要特定的存储系统支持。

物理备份 适合需要快速备份和恢复的场景，但需要处理大文件。
逻辑备份 更适合需要迁移和选择性备份的场景，但备份和恢复速度较慢。
增量备份 和 差异备份 适合需要节省存储和时间的场景，但恢复过程可能较为复杂。
快照备份 提供快速备份和恢复的能力，但可能需要特定的存储系统支持。

增量和差异备份的区别：要恢复数据库，增量备份需要一次全量+前面每次增量备份；差异备份需要一次全量+一次差异备份。

Mysql之我们应该知道mysqld_safe可以不存在

Thu, 02 May 2024 00:00:00 +0000

记录一次设置mysql数据库root密码的经历：当我下载mysql8后，想要设置root密码。搜索网上教程，一般说是用mysqld_safe采用安全启动方式启动后进行设置：mysqld_safe --skip-grant-tables &。但是我采用这种方法，报错：cannot find mysqld_safe。

Mysql之磁盘IO排查

Mon, 08 Apr 2024 00:00:00 +0000

数据库IO高，可能是语法问题、数据库配置问题等

排查语句

Linux - iostat

此命令给出丰富的IO状态数据，一般用这个来查看是否存在性能瓶颈。关于 CPU 的指标，重点看 %iowait 和 %idle 两个指标。

Mysql导入导出

Sat, 16 Dec 2023 00:00:00 +0000

前面先略

Mysql中的转义处理

转义字符（Escape Character）

转义字符是指在ASCII码和Unicode等字符集中的无法被键盘录入的字符，这些字符通常由反斜杠（\）紧跟一个或多个字符组成。在不同的编程语言和环境中，转义字符的定义可能有所不同。但大多数是相同的，也就是都是从C语言衍生出来的，包括Mysql。

Mysql内存篇

Thu, 14 Dec 2023 00:00:00 +0000

影响Mysql占用内存大小的因素，主要包括配置参数、数据库本身大小、执行语句的复杂性等。

内存占用影响因素

排查命令

Mysql学习-Data Definition Statements篇

Thu, 03 Aug 2023 00:00:00 +0000

CREATE TABLE

简单的例子：

create table db_name.tb_name (
id int not null,
name char(20),
primary key (id)
)

Mysql学习-IData Manipulation Statements篇

Thu, 03 Aug 2023 00:00:00 +0000

INSERT Statement

参考链接： https://dev.mysql.com/doc/refman/8.0/en/insert.html https://www.docs4dev.com/docs/zh/mysql/5.7/reference/insert.html

语法

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE] [INTO] _tbl_name_ [PARTITION (_partition_name_ [, _partition_name_] ...)] [(_col_name_ [, _col_name_] ...)] { {VALUES | VALUE} (_value_list_) [, (_value_list_)] ... } [AS _row_alias_[(_col_alias_ [, _col_alias_] ...)]] [ON DUPLICATE KEY UPDATE _assignment_list_] 
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE] [INTO] _tbl_name_ [PARTITION (_partition_name_ [, _partition_name_] ...)] SET _assignment_list_ [AS _row_alias_[(_col_alias_ [, _col_alias_] ...)]] [ON DUPLICATE KEY UPDATE _assignment_list_] 
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE] [INTO] _tbl_name_ [PARTITION (_partition_name_ [, _partition_name_] ...)] [(_col_name_ [, _col_name_] ...)] { SELECT ... | TABLE _table_name_ | VALUES _row_constructor_list_ } [ON DUPLICATE KEY UPDATE _assignment_list_] 
_value_: {_expr_ | DEFAULT} _value_list_: _value_ [, _value_] ... _row_constructor_list_: ROW(_value_list_)[, ROW(_value_list_)][, ...] _assignment_: _col_name_ = _value_ | [_row_alias_.]_col_name_ | [_tbl_name_.]_col_name_ | [_row_alias_.]_col_alias_ _assignment_list_: _assignment_ [, _assignment_] ...

常用参数

默认值

Mysql维护操作

Tue, 20 Jun 2023 00:00:00 +0000

背景：日常与Mysql打交道的话，需要用到一些基本运维操作。在此进行学习和记录。

包含内容

安装Mysql
Mysql服务相关（查看状态、重启等）
Mysql用户管理
Mysql配置文件 my.cnf

安装Mysql

背景：CentOS 7，安装Mysql 8 参考步骤：https://www.sjkjc.com/mysql/install-on-centos/

Mysql登录连接命令

Thu, 01 Jun 2023 00:00:00 +0000

在Linux中使用Mysql，通常需要在命令行或shell脚本中连接数据库。这就涉及到Mysql数据库登录连接知识点。本文主要介绍在linux系统中登录连接命令的参数，以及如何实现免密登录（重要的是如何在保证安全的基础上实现免密登录）。

ORACLE-导入学习

Tue, 30 May 2023 00:00:00 +0000

Mysql之“load data”学习

Sat, 22 Apr 2023 00:00:00 +0000

Mysql使用load data 来进行数据导入，本文给出我在测试Mysql导入时的一些收获

load data 官网用法

可参考： https://dev.mysql.com/doc/refman/8.0/en/load-data.html

LOAD DATA 
[LOW_PRIORITY | CONCURRENT] [LOCAL] 
INFILE '_file_name_' 
[REPLACE | IGNORE] 
INTO TABLE _tbl_name_ 
[PARTITION (_partition_name_ [, _partition_name_] ...)] 
[CHARACTER SET _charset_name_] 
[{FIELDS | COLUMNS} 
	 [TERMINATED BY '_string_'] 
	 [[OPTIONALLY] ENCLOSED BY '_char_'] 
	 [ESCAPED BY '_char_'] 
] 
[LINES 
	 [STARTING BY '_string_'] 
	 [TERMINATED BY '_string_'] 
] 
[IGNORE _number_ {LINES | ROWS}] 
[(_col_name_or_user_var_ [, _col_name_or_user_var_] ...)] 
[SET _col_name_={_expr_ | DEFAULT} [, _col_name_={_expr_ | DEFAULT}] ...]

介绍

LOAD DATA语法用于读取文件的行到表中，速度很快。它相当于是SELECT ... INTO OUTFILE 的反向过程。mysqlimport 也可以作为导入的方法，它的原理是将LOAD DATA语句发到服务端。

Mysql导入常见问题及个人收获

Sat, 22 Apr 2023 00:00:00 +0000

遇到的问题及收获

列表：

时间类型datetime字段的值，当导入值为空时，默认值是什么，会报错吗
如果上述导入不会报错，那么再将此数据insert到相同表结构时，会报错吗
导入时，如果其中一行导入失败，会影响其他行的导入吗
批量insert时，如果其中一行insert失败，会影响其他行的导入吗
local_infile参数的用法
local_infile参数设置为ON后，为啥会出现自己自动变回OFF的情况
数值类型（比如decimal或integer），当导入值为空字符串时，值会转化为0。如何在导入后维持原值（null）
load data replace into和load data ignore into 有什么区别吗
load data语句如何实现先清空表再导入
load data什么场景下会发生死锁
导入有哪些常见的坑，常见的导入失败场景有哪些
load data会识别哪些转义字符
my.cnf权限问题：如何设置可以使得只有管理员用户可以查看密码
load data 若不指定编码集的情况下，默认使用什么编码进行导入？在导入时编码格式需要指定成什么是由表的编码而定还是以导入文件的编码而定？

时间类型datetime字段的值，当导入值为NULL时，默认值是什么，会报错吗

如果导入时没有指定空时的默认值时，会导入'0000-00-00 00:00:00'，并不会报错

Mysql修改root密码

Sun, 04 Dec 2022 00:00:00 +0000

Mysql修改root密码

背景：linux系统，忘记mysql的root密码，该怎么修改root密码？

复制阿里云的在线服务中提出的解决方案👇。亲测ok

如果忘记了MySQL数据库root用户的密码，可以通过修改配置文件，登录时跳过密码，然后在数据库里面修改密码。一般数据库默认的用户为root。

oracle->mysql数据迁移数据事项

Sun, 04 Dec 2022 00:00:00 +0000

oracle->mysql数据迁移数据事项

概述

从oracle数据迁移到mysql前，需要特别关注两者的区别，才能做好相应的转换及评估。

ORACLE&MYSQL主要差异

图片来源： https://www.infoq.cn/article/rc7urvfsmv94jcaw3z2a

MySQL 不支持的功能项

MySQL 没有并行的概念，不支持并行；
MySQL 优化器较弱，复杂 SQL 建议拆分简单 SQL；
MySQL 对于子查询优化不是很好；
MySQL 不支持物化视图、存储过程改造、同义词改造、dblink 需要改造。

迁移原则

参考： https://www.infoq.cn/article/rc7urvfsmv94jcaw3z2a

Mysql导入导出

Sun, 27 Nov 2022 00:00:00 +0000

Mysql导入导出

导出

mysqldump

(1) 导出完整数据：

mysqldump -u用户名 -p 数据库名 > 数据库名.sql

例如：# /usr/local/mysql/bin/mysqldump -uroot -p abc > abc.sql

(2) 只导出表结构（使用 -d 选项）：

mysqldump -u用户名 -p -d 数据库名 > 数据库名.sql

数据库分页查询

Mon, 21 Nov 2022 00:00:00 +0000

数据库分页查询

数据库分页语句使用limit语法来实现。除了基础的limit用法，还有一些优化的方法。

LIMIT基础用法

SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset

参数1表示偏移量，参数2表示返回记录行的最大数目。

数据库日志基础

Mon, 21 Nov 2022 00:00:00 +0000

数据库日志基础

世上无难事，只要有日志。

本文以Mysql为例，研究支持的日志。

数据库日志类型

记录方式分类：

逻辑日志：可以简单理解为记录的就是sql语句。
物理日志：mysql 数据最终是保存在数据页中的，物理日志记录的就是数据页变更。

日志类型分类：

分区表

Wed, 16 Nov 2022 00:00:00 +0000

分区表

基本概念

分区、分表、分库、分片

参考链接：

https://blog.csdn.net/wqaiwsj/article/details/124684356

https://www.cnblogs.com/qianmojie/p/16326975.html

分区：将数据从物理上分成若干个小表存储，实际上还是一张表。为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，提升查询效率。

BenchmarkSQL性能测试

Tue, 15 Nov 2022 00:00:00 +0000

BenchmarkSQL性能测试

何为BenchmarkSQL

BenchmarkSQL是一款经典的开源数据库测试工具，其包含 TPCC 测试脚本，支持MySQL、Oracle 、EnterpriseDB、PostgreSQL以及SQL Server 等数据库的性能压力测试。模拟多种事务处理：新订单、支付操作、订单状态查询、发货、库存状态查询等，从而获得最终的压测值。

数据库测试扫盲篇

Wed, 31 Aug 2022 00:00:00 +0000

数据库测试扫盲篇

最近参与数据库POC测试，鉴于对数据库还不够了解，决定先以一些测试案例为蓝本，自我扫盲下。

表空间以及表空间管理

1、什么是表空间（TABLESPACE）

表空间是一种存储结构，它包含表、索引、大对象和长型数据。

Linux-安装Oracle

Tue, 02 Aug 2022 00:00:00 +0000

Linux-安装Oracle数据库

安装【失败】，可能因为我的服务器空间不足。。。罢了，先放着吧

背景：我的阿里云linux服务器（CentOS 7.8 64位）之前在宝塔已懒人安装了mysql，现需要在服务器上学习Oracle，所以先记录安装过程（静默安装）。

Oracle-实现事务提交和回滚

Tue, 02 Aug 2022 00:00:00 +0000

Oracle-实现事务提交和回滚

背景：一直以来用sqlplus /执行多条sql时，某条sql失败后无法回滚前面的sql，并会继续执行下面的sql。即，如果 sqlplus 中遇到了一个 sql 或者 pl/ssql 错误, 一般会报告这个错误然后继续处理。在交互模式下, 这种处理是很理想的, 但是如果运行的是一个脚本,我们一般不希望失败了还继续执行。这可太不科学了！经过高人指点，可以用一条命令来实现失败回滚功能。故在此学习和记录下。

ORACLE-存储过程

Sun, 03 Jul 2022 00:00:00 +0000

ORACLE-存储过程

概念

存储过程(Stored Procedure)：

一组为了完成某功能的一段sql语句集（一种PL/SQL块），存储在数据库中，经过第一次编译后再次调用就无需再次编译，用户通过调用指定存储过程名称和给定参数来调用。当数据库启动时,会自动加载到数据库内存中,执行效率高。

ORACLE-序列

Mon, 13 Jun 2022 00:00:00 +0000

ORACLE-序列

背景：了解NEXTVAL的概念

ORACLE序列

概念

是oacle提供的用于产生一系列唯一数字的数据库对象。主要用于提供主键值。

sequence是序列号生成器，可以为表中的行自动生成序列号，产生一组等间隔的数值(类型为数字)。**其主要的用途是生成表的主键值，可以在插入语句中引用，在插入之前，获取序列号nextval值，然后进行插入。**也可以通过查询检查当前值，或使序列增至下一个值。（https://www.jb51.net/article/220007.htm#/）

SQL函数篇

Mon, 13 Jun 2022 00:00:00 +0000

SQL函数篇

lpad/rpad函数

lpad/rpad函数

此为Oracle函数。l/r(left/right)+pad(填充)，表示从左边/右边填充。

格式：lpad( string, padded_length, [ pad_string ] ) （rpad同理）

数据库无效对象

Sat, 14 May 2022 22:51:46 +0800

数据库无效对象

背景：报“ORACLE存在无效对象，可能影响应用性能，评估是否重建对象”

概念

无效：INVALID
对象：视图、物化视图、函数、包、触发器等

无效 PL/SQL 对象和不可用索引会对性能产生影响。无效 PL/SQL 对象必须先进行重编译，然后才能使用。这需要在执行尝试访问 PL/SQL 程序包、过程或函数的第一个操作之前花费一段编译时间。如果 PL/SQL 重编译未成功，，则操作会因发生错误而失败。优化程序会忽略不可用索引。如果 SQL 语句性能的好坏取决于已标记为不可用的索引，则只有重建索引才能改善性能。

部分sql的user_io_wait_time值较大

Sat, 14 May 2022 22:51:46 +0800

部分sql的user_io_wait_time值较大

背景：报“针对近一个月的sql语句执行进行分析，每天执行较频繁的sql中，有几个sql的user_io_wait_time值较大，建议进行优化

Mysql之binlog

Mon, 01 Jan 0001 00:00:00 +0000

binlog

binlog（二进制日志）记录数据库的变更（包括dml和ddl，不包括查询）。主要用于数据恢复、数据复制、高可用性（从库复制主库的binlog）

Mysql之innodb

Mon, 01 Jan 0001 00:00:00 +0000

innodb

参考链接： https://draveness.me/mysql-innodb/ https://mp.weixin.qq.com/s?__biz=MzU5NDk0MTc2OA==&mid=2247483937&idx=1&sn=46ecf87cc91a1793bc930da3be367c32&scene=21#wechat_redirect

概念

数据库与实例的区别：

数据库：物理操作系统文件系统或其他形式文件类型的集合
实例：后台线程以及一个共享内存区 mysql一般是数据库和实例一一对应的关系。

mysql进程：启动一个实例UNIX一般会启动2个进程：

Mysql之系统表

Mon, 01 Jan 0001 00:00:00 +0000

performance_schema

performance_schema，顾名思义，用于监控展现mysql实时性能情况的库。主要记录的是server执行某些活动对某些资源的消耗、耗时、这些活动执行的次数等情况。需要注意的是，performance_schema是库名，而不是表名。也就是说，performance_schema库里有各种表来进行各种指标的记录。

平台工程师视频学习笔记-云原生数据库

Mon, 01 Jan 0001 00:00:00 +0000

Mysql云服务简介

体系架构
InnoDB
索引结构
事务与锁
Mysql备份恢复及安全防护
Mysql复制及常见高可用架构

概述

Mysql发展

2013年 5.6版本
2015年 5.7版本
2018年 8.0版本

推荐二进制版本安装

数据库 on Even - A super concise theme for Hugo

数据库的索引设计

参考链接

索引设计基本认识

Mysql执行计划

执行计划适用范围

执行计划的顺序

Mysql之多版本并发控制-MVCC

Mysql进阶学习

目录

mysql之备份

Mysql之我们应该知道mysqld_safe可以不存在

Mysql之磁盘IO排查

排查语句

Linux - iostat

Mysql导入导出

前面先略

Mysql中的转义处理

转义字符（Escape Character）

Mysql内存篇

内存占用影响因素

排查命令

Mysql学习-Data Definition Statements篇

CREATE TABLE

Mysql学习-IData Manipulation Statements篇

INSERT Statement

语法

常用参数

默认值

Mysql维护操作

包含内容

安装Mysql

Mysql登录连接命令

ORACLE-导入学习

Mysql之“load data”学习

load data 官网用法

介绍

Mysql导入常见问题及个人收获

遇到的问题及收获

时间类型datetime字段的值，当导入值为NULL时，默认值是什么，会报错吗

Mysql修改root密码

Mysql修改root密码

oracle->mysql数据迁移数据事项

oracle->mysql数据迁移数据事项

概述

ORACLE&MYSQL主要差异

MySQL 不支持的功能项

迁移原则

Mysql导入导出

Mysql导入导出

导出

数据库分页查询

数据库分页查询

LIMIT基础用法

数据库日志基础

数据库日志基础

数据库日志类型

分区表

分区表

基本概念

BenchmarkSQL性能测试

BenchmarkSQL性能测试

何为BenchmarkSQL

数据库测试扫盲篇

数据库测试扫盲篇

表空间以及表空间管理

Linux-安装Oracle

Linux-安装Oracle数据库

Oracle-实现事务提交和回滚

Oracle-实现事务提交和回滚

ORACLE-存储过程

ORACLE-存储过程

概念

ORACLE-序列

ORACLE-序列

ORACLE序列

概念

SQL函数篇

SQL函数篇

lpad/rpad函数