文章目录
1. 批处理模式下使用mysql
我们可以交互式的使用mysql,也可以在批处理模式下使用mysql。在批处理模式下,将要运行的语句放在文件中,然后告诉mysql从文件中读取其输入:
shell> mysql < batch-file
如果需要在命令行上指定连接参数,该命令可能如下所示:
shell> mysql -h host -u user -p < batch-file
Enter password: ********
当通过这种方式使用mysql时,需要创建脚本文件,然后执行。
当脚本执行过程中需要忽略遇到的错误时,在命令行中使用 --force 选项。
为什么需要使用脚本?这里有几个原因:
- 如果你需要重复执行查询任务(每天或者每周),则将其设置为脚本可以避免每次执行时都重新键入。
- 可以通过复制和编辑脚本文件来生成类似于现有查询的新查询。
- 在开发查询语句时,批处理模式也很有用,特别是对于多行语句或多语句序列。如果出了错误,不必重新输入所有的内容。只需编辑脚本来更正错误,然后再次执行。
- 如果有一个产生大量输出的查询,您可以通过pager查看输出,而不是看着它从屏幕顶部滚动:
shell> mysql < batch-file | more
- 可以捕获文件中的输出以进行进一步的处理:
shell> mysql < batch-file > mysql.out
- 你可以将脚本分享给其他人,他们也可以执行其中的语句。
- 某些情况下无法使用交互式。例如,当使用计划任务cron执行查询,在这种情况下,只能使用批处理模式。
当以批处理模式运行mysql时,默认输出格式与以交互方式使用mysql时不同(批处理模式更简洁一些)。例如,执行语句
SELECT DISTINCT species FROM pet
交互式模式下输出为:
+---------+
| species |
+---------+
| bird |
| cat |
| dog |
| hamster |
| snake |
+---------+
批处理模式下,输出为:
species
bird
cat
dog
hamster
snake
如果你想在批处理模式下得到交互式输出的结果,使用 mysql -t 。如果想回显执行的语句,使用 mysql -v 。
你也可以在mysql提示符下通过source或 . 命令来引用脚本:
mysql> source filename;
mysql> \. filename
2. 常见的查询示例
一些例子使用表shop为某些贸易商(dealer)保存每件商品(article)的价格。假设每个交易者每件物品都有一个固定价格,那么(article,dealer)是记录的主键。
启动mysql命令行工具并选择一个数据库:
shell> mysql your-database-name
要创建和填充示例表,请使用以下语句:
CREATE TABLE shop (
article INT UNSIGNED DEFAULT '0000' NOT NULL,
dealer CHAR(20) DEFAULT '' NOT NULL,
price DECIMAL(16,2) DEFAULT '0.00' NOT NULL,
PRIMARY KEY(article, dealer));
INSERT INTO shop VALUES
(1,'A',3.45),(1,'B',3.99),(2,'A',10.99),(3,'B',1.45),
(3,'C',1.69),(3,'D',1.25),(4,'D',19.95);
示例表应包含以下内容:
SELECT * FROM shop ORDER BY article;
+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
| 1 | A | 3.45 |
| 1 | B | 3.99 |
| 2 | A | 10.99 |
| 3 | B | 1.45 |
| 3 | C | 1.69 |
| 3 | D | 1.25 |
| 4 | D | 19.95 |
+---------+--------+-------+
下面是一些使用MySQL解决一些常见问题的示例。
2.1 求某列最大值
求项目编号的最大值
MySQL [test]> SELECT MAX(article) AS article FROM shop;
+---------+
| article |
+---------+
| 4 |
+---------+
2.2 包含某列最大值的一行
任务:找出最贵商品的号码、经销商和价格。
使用子查询可以轻松完成:
MySQL [test]> SELECT article, dealer, price
-> FROM shop
-> WHERE price=(SELECT MAX(price) FROM shop);
+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
| 4 | D | 19.95 |
+---------+--------+-------+
其他解决方案是使用 LEFT JOIN 或按价格降序排列所有行,并使用MySQL特定的 LIMIT 子句仅获取第一行:
SELECT s1.article, s1.dealer, s1.price
FROM shop s1
LEFT JOIN shop s2 ON s1.price < s2.price
WHERE s2.article IS NULL;
SELECT article, dealer, price
FROM shop
ORDER BY price DESC
LIMIT 1;
2.3 每组中列的最大值
任务:找出每件商品的最高价格。
MySQL [test]> SELECT article, MAX(price) AS price
-> FROM shop
-> GROUP BY article
-> ORDER BY article;
+---------+-------+
| article | price |
+---------+-------+
| 1 | 3.99 |
| 2 | 10.99 |
| 3 | 1.69 |
| 4 | 19.95 |
+---------+-------+
2.4 保持某列分组最大值的行
任务:对于每件商品,找到价格最贵的一个或多个经销商。
这个问题可以用子查询来解决:
MySQL [test]> SELECT article, dealer, price
-> FROM shop s1
-> WHERE price=(SELECT MAX(s2.price)
-> FROM shop s2
-> WHERE s1.article = s2.article)
-> ORDER BY article;
+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
| 1 | B | 3.99 |
| 2 | A | 10.99 |
| 3 | C | 1.69 |
| 4 | D | 19.95 |
+---------+--------+-------+
前面的示例使用了一个相关子查询,这是低效的。解决该问题的其他可能方法是在FROM子句中使用不相关的子查询或 LEFT JOIN 。
不相关子查询:
SELECT s1.article, dealer, s1.price
FROM shop s1
JOIN (
SELECT article, MAX(price) AS price
FROM shop
GROUP BY article) AS s2
ON s1.article = s2.article AND s1.price = s2.price
ORDER BY article;
LEFT JOIN:
SELECT s1.article, s1.dealer, s1.price
FROM shop s1
LEFT JOIN shop s2 ON s1.article = s2.article AND s1.price < s2.price
WHERE s2.article IS NULL
ORDER BY s1.article;
LEFT JOIN 的工作原理是:当 s1.price 处于最大值时,s2.price 没有更大的值,因此相应的 s2.article 值为 NULL 。
2.5 使用用户定义的变量
您可以使用MySQL用户变量来记住结果,而不必将结果存储在客户端的临时变量中。
例如,要查找价格最高和最低的商品,可以执行以下操作:
MySQL [test]> SELECT @min_price:=MIN(price),@max_price:=MAX(price) FROM shop;
+------------------------+------------------------+
| @min_price:=MIN(price) | @max_price:=MAX(price) |
+------------------------+------------------------+
| 1.25 | 19.95 |
+------------------------+------------------------+
MySQL [test]> SELECT * FROM shop WHERE price=@min_price OR price=@max_price;
+---------+--------+-------+
| article | dealer | price |
+---------+--------+-------+
| 3 | D | 1.25 |
| 4 | D | 19.95 |
+---------+--------+-------+
也可以将数据库对象(如表或列)的名称存储在用户变量中,然后在SQL语句中使用此变量;但是,这需要使用准备好的语句。
2.6 使用外键
在MySQL中,InnoDB表支持检查外键约束。
外键约束不仅仅需要连接两个表。对于InnoDB以外的存储引擎,在定义列时可以使用 REFERENCES tbl_name(col_name) 子句,该子句没有实际效果,并且仅作为您当前定义的列打算引用另一个表中的列的备注或注释。当使用这种语法时,要认识到:
- MySQL不执行任何类型的检查,以确保 tbl_name 中确实存在 col_name (或者甚至 tbl_name 自身存在)。
- MySQL不会对 tbl_name 执行任何类型的操作,例如删除行,以响应对您定义的表中的行执行的操作。换句话说,此语法不会导致任何关于删除或更新的行为(尽管您可以编写 on DELETE 或 on UPDATE 子句作为REFERENCES子句的一部分,但它也会被忽略)。
- 此语法创建列,它不创建任何类型的索引或键。
您可以使用这样创建的列作为联接列,如下所示:
CREATE TABLE person (
id SMALLINT UNSIGNED NOT NULL AUTO_INCREMENT,
name CHAR(60) NOT NULL,
PRIMARY KEY (id)
);
CREATE TABLE shirt (
id SMALLINT UNSIGNED NOT NULL AUTO_INCREMENT,
style ENUM('t-shirt', 'polo', 'dress') NOT NULL,
color ENUM('red', 'blue', 'orange', 'white', 'black') NOT NULL,
owner SMALLINT UNSIGNED NOT NULL REFERENCES person(id),
PRIMARY KEY (id)
);
INSERT INTO person VALUES (NULL, 'Antonio Paz');
SELECT @last := LAST_INSERT_ID();
INSERT INTO shirt VALUES
(NULL, 'polo', 'blue', @last),
(NULL, 'dress', 'white', @last),
(NULL, 't-shirt', 'blue', @last);
INSERT INTO person VALUES (NULL, 'Lilliana Angelovska');
SELECT @last := LAST_INSERT_ID();
INSERT INTO shirt VALUES
(NULL, 'dress', 'orange', @last),
(NULL, 'polo', 'red', @last),
(NULL, 'dress', 'blue', @last),
(NULL, 't-shirt', 'white', @last);
SELECT * FROM person;
+----+---------------------+
| id | name |
+----+---------------------+
| 1 | Antonio Paz |
| 2 | Lilliana Angelovska |
+----+---------------------+
SELECT * FROM shirt;
+----+---------+--------+-------+
| id | style | color | owner |
+----+---------+--------+-------+
| 1 | polo | blue | 1 |
| 2 | dress | white | 1 |
| 3 | t-shirt | blue | 1 |
| 4 | dress | orange | 2 |
| 5 | polo | red | 2 |
| 6 | dress | blue | 2 |
| 7 | t-shirt | white | 2 |
+----+---------+--------+-------+
SELECT s.* FROM person p INNER JOIN shirt s
ON s.owner = p.id
WHERE p.name LIKE 'Lilliana%'
AND s.color <> 'white';
+----+-------+--------+-------+
| id | style | color | owner |
+----+-------+--------+-------+
| 4 | dress | orange | 2 |
| 5 | polo | red | 2 |
| 6 | dress | blue | 2 |
+----+-------+--------+-------+
以这种方式使用时,REFERENCES子句不会显示在 SHOW CREATE TABLE 或 DESCRIBE 的输出中:
SHOW CREATE TABLE shirt\G
*************************** 1. row ***************************
Table: shirt
Create Table: CREATE TABLE `shirt` (
`id` smallint(5) unsigned NOT NULL auto_increment,
`style` enum('t-shirt','polo','dress') NOT NULL,
`color` enum('red','blue','orange','white','black') NOT NULL,
`owner` smallint(5) unsigned NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1
以这种方式将REFERENCES作为列定义中的注释或“提醒”适用于MyISAM表。
2.7 在两个键上搜索
一个 or 使用一个键是很好的优化,就像处理 and 一样。
一个棘手的情况是,在两个不同的键上搜索,并结合 or :
SELECT field1_index, field2_index FROM test_table
WHERE field1_index = '1' OR field2_index = '1'
您可以通过使用一个 UNION 来有效地解决问题,该联合将两个单独的SELECT语句的输出组合在一起。
每个SELECT只搜索一个键,可以进行优化:
SELECT field1_index, field2_index
FROM test_table WHERE field1_index = '1'
UNION
SELECT field1_index, field2_index
FROM test_table WHERE field2_index = '1';
2.8 计算每天的访问量
下面的示例演示如何使用位组函数计算用户每月访问网页的天数。
CREATE TABLE t1 (year YEAR, month INT UNSIGNED,
day INT UNSIGNED);
INSERT INTO t1 VALUES(2000,1,1),(2000,1,20),(2000,1,30),(2000,2,2),
(2000,2,23),(2000,2,23);
示例表包含表示用户访问该页的年月日值。要确定每月这些访问发生的不同天数,请使用此查询:
SELECT year,month,BIT_COUNT(BIT_OR(1<<day)) AS days FROM t1
GROUP BY year,month;
将会返回:
+------+-------+------+
| year | month | days |
+------+-------+------+
| 2000 | 1 | 3 |
| 2000 | 2 | 2 |
+------+-------+------+
该查询计算表中每个年/月组合出现的不同天数,并自动删除重复条目。
2.9 使用自增
2.9.1 自增属性
自增(AUTO_INCREMENT)属性可用于为新行生成唯一标识:
CREATE TABLE animals (
id MEDIUMINT NOT NULL AUTO_INCREMENT,
name CHAR(30) NOT NULL,
PRIMARY KEY (id)
);
INSERT INTO animals (name) VALUES
('dog'),('cat'),('penguin'),
('lax'),('whale'),('ostrich');
SELECT * FROM animals;
将会返回:
+----+---------+
| id | name |
+----+---------+
| 1 | dog |
| 2 | cat |
| 3 | penguin |
| 4 | lax |
| 5 | whale |
| 6 | ostrich |
+----+---------+
没有为AUTO_INCREMENT列指定值,因此MySQL会自动分配序列号。也可以显式地将0分配给列以生成序列号,除非启用了NO_AUTO_VALUE_ON_ZERO SQL模式。例如:
INSERT INTO animals (id,name) VALUES(0,'groundhog');
如果列被声明为不为空,也可以将空值赋给列以生成序列号。例如:
INSERT INTO animals (id,name) VALUES(NULL,'squirrel');
在 AUTO_INCREMENT 列中插入任何其他值时,该列将设置为该值并重置序列,以便下一个自动生成的值从最大的列值开始按顺序排列。例如:
INSERT INTO animals (id,name) VALUES(100,'rabbit');
INSERT INTO animals (id,name) VALUES(NULL,'mouse');
SELECT * FROM animals;
+-----+-----------+
| id | name |
+-----+-----------+
| 1 | dog |
| 2 | cat |
| 3 | penguin |
| 4 | lax |
| 5 | whale |
| 6 | ostrich |
| 7 | groundhog |
| 8 | squirrel |
| 100 | rabbit |
| 101 | mouse |
+-----+-----------+
在 InnoDB表中更新现有的 AUTO_INCREMENT列不会像MyISAM 和 NDB表那样重置 AUTO_INCREMENT序列。
可以使用 LAST_INSERT_ID() SQL函数或mysql_insert_id() C API 函数检索最近自动生成的AUTO_INCREMENT值。这些函数是特定于连接的,因此它们的返回值不受另一个也在执行插入的连接的影响。
使用AUTO_INCREMENT列的最小整数数据类型,该列足够大,以容纳您需要的最大序列值。当列达到数据类型的上限时,下次生成序列号的尝试将失败。如果可能,请使用UNSIGNED属性以允许更大的范围。例如,如果使用TINYINT,允许的最大序列号是127。对于 UNSIGNED TINYINT,最大值为255。
注意:对于多行插入,LAST_insert_ID()和mysql_insert_ID()实际上从插入的第一行返回AUTO_INCREMENT键。这样可以在主从复制中的其他服务器上正确复制多行插入。
若要从1以外的AUTO_INCREMENT值开始,请使用CREATE TABLE或ALTER TABLE设置该值,如下所示:
mysql> ALTER TABLE tbl AUTO_INCREMENT = 100;
2.9.2 MyISAM 笔记
- 对于MyISAM表,可以在多列索引中的辅助列上指定AUTO_INCREMENT。在这种情况下,AUTO_INCREMENT列的生成值计算为 MAX(auto_increment列) + 1,其中 prefix为给定前缀。当您希望将数据放入有序组时,这非常有用。
CREATE TABLE animals (
grp ENUM('fish','mammal','bird') NOT NULL,
id MEDIUMINT NOT NULL AUTO_INCREMENT,
name CHAR(30) NOT NULL,
PRIMARY KEY (grp,id)
) ENGINE=MyISAM;
INSERT INTO animals (grp,name) VALUES
('mammal','dog'),('mammal','cat'),
('bird','penguin'),('fish','lax'),('mammal','whale'),
('bird','ostrich');
SELECT * FROM animals ORDER BY grp,id;
将会返回:
+--------+----+---------+
| grp | id | name |
+--------+----+---------+
| fish | 1 | lax |
| mammal | 1 | dog |
| mammal | 2 | cat |
| mammal | 3 | whale |
| bird | 1 | penguin |
| bird | 2 | ostrich |
+--------+----+---------+
在这个示例(AUTO_INCREMENT列是多列索引的一部分)中,如果删除任何组中自动增量值最大的行,则将重用自动增量值。
- 如果AUTO_INCREMENT列是多个索引的一部分,MySQL将使用AUTO_INCREMENT列开始的索引(如果有)生成序列值。例如,如果 animals表包含索引PRIMARY KEY(grp, id)和INDEX (id),MySQL将忽略生成序列值的PRIMARY KEY。因此,该表将包含单个序列,而不是每个grp值都包含一个序列。
3.在Apache中使用MySQL
有一些程序可以让您从MySQL数据库对用户进行身份验证,还可以让您将日志文件写入MySQL表。
通过将以下内容放入Apache配置文件中,可以将Apache日志格式更改为MySQL易于读取的格式:
LogFormat \
"\"%h\",%{%Y%m%d%H%M%S}t,%>s,\"%b\",\"%{Content-Type}o\", \
\"%U\",\"%{Referer}i\",\"%{User-Agent}i\""
要将这种格式的日志文件加载到MySQL中,可以使用如下语句:
LOAD DATA INFILE '/local/access_log' INTO TABLE tbl_name
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\'
应创建tbl_name表,使其列与LogFormat行写入日志文件的列相对应。
示例:
(1)安装httpd服务,yum install -y httpd-devel;
(2)修改httpd.conf
原语句如下:
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
将其修改为:
LogFormat \
"\"%h\",%{%Y%m%d%H%M%S}t,%>s,\"%b\",\"%{Content-Type}o\", \
\"%U\",\"%{Referer}i\",\"%{User-Agent}i\"" combined
以便与logs/access_log相配合。
CustomLog "logs/access_log" combined
(3)对测试页面进行访问,查看日志如下:
# cat access_log
"192.168.149.1",20200110115615,304,"-","text/html", "/index.html","-","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
"192.168.149.1",20200110115616,304,"-","text/html", "/index.html","-","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
"192.168.149.1",20200110115617,304,"-","text/html", "/index.html","-","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
(4)进入数据库命令行,创建记录日志的tbl_name表:
create table tbl_name (
SourceIP varchar(20),
AccessTime varchar(20),
StatusCode INT,
ByteNum varchar(20),
ContentType varchar(20),
URLPath varchar(20),
Referer varchar(20),
UserAgent varchar(150)
)
(5)加载日志可能会遇到一些告警,进行相关处理:
告警 1:
MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name
-> FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\' ;
ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement
处理方法:在/etc/my.cnf相关区域添加并重启mysql:
secure_file_priv=
告警 2:
MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\';
ERROR 13 (HY000): Can't get stat of '/etc/httpd/logs/access_log' (Errcode: 13 - Permission denied)
处理方法:因为/etc/httpd/logs链接到/var/log/httpd,修改/var/log/httpd目录权限即可。
告警 3:
MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\';
ERROR 1261 (01000): Row 1 doesn't contain data for all columns
处理方法:临时做如下设置
MySQL [test]> set sql_mode='';
最后,日志顺利导入数据库:
MySQL [test]> LOAD DATA INFILE '/etc/httpd/logs/access_log' INTO TABLE tbl_name FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\';
Query OK, 4 rows affected, 10 warnings (0.03 sec)
Records: 4 Deleted: 0 Skipped: 0 Warnings: 10
(6)查询数据库,进行验证:
MySQL [test]> select * from tbl_name \G
*************************** 1. row ***************************
SourceIP:
AccessTime: NULL
StatusCode: NULL
ByteNum: NULL
ContentType: NULL
URLPath: NULL
Referer: NULL
UserAgent: NULL
*************************** 2. row ***************************
SourceIP: 192.168.149.1
AccessTime: 20200110115615
StatusCode: 304
ByteNum: -
ContentType: text/html
URLPath: "/index.ht
Referer: -
UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
*************************** 3. row ***************************
SourceIP: 192.168.149.1
AccessTime: 20200110115616
StatusCode: 304
ByteNum: -
ContentType: text/html
URLPath: "/index.ht
Referer: -
UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
*************************** 4. row ***************************
SourceIP: 192.168.149.1
AccessTime: 20200110115617
StatusCode: 304
ByteNum: -
ContentType: text/html
URLPath: "/index.ht
Referer: -
UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
4 rows in set (0.00 sec)
个人感觉这个功能有点鸡肋啊。每次都需要手动导入数据库,无法自动导入,还需要自己编写定时计划来执行脚本;而且每次都会将以前的数据重复导入,如果想用在实践中,大概只能每天先切割完日志再导入了。
参考文档
https://dev.mysql.com/doc/refman/5.7/en/tutorial.html